Weed Research using Plant Image Science

The Korean Society of Weed Science and The Turfgrass Society of Korea
노 태경  Tae-Kyeong Noh1김 도순  Do-Soon Kim1*

Abstract

Plant image science is a branch of science which utilizes image science comprising techniques and processes to acquire, process and analyze plant images for plant research. With recent remarkable development of image sensing and processing techniques, plant image science has enabled plant scientists to diagnose invisible plant responses to biotic and abiotic stresses and to assess phenotypic traits including morphological and quantitative traits non-destructively and more accurately. In plant phenomics, an area of science concerned with the measurement of plant phenomes, plant image science plays a core and essential role, enabling high throughput phenotyping of plants. Various researches revealed that analyses of plant spectral images acquired at various wave lengths, particularly chlorophyll fluorescence and infrared thermal images, can detect herbicidal activity of unknown compounds even when no visual symptom appears but also diagnose herbicide resistance in weeds non-destructively. Our review thus suggests that plant image science will become an essential part of high throughput screening (HTS) in herbicide development, herbicide resistance management, and weed identification in a future weed research.

Keyword



서론

영상식물학(, plant image science)은 식물영상을 기반으로 식물을 연구하는 학문으로서 식물의 영상획득 영상처리 영상분석 영상정보 해석을 통해 식물의 생리적 반응, 형태적 특징, 생장 반응 등을 연구하는 학문을 말한다. 영상의학(medical image science)은 의학에서 질환의 진단이나 치료경과 판정 등에 필수적인 학문으로 자리잡고 있는 것과 마찬가지로 영상식물학은 향후 식물학은 물론 작물을 기반으로 한 농학연구에 있어 필수적인 학문으로 자리잡을 것으로 예상된다.

일반적으로 의학에서 말하는 영상의학은 2006년 이전까지는 진단방사선학(radiology)으로 불렸었으며 방사선의 투과성 정도를 이용하여 신체를 촬영한 영상을 만들어 질환의 진단이나 치료경과 판정 등에 이용하는 학문으로 방사선을 이용한 X-선과 컴퓨터단층촬영(computed tomography, CT)을 기본으로 한다. 여기에 방사선의 원리와 다른 자기공명을 응용한 자기공명영상(magnetic resonance imaging, MRI)이나 초음파를 응용한 초음파촬영술(ultrasonography) 등을 이용하기도 한다. 영상식물학은 영상의학과 달리 주로 400 nm 이상의 장파장대의 분광영상(spectral image)을 이용하며 파장대별로 시각영상(visual image), 엽록소형광영상(chlorophyll fluorescence image), 근적외선영상(near infrared image, NIR), 적외선영상(infrared image, IR) 등으로 파장대별로 분광영상을 획득하거나 연속적인 분광영역의 영상인 다분광영상(multispectral image)이나 초분광영상(hyperspectral image)을 획득한 후 영상분석을 거쳐 식물학 연구 등에 활용할 수 있다(Li et al., 2014).

식물학 연구에서 식물영상이 중요한 위치를 차지하는 것은 식물에 대한 정보를 인지하는데 있어서 식물은 한 자리에 고정되어 있으므로 청각이나 촉각 등의 감각보다는 시각정보가 중요한 역할을 하기 때문이다. 따라서 각종 센서를 통해 식물영상을 획득하고 분석한다면 식물에 대한 많은 정보를 얻을 수 있으며 영상식물학 기술을 기반으로 400-700 nm 가시광선영역의 인간이 감지할 수 있는 가시영상(visible image)은 물론 가시광선영역을 벗어난 비가시영상(invisible image)까지도 영상분석을 통해 식물학연구에 활용할 수 있다. 영상식물학은 식물의 형태적 특징에 기반한 식물 동정(identification) 및 분류(classification), 생물적 비생물적 요소에 대한 식물반응의 진단(diagnosis), 제초제에 대한 식물의 반응 및 제초활성 검정(screening), 식물의 형태적 및 양적형질에 대한 표현형검정(phenotyping) 등에 폭넓게 활용될 수 있을 것으로 기대된다. 최근에 관심을 갖기 시작한 식물표현체학(plant phenomics)은 유전적요인 × 환경적요인 × 재배적요인의 상호작용에 의해 나타나는 식물 특히 작물의 표현형질을 연구하는 학문으로 영상식물학기술을 기반으로 비약적인 발전을 이루고 있어 작물표현형의 변화를 즉각적으로 진단 관찰이 가능하도록 하며(Tardieu et al., 2017), 이를 활용한 작물육종 및 유전체 연구가 전세계적으로 시도되고 있다.

식물의 영상을 획득하여 분석하고 생물학적 의미를 부여하고 다양한 식물학 및 작물학적 목적으로 활용되는 새로운 학문영역인 영상식물학은 농경지와 비농경지에 발생하여 다양한 문제를 유발하고 있는 잡초의 연구에도 활용될 가능성이 매우 높다. 따라서 본 리뷰논문에서는 영상식물학의 핵심기술을 소개하고 이들이 잡초과학분야 연구에 어떻게 응용 활용될 수 있는지에 대해 살펴보고 그 발전방향을 제시하고자 한다.

식물영상의 종류와 활용

사람은 400-700 nm 파장대의 가시광선 영역만을 인지할 수 있으며 식물 역시 해당 영역에서 많은 빛을 흡수한다. 그렇기 때문에 시각 정보 역시 식물의 생육 및 생리 상태에 대한 특성을 인지하는데 다양한 정보를 제공하지만 다른 파장대에 속하는 영상, 특히 700 nm 이상의 장파장대의 영상을 획득하고 분석하면 식물의 생리적인 상태를 진단하는데 필요한 다양한 정보를 얻을 수 있을 것이다. 식물영상은 영상을 획득한 파장대에 따라 구분할 수 있는데 시각영상(visual image), 엽록소형광영상(chlorophyll fluorescence image), 근적외선영상(near infrared image), 적외선영상(infrared image), 다분광영상(multispectral image), 초분광영상(hyperspectral image) 등 400 nm 파장대 이상에서 획득한 식물영상이 주로 사용된다. 그러나 뿌리와 같은 지하부나 목질화된 수목류의 내부구조 연구를 위해서는 X선과 CT 영상, 또는 MRI 등을 이용할 수 있다(Fig. 1)

http://dam.zipot.com:8080/sites/wts/images/N0260070401_image/Figure_WTS_07_04_01_F1.jpg

Fig. 1. Plant spectral images at a range of light wavelengths (modified based on Fahlgren et al. (2015), Bergsträsser et al. (2015), Metzner et al. (2015), Deng et al. (2018)). UV, ultraviolet; VIS, visible; IR, infrared; NIR/SWIR, near infrared/short-wave infrared; LWIR, long-wave infrared.

시각영상(visual image)

시각영상은 사람의 눈으로 볼 수 있는 영역대를 획득한 영상으로 CCD (charge coupled device) 또는 CMOS (complementary metal oxide semiconductor) 센서를 사용하여 적색(R), 녹색(G), 청색(B) 3원색의 색공간(color space)에 나타낸다. 영상 분석 시에도 각 픽셀의 R, G, B 값을 기반으로 한 지표들이 이용되는 것이 보통이나, 이외에도 색상(hue), 명도(saturation), 채도(value)로 구성된 HSV, 시안(cyan), 마젠타(magenta), 노랑(yellow), 검정(black)로 구성된 CMYK 등의 다양한 색공간이 존재하여 분석 목적에 따라 상호 변환하여 색에 대한 정보를 정량적으로 표현할 수 있다. 식물은 700 nm 이상의 빛은 대부분 반사해버리고 가시광선 영역에서 많은 빛을 흡수하므로 가시광선 영역에서 빛의 흡수와 반사에 의해 형성되는 식물영상을 이용하여 식물의 생육 및 생장에 관한 다양한 정보를 확보할 수 있다. 시각영상을 획득하기 위한 센서는 일반적으로 영상 센서 중 가장 보편화되어 가격이 싸나 가장 높은 해상도를 가진다(Pandey et al., 2017). 시각영상의 분석을 통해 식물의 다양한 형태적 특징은 물론 초장, 엽면적, 생체중 등 양적 형질의 정량적 정보를 확보할 수 있다(Tripodi et al., 2018). Zhang et al. (2017)은 옥수수 재조합 계통 167개에 대한 생장 모델링 데이터를 시각영상을 기반으로 획득하여 픽셀의 크기로 식물생장을 예측하고 엽각과 색상 등의 초기 생육지표들과 실제 수량 데이터를 genome-wide association study (GWAS)에 접목하여 수량성이 우수한 유전자원 탐색에 활용하기도 하였다.

엽록소 형광영상(chlorophyll fluorescence image)

식물은 빛을 받아 광합성을 하지만 모든 빛 에너지가 광합성 산물로 동화되는 것은 아니다. 식물체에 흡수된 빛은 1) 광합성에 이용되거나, 2) 열로 방출되거나, 3) 식물체로부터 다시 방출될 수 있다. 엽록소 형광은 식물체로부터 다시 방출된 빛을 측정하는 것이며 이때 방출되는 빛의 파장은 흡수된 빛의 파장과 상이하다(Maxwell and Johnson, 2000). 따라서 형광을 영상으로 획득하는 것은 식물 표면에서 반사되는 빛을 촬영하는 다른 영상들과는 본질적인 차이를 가진다.

엽록소 형광은 Kautsky and Hirsch (1931)의 광합성 과정 중 빛에 의한 CO2 동화작용에 대한 연구에서 시작되었다. 암적응된 식물이 빛에 노출될 경우 형광을 방출하며 시간이 지남에 따라 형광이 감소하는 현상을 발견하였으며, 이러한 형광의 변화 측정을 통해 광반응의 효율인 광합성 양자수율(quantum yield) 등 식물의 광합성관련 생리적 상태 측정에 활용되고 있다. 빠른 주기로 빛의 세기를 조절하여 식물의 형광을 측정하는 pulse amplitude modulation (PAM) 방식은 엽록소 형광 측정에 있어서 큰 변화를 가져왔으며(Schreiber et al., 1986), 특히 주변에 약간의 빛이 존재하는 환경에서도 형광 지표의 측정을 가능하게 하였다. 현재 널리 사용되는 식물 엽록소 형광 관련 지표들은 Fig. 2와 같으며, 이들 가운데 ΦPSII (제2광계의 양자수율), Fv/Fm (제2광계의 최대양자수율), NPQ (non-photochemical quenching)은 식물체의 비생물학적 스트레스에 대한 생리적 반응인 광합성 능력에 대한 간접적인 지표로서 폭넓게 사용되고 있다(van Tol et al., 2017; Zhang et al., 2016; Zhang and Kim, 2018).

식물 엽록소 형광은 식물의 광합성 능력과 밀접한 연관이 있기 때문에 Fv/Fm, NPQ 등은 식물체의 광합성 능력에 대한 간접적인 지표로 사용되지만 엽록소 형광 지표들의 값이 높다는 것이 항상 광합성 능력이 높다는 것을 의미하지는 않는데, 같은 양의 빛이 식물체에 흡수되어 일정시간에 방출되는 형광이 낮으면 그만큼 광합성 효율이 높다는 것을 의미할 수도 있기 때문이다.

근적외선 영상(near infrared image)

근적외선(NIR)은 가시광선 영역에 가까운 적외선을 말하며 좁게는 700-1000 nm, 넓게는 700-2500 nm 의 영역에 해당한다. 가시광선 영역대에서 근적외선으로 넘어가면서 식물은 대부분의 빛을 반사하게 되지만, 식물의 물 함량에 따라 NIR 관련 지표가 변화하게 된다. 따라서 근적외선영상은 수분 스트레스 측정 시 널리 사용되며 NIR을 활용한 대표적인 지표로는 NDVI (normalized difference vegetation index)를 들 수 있다. Okamura et al. (2001)은 근적외선영상을 이용하여 토마토의 수분 스트레스를 평가하였고, Jin et al. (2017)은 억새의 수분 함량 측정을 근적외선영상을 활용하여 실시하였다. 따라서 근적외선영상은 식물체내 수분상태를 측정하여 수분 스트레스에 대한 진단에 활용될 수 있다.

적외선 열영상(infrared thermal image)

식물체온 또는 엽온을 측정하는 것은 식물체의 기공 개폐와 밀접한 연관이 있기 때문에 식물이 받는 수분, 생물적 스트레스 및 증산작용에 관한 지표가 된다(Chaerle et al., 2005; Lindenthal and Steiner, 2005). 뿐만 아니라 바이러스(Chaerle et al., 1999; Chaerle et al., 2004), 염 스트레스(Kim et al., 2014)의 진단에 있어서도 열영상이 활용 가능하다. 주의할 점은 엽온은 수분 함량과 기공 개폐에 의해 직접적으로 영향을 받기 때문에 스트레스에 대한 직접적인 지표는 아니라는 것이며, 한발 스트레스 감수성 유전자 형질전환체의 경우 한발 스트레스에도 기공을 폐쇄하지 못하여 엽온이 더욱 낮아지는 현상을 보인다(Kuromori et al., 2011).

식물 체온은 동물의 경우와 달리 항상성을 유지하지 않고, 기공 개폐뿐만 아니라 주변 환경에 의한 잎 에너지 균형(leaf energy balance)에 의해 결정되기 때문에 이러한 역학을 고려할 필요가 있다(Jones and Leinonen, 2003). 절대적인 온도 값에는 생물학적 의미를 부여하기 어렵고 실험군과 대조군의 상대적인 온도 값을 비교하는 것이 일반적이며, 이러한 단점을 보완해줄 수 있는 지표로 crop water stress index (CWSI) 등이 사용되기도 한다(Jones,1992).

http://dam.zipot.com:8080/sites/wts/images/N0260070401_image/Figure_WTS_07_04_01_F2.jpg

Fig. 2. Photochemical and non-photochemical quenching parameters measured by chlorophyll fluorescence image analysis (modified based on Maxwell and Johnson (2000)). MB, measuring beam; SP, saturating pulse; AL, actinic light.

다분광/초분광 영상(multi-/hyper-spectral image)

초분광 영상은 시각영상(분리된 여러 픽셀)과 분광학(다른 여러 스펙트럼의 데이터)의 특징을 결합한 것으로 주로 식생을 원격조사(remote sensing)하기 위한 방법으로 사용되는 경우가 많다. 초분광 영상을 이용하여 여러 식생 지표를 계산할 수 있으며, 예컨대 광합성 유효 바이오매스(photosynthetic active biomass)나 색소 함량, 수분 상태 등을 포함한다. 이러한 식생 지표들은 엽면적, 엽록소 함량 등을 예측하는데 사용될 수 있다(Li et al., 2014). 초분광 영상은 각 식물 픽셀에서 모든 스펙트럼을 측정하기 때문에 식물체의 통합적인 특성을 보여줄 수 있으며, 영상 한 장 한 장이 방대한 정보를 포함하고 있기 때문에 다양한 통계분석이나 머신러닝 등의 도입이 필요하다.

초분광 영상은 식물 병해 및 스트레스(Lowe et al., 2017; Thomas et al., 2018)의 진단에도 활용될 수 있으며, 식물 잎의 동정(Kishore and Kulkarni, 2015)에도 활용되기도 하였다. 적절한 실험 환경을 조성하여 식물의 지하부를 촬영하더라도 일반 시각영상으로는 토양과 지하부의 구분이 어려운데, 초분광 영상을 이용하여 식물 뿌리의 표현형을 보다 효과적으로 조사할 수 있었다(Bodner et al., 2018).

X-ray CT 및 MRI 영상

이상에서 소개한 식물영상들은 외부에서 관찰할 수 있는 부분만을 대상으로 한다. 식물의 지하부나 내부 역시 식물의 표현형에 대한 다양한 정보를 제공해줄 수 있으나 이들이 관찰은 쉽지 않다. 현존하는 내부 및 지하부 표현형 관찰은 대개 파괴적이며 토양 대신 배양 젤을 사용하는 등의 특별한 실험 설계를 필요로 한다. 현재 식물의 지하부를 비파괴적으로 관찰하는 방법은 X-ray CT와 MRI가 있으며(Schulz et al., 2013), 이를 이용하여 토양의 종류가 뿌리의 형태에 미치는 영향을 연구하기도 하였다(Pflugfelder et al., 2017).

지금까지 파장대에 따라 획득한 영상을 단순히 평면 상에 나타내는 것이 일반적이지만 다각도의 사진을 종합하거나 레이저로 스캔하여 입체로 표현한다면 식물을 3차원공간(3D)에 표현하는 것도 가능하다. 식물은 물리적인 부피를 가지므로 단면만 보아서는 완전히 그 형질을 제대로 이해하기 어렵기에 3D 영상을 획득할 경우 2D 영상에 비해 매우 정밀하게 표현형을 관찰할 수 있다. 이론상 2D로 획득할 수 있는 영상이면 그것을 겹쳐 3D 영상화가 가능하다. 3D 영상은 식물체 개개의 표현형 관찰 이외에도 식물의 구조와 기능을 고려한 작물 모델링(Vos et al., 2010) 등에 이용되나 3D 영상을 얻기 위해 2D 영상에 비해 많은 시간과 노력이 요구된다.

영상식물학을 이용한 잡초과학 연구

식물영상분석을 이용한 제초제 스크리닝

제초제에 대한 식물의 초기 반응은 식물체의 색상 및 형태적 특성의 관찰에 의존하여 왔다. 이를 시각영상을 획득하여 분석하면 제초제의 효과를 정량적으로 기술하는 것이 가능하다. 최근에는 딥러닝 등 영상 인식 기술을 기반으로 식물의 제초제를 포함한 여러 스트레스를 식별하고 정량화할 수 있게 되었다(Ghosal et al., 2018; Singh et al., 2018)

식물광합성 광반응의 광계(photosystem)에 작용하는 제초제들의 경우 엽록소가 파괴되기 시작하면 형광영상의 변화를 관찰할 수 있다. Vitek et al. (2017)는 해바라기(Helianthus annuus)에 작용기작이 다른 5종의 제초제(carfentrazone-ethyl, mesotrione, clomazone, diflufenican, amidosulfuron)를 처리하여 엽록소 형광 영상을 획득 및 분석하는 한편 잎의 엽록소, 카로티노이드 및 플라보노이드 함량을 라만분광법(Raman Spectroscopy)으로 분석하여 상호 관계 규명을 시도하였다. 이때 엽록소 형광 관련 지표들은 카로티노이드 생합성을 저해하는 제초제에 의해 큰 영향을 받았았으나 acetolactate synthase (ALS) 저해제인 amidosulfuron과 protoporphyrinogen IX oxidase (PPO) 저해제인 carfentrazone-ethyl은 그 영향이 적었다. Arabidopsis thaliana와 Agrostis tenuis 유묘에 asulam, atrazine, bifenox, 2,4-D, glyphosate, imazapyr, paraquat 등 7종의 제초제를 처리하여 초기 형광 영상 반응을 관찰한 결과 A. thaliana는 이들 제초제 처리 후 6시간부터 Fv/Fm값에서 현저한 감소를 보였으나 A. tenuis는 imazapyr 이외에는 큰 차이를 보이지 않았다(Barbagallo et al., 2003). Li et al. (2017)은 포장 환경에서 콩에 처리된 제초제의 효과를 조기에 진단하기 위해 형광 영상을 활용하였다.

열영상은 특히 식물의 기공 개폐와 연관이 있어 생물적 스트레스로 인한 식물 반응 진단 연구에 많이 활용되었으며 비생물적 스트레스 진단, 특히 염해와 한발스트레스에 대한 작물의 초기반응 진단에도 사용될 수 있음이 보고되었다(Kim et al., 2014, Fig. 3). 최근에는 제초제를 포함한 비생물적 스트레스 반응의 진단 방법으로 특허가 등록되었으며(Kim et al., 2017), 기생 잡초에 의한 식물의 온도 변화 연구에도 활용되었다(Ortiz-Bustos et al., 2017).

Chaerle et al. (2003)은 linuron이 처리된 Phaseolus vulgaris, Nicotiana tabacum, Arabidopsis thaliana의 열영상과 엽록소 형광영상을 기반으로 하여 제초제 효과를 평가하였고, Takayama and Omasa (2005)는 P. vulgaris 잎의 일부분에 glufosinate를 처리하여 열영상과 엽록소 형광 영상을 동시에 획득 분석하여 제초제 효과 조기진단 가능성을 보여주었다. 따라서 영상식물학은 신규로 합성되거나 검증되지 않은 화합물의 제초활성을 조기 검정하는데 사용할 수 있으므로 신규 제초제개발의 제초제 스크리닝에 적극 활용될 수 있을 것이다. 특히 영상분석을 통해 제초제 활성의 확인까지 소요시간이 짧고 영상획득에서 분석까지의 과정을 자동화할 수 있으므로 in vitro가 아닌 in vivo상태에서 제초제 활성을 고효율로 검증할 수 있는 high throughput screening (HTS) 시스템 구축에도 활용될 수 있다.

http://dam.zipot.com:8080/sites/wts/images/N0260070401_image/Figure_WTS_07_04_01_F3.jpg

Fig. 3. Infrared (IR) thermal images (A) and leaf temperature (B) of soybean plants exposed to salt stress at a range of NaCl concentrations (Kim et al., 2014).

식물영상분석을 이용한 제초제 저항성 진단

장기적이고 지속적인 제초제의 사용, 제초제 내성 GM작물의 재배에 따른 특정 제초제의 지속적인 사용 등으로 제초제 저항성 잡초의 출현이 많아져 이들의 체계적인 관리가 절실히 요구되며, 따라서 제초제 저항성 조기 진단의 필요성이 대두되었다. 그 동안 다양한 저항성잡초 조기 진단법이 개발되었다(Kim et al., 2000; Zhang et al., 2015; Zhang et al., 2016; Zhang and Kim, 2018). 그러나 이들 방법은 주로 잡초의 종자나 특정부위만을 대상으로 하기에 HTS 시스템으로는 적합하지 않다. 그러나 최근에 영상분석을 통해 제초제 저항성 잡초를 진단하기 위한 다양한 시도가 있었다.

Wang et al. (2016, 2017)은 Alopecurus mysuroides와 Apera spica-venti의 제초제 저항성 여부 진단을 위해 독일 Walz사에서 개발한 WEED-PAM 이용하여 야외 포장에서 이들 잡초의 엽록소 형광 영상을 획득하여 분석한 결과 제초제 처리 후 초기에 획득한 Fv/Fm 값과 처리 후 21일차에 조사한 달관약효와 비교하여 제초제 저항성의 조기진단이 가능함을 제시하였다. Shirzadifar et al. (2016)은 열영상을 이용하여 glyphosate가 처리된 제초제 감수성 및 저항성 잡초 각 3종을 대상으로 시간에 따른 엽온 차이를 관찰하였다. Reddy et al. (2014)은 초분광 영상을 이용하여 glyphosate 감수성 및 저항성 Amaranthus palmeri의 스펙트럼 차이를 확인하고 이를 기반으로 저항성과 감수성 개체들을 구분할 수 있음을 보여주었다. Nugent et al. (2018)은 초분광 영상 분석을 기반으로 제초제 감수성과 저항성 댑싸리(Kohia scoparia) 개체들간 구분을 시도한 결과 67% (dicamba 저항성), 76% (glyphosate 저항성), 80% (감수성)의 정확도로 구분할 수 있었다. 이들 연구는 식물체에 직접 제초제를 처리하지 않고도 제초제 저항성을 진단할 수 있는 가능성을 제시하였다.

영상식물학을 이용한 잡초연구의 전망

식물영상은 그 자체로서 데이터의 가치가 없으며 별도의 분석 과정을 거쳐야 비로소 의미를 부여할 수 있으므로, 데이터 과학(data science) 역시 영상식물학의 중요한 요소라 할 수 있다. 현재 영상 분석을 위한 다양한 알고리즘의 등장으로 과일 선별이나 공장 라인에서의 선별 등 농업 및 산업 분야의 자동화에 이바지하고 있다. 하지만 이러한 알고리즘을 식물체에 곧바로 적용하기에는 많은 어려움이 따르게 된다. 비교적 균일한 크기나 모양의 과일이나 공산품과는 달리 식물은 형태나 색상이 다양하고 자연 및 재배환경의 영향을 받아 변화하는 역동성을 지니고 있다. 따라서 안정적이고 균일한 영상을 획득하고 분석대상 식물영상만을 분리하여 생물학적으로 의미 있는 정보를 얻기 위해서는 적절한 시설이 갖춰져야 한다. 최근에는 별도의 데이터 분석 과정을 거치지 않고 데이터에 대한 판단이나 예측을 시행할 수 있는 머신러닝(machine learning)이 큰 주목을 받고 있다. 머신러닝에 사용되는 학습 알고리즘엔 여러 가지가 있으나 특히 신경망(neural network)을 이용한 딥러닝(deep learning)은 그 성능면에서 불과 몇 년 안에 비약적인 발전을 이루어 일반 대중들에게도 널리 알려지게 되었다. 딥러닝 알고리즘 중에서 영상 인식과 관련하여서는 특히 CNN (convolutional neural network)이 매우 강력한 알고리즘으로 평가되고 있다. CNN을 기반으로 만들어진 R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN이나 YOLO (you only look once) 등의 기술이 후속적으로 등장함에 따라 하나의 영상 내에서 여러 사물을 동시에 인식하는 것 또한 가능해졌다. 따라서 영상식물학에 머신러닝 혹은 딥러닝을 활용한 인공지능(artificial intelligence) 기술이 접목되고 더 나아가 공학 및 로보틱스(robotics) 기술이 추가될 경우 영상식물학에 기반한 잡초연구는 비약적으로 발전할 것이다.

본 논문에서는 영상식물학이 잡초연구에 있어 제초제에 대한 반응과 저항성 진단에 사용된 사례와 가능성에 주로 초점을 맞추었으나 영상식물학은 잡초연구의 가장 기본이 되는 잡초의 분류 동정에도 효과적으로 활용될 수 있을 것으로 기대된다. 최근 영상 인식을 이용하여 작물과 잡초를 구분 식별하기 위한 시도가 있었으며(Ciro et al., 2017; Lameski et al., 2017; Bah et al., 2018), 영상 인식을 기반으로 잡초를 선별적 방제하는 모듈이 등장하기도 하였다(Scholz et al., 2015). 지금과 같이 영상 분석 알고리즘이 지속적으로 발전한다면 영상 기반 잡초 동정의 정확성이 더욱 높아질 것이며, 잡초의 동정을 위한 잡초 영상 데이터베이스가 충분히 축적된다면 스마트폰을 활용하여 누구나 손쉽게 잡초를 분류 동정할 수 있을 것이며, 드론(drone)에서 획득한 영상자료를 분석하여 잡초의 식생 조사에도 활용할 수 있을 것이다.

제초제 연구에서도 다양한 제초제에 대한 영상 데이터베이스를 축적하고, 이를 기반으로 제초제 작용기작에 따른 잡초의 영상반응을 해석할 수 있는 분석알고리즘이 구축된다면 처리된 제초제의 기작을 영상분석으로 예측할 수 있으며, 제초제 처리 초기에 제초제 약량 반응이나 효과를 예측할 수 있을 것이다. 이미 Naik et al. (2017)이 선보인 바와 같이 식물이 받은 스트레스를 몇 가지 수준으로 평가하는 알고리즘의 등장은 달관조사 등 제초제 효과를 분석하는 기존의 방식이 영상 분석으로 충분히 실현 가능한 범위 내에 있다는 것을 보여준다. 영상식물학 기술은 제초제의 고속대량약효검정(high throughput screening) 시스템에 활용되어 신규 제초제 개발의 효율성을 증대시킬 것이며, 저항성잡초방제를 포함 효과적인 잡초방제체계 구축에도 활용될 수 있을 것이다. 본고에서 고찰한 영상 기반 작물 및 잡초 연구의 사례를 정리하면 Table 1과 같다.

Table 1. Utilization of plant image science for crop and weed researches.

http://dam.zipot.com:8080/sites/wts/images/N0260070401_image/Table_WTS_07_04_01_T1.jpg

NIR, near infrared; IR, infrared; CT, computed tomography; MRI, magnetic resonance imaging.

영상식물학이 넘어야 할 문제점도 적지 않다. 현재 식물 영상을 획득하는 대다수 센서들과 분석 프로그램의 가격이 매우 고가로 책정되어 있어 영상식물학 요소기술들을 보편적으로 사용하는데 한계가 있다. 더군다나 많은 센서들은 측정 오차가 큰 경우가 많은데 예를 들자면 열화상 카메라의 경우 고가의 장비임에도 불구하고 적게는 ±2°C, 크게는 ±5°C의 오차가 있어 잦은 온도 보정이 필요하다. 이러한 오차는 정밀한 식물의 형질 측정에 있어 큰 장애물로 작용할 수 있다. 또한 영상분석 프로그램은 있으나 영상분석을 통해 정량화된 데이터를 얻는다 하여도 이들 데이터에 생물학적 의미를 부여하기 위해서는 자체적인 노력과 투자가 필요하다. 식물체의 영상반응은 동일한 환경조건에서도 식물종마다 다르며, 잡초의 경우 대상 잡초종이 많고 다양하기에 이들을 표준화하는 노력이 필요하다. 따라서 이러한 비용적 문제점, 기술적 오차, 그리고 표준화된 분석프로그램의 부재를 극복하기 위해 체계적이고 지속적인 노력이 필요하다. 보다 저렴한 장비의 개발보급, 측정 및 분석 오차를 줄이기 위한 기술적 혁신, 표준화된 영상분석 플랫폼 확립만이 영상식물학을 잡초연구의 필수요소로 자리매김할 수 있다.

현재 영상식물학 기술의 도입으로 식물학, 특히 작물학은 유래 없는 전환점을 맞고 있다. 이 같은 기술이 잡초과학 및 제초제 연구에도 많은 변화를 끼칠 것이며, 향후 영상식물학은 잡초과학의 중요한 분석 도구로 자리잡게 될 것이다.

Acknowledgements

This work was carried out with the support of the “Cooperative Research Program for Agriculture Science & Technology Development (Project No. PJ01245702)”, Rural Development Administration, Republic of Korea.

References

1  Bah, M.D., Hafiane, A. and Canals, R. 2018. Deep learning with unsupervised data labeling for weeds detection on UAV images. Computer Science - Computer Vision and Pattern Recognition. Cornell University, NY, USA.  

2  Barbagallo, R.P., Oxborough, K., Pallett, K.E. and Baker, N.R. 2003. Rapid, non-invasive screening for perturbations of metabolism and plant growth using chlorophyll fluorescence imaging. Plant Physiol. 132:485-493.  

3  Bergsträsser, S., Fanourakis, D., Schmittgen, S., Cendrero-Mateo, M.P., Jansen, M., et al. 2015. Hyper ART: Non-invasive quantification of leaf traits using hyperspectral absorption–reflectance–transmittance imaging. Plant Methods. 11:1.  

4  Bodner, G., Nakhforoosh, A., Arnold, T. and Leitner, D. 2018. Hyperspectral imaging: A novel approach for plant root phenotyping. Plant Methods. 14:84.  

5  Chaerle, L., van Caeneghem, W., Messens, E., Lambers, H., van Montagu, M., et al. 1999. Presymptomatic visualization of plant–virus interactions by thermography. Nature Biotechnol. 17:813-816.  

6  Chaerle, L., Hulsen, K., Hermans, C., Strasser, R.J., Valcke, R., et al. 2003. Robotized time‐lapse imaging to assess in‐planta uptake of phenylurea herbicides and their microbial degradation. Physiol. Plant. 118(4):613-619.  

7  Chaerle, L., Hagenbeek, D., de Bruyne, E., Valcke, R. and van der Straeten, D. 2004. Thermal and chlorophyll-fluorescence imaging distinguish plant-pathogen interactions at an early stage. Plant Cell Physiol. 45(7):887-896.  

8  Chaerle, L., Saibo, N. and van der Straeten, D. 2005. Tuning the pores: towards engineering plants for improved water use efficiency. Trends Biotechnol. 23:308-315.  

9  Ciro, P., Daniele, N. and Alberto, P. 2017. Fast and accurate crop and weed detection with summarized train sets for precision agriculture. Intelligent Autonomous Systems 14: Proceedings of the 14th International Conference IAS-14. 105-121.  

10  Deng, G., Li, S., Sun, Z., Li, W., Zhou, L., et al. 2018. Near-infrared fluorescence imaging in the largely unexplored window of 900-1,000 nm. Theranotics. 8(15):4116-4128.  

11  Fahlgren, N., Gehan, M. A. and Baxter, I. 2015. Lights, camera, action: high-throughput plant phenotyping is ready for a close-up. Curr. Opin. Plant Biol. 24:93-99.  

12  Ghosal, S., Blystone, D., Singh, A.K., Ganapathysubramanian, B., Singh, A., et al. 2018. An explainable deep machine vision framework for plant stress phenotyping. PNAS. 115:4613-4618.  

13  Jin, X., Shi, C., Yu, C.Y., Yamada, T. and Sacks, E.J. 2017. Determination of leaf water content by visible and near‐infrared spectrometry and multivariate calibration in  

14  Miscanthus . Front. Plant Sci. 8:1-8. 

15  Jones, H.C. 1992. Plants and Microclimate. Cambridge University Press, Cambridge, UK.  

16  Jones, H.G. and Leinonen, I. 2003. Thermal imaging for the study of plant water relations. J. Agric. Meteorol. 59:205-214.  

17  Kautsky, H. and Hirsch, A. 1931. Neue versuche zur kohlensäureassimilation. Naturwissenschaften. 19:964-964. (In German)  

18  Kim, D.S., Caseley, J.C., Brain, P., Riches, C.R. and Valverde, B.E. 2000. Rapid detection of propanil and fenoxaprop resistance in  

19  Echinochloa colona . Weed Sci. 48:695-700. 

20  Kim, D.S., Kim, J.W., Lee, T.Y., Nah, G. 2017. Method of diagnosing responses of plants to abiotic stress or herbicide using thermal image. KR10-1729169.  

21  Kim, J.W., Lee, T.Y., Nah, G. and Kim, D.S. 2014. Potential of thermal image analysis for screening salt stress-tolerant soybean (Glycine max ). Plant Genet. Resour. 12(S1):S134-S136.  

22  Kishore, M. and Kulkarni, S.B. 2015. Hyperspectral imaging technique for plant leaf identification. pp. 209-213. International Conference on Emerging Research in Electronics Computer Science and Technology, Mandya, India.  

23  Kuromori, T., Sugimoto, E. and Shinozaki, K. 2011. Arabidopsis mutants of AtABCG22, an ABC transporter gene, increase water transpiration and drought susceptibility. Plant J. 67:885-894.  

24  Lameski, P., Zdravevski, E., Trajkovik, V. and Kulakov, A. 2017. Weed detection dataset with RGB images taken under variable light conditions. Proc. International Conference on ICT Innovations, Cham, Switzerland.  

25  Li, H., Wang, P., Weber, J.F. and Gerhards, R. 2017. Early identification of herbicide stress in soybean (Glycine max (L.) Merr.) using chlorophyll fluorescence imaging technology. Sensors. 18:1.  

26  Li, L., Zhang, Q. and Huang, D. 2014. A review of imaging techniques for plant phenotyping. Sensors. 11:20078-20111.  

27  Lindenthal, M. and Steiner, U. 2005. Effect of downy mildew development on transpiration of cucumber leaves visualized by digital infrared thermography. Phytopathology. 95(3):233-240.  

28  Lowe, A., Harrison, N., and French, A.P. 2017. Hyperspectral image analysis techniques for the detection and classification of the early onset of plant disease and stress. Plant Methods. 13:80.  

29  Maxwell, K. and Johnson, G.N. 2000. Chlorophyll fluorescence—a practical guide. J. Exp. Bot. 51:659-668.  

30  Metzner, R., Eggert, A., van Dusschoten, D., Pflugfelder, D., Gerth, S., et al. 2015. Direct comparison of MRI and X-ray CT technologies for 3D imaging of root systems in soil: Potential and challenges for root trait quantification. Plant Methods. 11:17.  

31  Naik, H.S., Zhang, J., Lofquist, A., Assefa, T., Sarkar, S., et al. 2017. A real-time phenotyping framework using machine learning for plant stress severity rating in soybean. Plant Methods. 13:23.  

32  Nugent, P.W., Shaw, J.A., Jha, P., Scherrer, B. and Donelick, A., et al. 2018. Discrimination of herbicide-resistant kochia with hyperspectral imaging. J. Appl. Remote Sens. 12(1). 016037.  

33  Okamura, N.K., Shimomachi, T., Takemasa, T. and Takakura, T. 2001. Nondestructive detection of water stress in tomato plants by NIR spectroscopy. Environ. Control Biol. 39:75-85. 

34  Ortiz-Bustos, C.M., Pérez-Bueno, M.L., Barón, M. and Molinero-Ruiz, L. 2017. Use of blue-green fluorescence and thermal imaging in the early detection of sunflower infection by the root parasitic weed Orobanche cumana Wallr. Front. Plant Sci. 8:833. 

35  Pandey, P., Ge, Y., Stoerger, V. and Schnable, J.C. 2017. High throughput in vivo analysis of plant leaf chemical properties using hyperspectral imaging. Front. Plant. Sci. 8:1348.  

36  Pflugfelder, D., Metzner, R., van Dusschoten, D., Reichel, R., Jahnke, S., et al. 2017. Non-invasive imaging of plant roots in different soils using magnetic resonance imaging (MRI). Plant Methods. 13:102.  

37  Reddy, K.N., Huang, Y., Lee, M.A., Nandula, V.K., Fletcher, R.S., et al. 2014. Glyphosate-resistant and glyphosate-susceptible Palmer amaranth (Amaranthus palmeri S. Wats.): Hyperspectral reflectance properties of plants and potential for classification. Pest. Manag. Sci. 70:1910-1917. 

38  Scholz, C., Kinski, D., Kohlbrecher, M., Mentrup, D. and Ruckelshausen, A. 2015. Camera-based selective weed control application module (“Precision Spraying App”) for the autonomous field robot platform BoniRob. AgEgn’14. International Conference of Agricultural Engineering. Zurich. Austria.  

39  Schreiber, U., Schiiwa, U. and Bilger, W. 1986. Continuous recording of photochemical and non-photochemical chlorophyll fluorescence quenching with a new type of modulation fluorometer. Photosynth. Res. 10:51-62.  

40  Schulz, H., Postma, J., Dusschoten, D., Scharr, H. and Behnke, S. 2013. Plant root system analysis from MRI images. Communications in Computer and Information Science. Springer. Berlin. 359:411-425.  

41  Shirzadifar, A., Maharlooei, M., Hassanijalilian, O., Bajwa, S.G., Howatt, K., et al. 2016. Greenhouse study to identify glyphosate-resistant weeds based on canopy temperature. 13th International Conference on Precision Agriculture.  

42  Singh, A.K., Ganapathysubramanian, B., Sarkar, S. and Singh, A. 2018. Deep learning for plant stress phenotyping: trends and future perspectives. Trends Plant Sci. 23(10):883-898.  

43  Takayama, K. and Omasa, K. 2005. Early detection of photosynthetic dysfunction caused by a herbicide (Basta) using chlorophyll fluorescence and thermal image system. J. Agric. Meteorol. 60(6):1179-1181.  

44  Tardieu, F., Cabrera-Bosquet, L., Pridmore, T. and Bennett, M. 2017. Plant phenomics, from sensors to knowledge. Curr Biol. 27:R770–83.  

45  Thomas, S., Kuska, M.T., Bohnenkamp, D., Brugger, A., Alisaac, E., et al. 2018. Benefits of hyperspectral imaging for plant disease detection and plant protection – a technical perspective. JPDP. 125:5-20.  

46  Tripodi, P., Massa, D., Venezia, A. and Cardi, T. 2018. Sensing technologies for precision phenotyping in vegetable crops: current status and future challenges. Agronomy. 8:57.  

47  van Tol, N., Rolloos, M., Augustijn, D., Alia, A., de Groot, H., et al. 2017. An Arabidopsis mutant with high operating efficiency of Photosystem II and low chlorophyll fluorescence. Sci. Rep. 7(1):3314-3314.  

48  Vitek, P., Hoda, P., Rapantová, B. and Klem, K. 2017. Detection of herbicide effects on pigment composition and PSII photochemistry in Helianthus annuus by Raman spectroscopy and chlorophyll a fluorescence. Spectrochim. Acta A Mol Biomol Spectrosc. 170:234-241.  

49  Vos, J., Evers, J.B., Buck-Sorlin, G.H., Andrieu, B., Chelle, M., et al. 2010. Functional–structural plant modelling: A new versatile tool in crop science. J. Exp. Bot. 61(8):2101-2115.  

50  Wang, P., Peteinatos, G., Li, H. and Gerhards, R. 2016. Rapid in-season detection of herbicide resistant Alopecurus myosuroides using a mobile fluorescence imaging sensor. Crop Prot. 89:170-177.  

51  Wang, P., Peteinatos, G.G. and Gerhards, R. 2017. In field identification of herbicide resistant Apera spica-venti using chlorophyll fluorescence. Adv. Anim. Biosci. 8(2):283-287.  

52  Zhang, C.J., Lim, S.H., Kim, J.W., Song, J.S., Yook, M.J., et al. 2015. Quantifying herbicide dose‐response and resistance in Echinochloa spp. by measuring root length in growth pouches. Can. J. Plant Sci. 95:1181-1192.  

53  Zhang, C.J., Lim, S.H., Kim, J.W., Nah, G., Fischer, A. and Kim, D.S. 2016. Leaf chlorophyll fluorescence discriminates herbicide resistance in Echinochloa species. Weed Research. 56:424-433.  

54  Zhang, C.J. and Kim, D.S. 2018. Using leaf chlorophyll fluorescence for in-season diagnosing herbicide resistance in Echinochloa species at reproductive growth stage. Plant Protect. Sci. 54(3):194-202.  

55  Zhang, X., Huang, C., Wu, D., Qiao, F., Li, W., et al. 2017. High-throughput phenotyping and QTL mapping reveals the genetic architecture of maize plant growth. Plant Physiol. 173(3):1554-1564.