《European Journal of Agronomy》：A review of deep learning applications in weed detection: UAV and robotic approaches for precision agriculture
編輯推薦：
這篇綜述聚焦深度學習（DL）在雜草檢測中的應用。闡述了其在精準農業中，借助無人機（UAV）和機器人的檢測技術，分析了 DL 模型優勢、面臨挑戰，探討未來方向，為精準雜草管理提供全面參考。
深度學習在雜草檢測中的應用回顧：無人機和機器人助力精準農業的方法
摘要
深度學習（DL）改變了雜草檢測的面貌，極大地提升了特定地點雜草管理（SSWM）水平。本文全面回顧了基于 DL 的雜草檢測方法，涉及無人機（UAVs）、自主機器人以及高分辨率正射鑲嵌影像。不同的 DL 模型，如卷積神經網絡（CNNs）、遷移學習架構和自監督模型等，被用于提高農田中雜草檢測和分類的準確性。此外，該綜述探討了 DL 模型在自動除草機器人、實時邊緣計算系統和基于 UAV 的精準農業解決方案中的互操作性，為精準雜草控制提供了綜合視角。通過對 90 篇研究論文的系統分析，識別出當前檢測方法的趨勢，包括輕量化 DL 網絡、多模態數據融合以及 UAV 相關發展。然而，DL 模型在不同環境下的泛化能力、標記數據集的缺乏以及 DL 技術在大規模農業應用中的可擴展性有限等問題，仍是該領域面臨的挑戰。本文旨在通過批判性地回顧近期進展，突出知識空白，并提出未來研究方向，促進 DL 在精準農業和高效雜草管理中的融合。
引言
雜草是指在農業土壤中自然生長且不受歡迎的植物。它們的生長給大豆、棉花等經濟作物帶來諸多挑戰，比如阻礙收獲機械作業，增加谷物和作物中的雜質與水分含量。雜草通過競爭水、光、養分和空間等關鍵資源，嚴重影響作物生長，導致生產成本上升、收獲困難、產品質量下降、病蟲害易感性增加，以及耕地商業價值降低。研究表明，若不加以控制，雜草可造成高達 34% 的作物產量損失，每年帶來巨大經濟損失。在美國和加拿大，若不進行任何雜草控制，玉米和大豆平均每年分別損失 52% 和 49.5%，僅這兩種經濟作物每年就造成約 430 億美元的經濟損失。雜草還致使美國和加拿大冬小麥產量損失 23.5%。因此，有效的雜草管理對提高作物產量、應對農業生產中的雜草問題至關重要。
另一方面，雜草控制措施對環境的影響不容忽視。例如，除草劑的使用會造成環境污染，相當一部分化學藥劑會通過漂移或沉積進入環境。機械除草雖有效，但會引發土壤侵蝕，還會損害土壤節肢動物和蚯蚓。雜草肆意生長帶來的經濟和農藝影響，凸顯了合理雜草管理的必要性。對于綜合控制，建議采用能精準識別抗藥性雜草植株且對周圍系統影響最小的方法。其中，在采取控制措施前對雜草進行實時檢測和定位是一個有前景的發展方向，有助于提高雜草管理的精準度和可持續性。
雜草控制一直是農業的關鍵環節，其方法從早期的人工密集型逐漸發展為高度機械化、技術驅動的方式。手工拔草和鋤頭除草在小農場尚可，但不適用于大農場。20 世紀初出現的機械工具，如中耕機和旋轉鋤頭，雖能除草，但廣泛使用會導致土壤退化和作物受損。綠色革命開啟了化學除草時代，草甘膦等合成除草劑使大規模除草成為可能，不過其帶來了健康、環境問題，還導致了抗除草劑植物物種的出現。為降低成本和實現精準控制而培育的抗除草劑作物（HRCs），卻引發了更嚴重的抗性問題。
在這樣的背景下，21 世紀雜草檢測朝著自動化和機器學習（ML）方向發展。傳統 ML 算法，如支持向量機（SVMs）、隨機森林（RF）和 k 近鄰（k-NN），利用手工特征（如顏色、紋理、形狀和植被指數）進行雜草分類。SVMs 在高維特征空間表現良好，但調參困難且擴展性不佳；RF 模型能處理噪聲和不平衡數據集，但難以應對復雜的雜草 - 作物相互作用；k-NN 算法計算成本高、可解釋性差，且對距離度量選擇敏感。多年來，研究人員改進基于 ML 的分類器，試圖用少量圖像訓練模型以區分作物和雜草，但這些模型在有陰影、遮擋和視覺相似雜草物種的真實環境中表現不佳。更關鍵的是，基于 ML 的分類器無法有效定位檢測到的雜草，難以解決實時雜草管理問題。隨后，邊界框回歸技術的應用提高了檢測精度�；� RGB、多光譜、高光譜信息以及 LiDAR 和熱成像的傳感器檢測系統的發展，拓寬了雜草識別的范圍，但由于成本高和計算需求大，尚未得到廣泛應用。從 ML 到基于 DL 的方法的轉變，顯著提高了檢測精度，為田間可部署的實時解決方案奠定了基礎。
DL 算法，尤其是 CNNs 的發展，自 2015 年起徹底改變了農業領域的雜草檢測方式，克服了傳統 ML 的諸多問題。像 YOLO、Faster R-CNN 和 Mask R-CNN 等 DL 模型，能夠從原始輸入圖像數據中自動學習特征，為實時精準雜草識別開辟了道路。自 2018 年以來開發的 YOLOv4、YOLOv5 和 YOLOv8 等先進目標檢測模型，不斷突破復雜農業環境下的精度和實時檢測能力的界限。同時，MobileNet、EfficientNet 和 ShuffleNet 等輕量化 DL 模型的改進，有效推動了在資源受限的邊緣設備上的部署，提高了田間適用性。多模態數據源（如 RGB、多光譜、高光譜和 LiDAR 傳感器）的融合，增強了模型的魯棒性和雜草 - 作物區分能力。這些創新與基于 UAV 的成像平臺和遷移學習技術相結合，顯著推動了可擴展、自適應且適用于田間的雜草檢測系統的發展，標志著精準農業的變革性轉變。
基于這些技術進步，UAVs 已成為現代農業中雜草檢測和控制的變革性工具。配備 UAVs 的農業機器人為雜草檢測和控制提供了更優解決方案。搭載一系列傳感器的農業機器人在農田中導航，利用 DL 模型基于視覺數據檢測和分類雜草物種。這些機器人能適應各種地形和天氣條件，其成像設備可捕獲作物和雜草的高清圖像和數據。DL 算法對這些數據進行分析和學習，使機器人能夠實時、高精度地將作物與雜草區分開來。定位到雜草后，機器人可自主完成精準機械除草或局部除草劑施用，有助于資源利用，減少除草劑使用，對環境更友好。
與此同時，配備高分辨率相機或專用傳感器的 UAVs 革新了農業雜草檢測方式。UAVs 能快速勘測大面積農田，生成詳細的航拍圖像，涵蓋多光譜、高光譜和熱數據，通過光譜特征或熱輪廓暴露雜草和作物的差異。DL 算法分析這些海量數據，識別指示雜草存在和侵染程度的模式。UAVs 提供鳥瞰視角，可發現地面方法難以檢測的隱藏雜草斑塊的位置和分布。這些航拍數據隨后被轉化為特定位置的雜草地圖，輔助精準干預。使用 UAVs 檢測雜草不僅提高了準確性，還有助于早期發現雜草爆發，實現有效雜草管理，是精準農業進一步發展的重要組成部分，可幫助農民降低投入成本、提高產量。
現有文獻雖廣泛涵蓋了 DL 在雜草檢測中的應用，但在系統且以應用為導向地探討輕量化模型、多模態數據融合和基于 UAV 的雜草檢測方面仍存在不足。本綜述通過對現代基于 DL 的方法進行全面、系統和批判性分析，強調實際部署和可擴展性，為該領域做出獨特貢獻。
本綜述概述了 DL 在精準雜草管理中的現狀，指出了從地面技術向空中技術的轉變。文章結構如下：
- 第 2 節：描述材料和方法，詳細介紹系統文獻回顧過程。
- 第 3 節：展示文獻調查的結果和討論，聚焦精準雜草管理，分為數據采集技術、雜草分類和檢測技術、無人除草機器人用于雜草檢測與清除、使用無人機（UAV）進行雜草檢測四個部分。
- 第 4 節：探討 DL 在精準雜草管理應用中的挑戰和局限性。
- 第 5 節：探索使用 DL 的創新雜草檢測技術的未來方向。
- 第 6 節：總結文章主要發現，識別研究空白，突出貢獻，得出結論。
本綜述研究的主要目標包括：
- 概述集成 DL 的精準除草技術，涵蓋地面和空中系統中的雜草檢測和分類。
- 研究用于雜草檢測的 DL 模型，重點關注 CNNs、遷移學習和其他 DL 架構等技術。
- 強調使用 UAVs 進行空中雜草檢測，評估其在實時農業應用中的有效性和潛力。
- 分析各種傳感技術，包括 RGB、多光譜和高光譜傳感器，以及它們與 DL 的集成用于雜草識別。
- 討論 DL 在精準雜草管理應用中的挑戰和局限性，特別是與數據質量、模型泛化、可擴展性和實時處理相關的問題。
- 推薦未來研究方向，強調改進 DL 模型、數據增強技術以及物聯網集成，以提升雜草管理解決方案。
材料和方法
本節概述了對基于 DL 的雜草檢測和分類方法進行系統綜述的研究方法。在 2015 年至 2024 年期間選取研究文章的搜索策略，涉及查閱主要科學數據庫，如 IEEE Xplore、ScienceDirect、Web of Science 和 Google Scholar。采用關鍵詞驅動的方法，結合布爾搜索運算符，查詢語句如（“deep learning”）AND（“weed detection” OR “weed” ）。
數據采集技術
標記數據集是訓練基于 DL 的雜草檢測和分類模型的重要組成部分。通過安裝在不同平臺上的不同傳感器收集多種類型的數據，以實現多模態。本節討論收集雜草數據的常見方法及其面臨的挑戰。
挑戰和局限性
DL 在精準雜草管理中存在挑戰和局限性。若能克服這些挑戰，將有助于進一步提高相關系統的性能和應用范圍。本節基于文獻研究對這些問題進行探討。
未來方向
在農場中檢測雜草至關重要，借助 DL 可提高檢測的準確性和效率。隨著對改善雜草控制的需求不斷增長，研究人員致力于開發適應現實農業系統復雜性的新型 DL 方法。本節討論 DL 在雜草檢測方面幾個有前景的研究方向，包括多模態方法、利用遷移學習提升性能、適用于小型設備的輕量化模型，以及提高模型可解釋性。
結論
本綜述通過匯編 Science Direct、Web of Science 和 Google Scholar 等流行數據庫中的多數研究文章，對當前用于雜草檢測的 DL 方法進行了廣泛調查�？傮w而言，2017 年后相關出版物顯著增加，表明利用 DL 開發精準農業方法的研究興趣日益濃厚。本綜述按關鍵部分進行組織 。
