Разработана новая платформа на базе искусственного интеллекта PD-CLIP, которая способна распознавать болезни растений, ранее ей не встречавшиеся. Система также оценивает степень поражения культуры и характер распределения симптомов по кроне. Технология призвана решить проблему диагностики заболеваний в сложных полевых условиях, где традиционные алгоритмы неэффективны, что создаёт растущую угрозу для глобальной продовольственной безопасности.
Существующие модели ИИ хорошо работают с эталонными изображениями, снятыми в лаборатории, – например, с отдельными листьями на однородном фоне. Однако в реальных условиях на ферме они часто ошибаются из-за теней, сорняков, бликов, перекрывающих друг друга листьев и меняющейся погоды. Создавать достаточно крупные и разнообразные базы данных с фотографиями из полей дорого и трудоёмко.
PD-CLIP решает эту проблему, совмещая компьютерное зрение и языковые модели. Система сопоставляет изображения растений с их подробными текстовыми описаниями, которые включают тип болезни, степень её развития и характер распространения. Такой подход позволяет ИИ выявлять заболевания, на примерах которых он не обучался. Основу для обучения составляют синтетические изображения: разработчики генерируют на движке Unreal Engine 5 трёхмерные модели растений и с высокой точностью контролируют на них все параметры болезни.
Чтобы модель работала с реальными фотографиями, применяется специальный механизм адаптации, который «обучает» алгоритм находить признаки болезней на снимках с полей так же эффективно, как и на идеальных 3D-моделях. Технология анализирует как общий вид растения, чтобы понять масштаб распространения болезни, так и увеличенные фрагменты листьев для идентификации конкретных симптомов.
Работу системы проверили на томатных полях в Северной Каролине. Автономный робот собрал более 12 тыс. изображений растений, поражённых ранней и поздней пятнистостью, а также септориозом. По мнению авторов, опубликованному в журнале Artificial Intelligence in Agriculture, подобные технологии позволят сельскохозяйственным дронам и роботам раньше обнаруживать угрозы, точнее отслеживать состояние посевов и вносить средства защиты только на поражённые участки, сокращая использование химикатов.