Группа исследователей представила новый фреймворк на основе искусственного интеллекта, способный одновременно определять несколько болезней растений на одном листе. Система под названием CA-CLIP решает проблему смешанных и перекрывающихся симптомов, с которой не справлялись предыдущие диагностические модели, рассчитанные на выявление только одного заболевания на изображении.
В отличие от аналогов, которые анализируют изображение целиком, CA-CLIP сопоставляет текстовые описания симптомов с конкретными участками листа. Этот визуально-языковой подход позволяет системе локально находить признаки каждой болезни, даже если они накладываются друг на друга. Таким образом, модель разделяет доказательства наличия разных патогенов и выносит комплексный диагноз.
Одной из главных сложностей при разработке стала нехватка данных для обучения. В природе трудно найти достаточное количество образцов с несколькими заболеваниями, а их ручная разметка дорога. Чтобы решить эту проблему, команда создала эталонный набор данных CC-Leaf. Он включает как реальные фотографии, так и синтезированные изображения, которые сгенерировали путём наложения участков с признаками болезней на здоровые листья. Это позволило получить большой и сбалансированный датасет для пяти сельскохозяйственных культур и одиннадцати видов заболеваний.
Испытания на наборе данных CC-Leaf показали, что CA-CLIP значительно превосходит существующие модели по точности, особенно в сценариях с двумя или тремя болезнями на листе. Фреймворк эффективно распознаёт каждое заболевание по отдельности, не воспринимая их сочетание как один новый симптом. Система также показала устойчивость при работе с ограниченным количеством обучающих данных.
Разработчики отмечают, что система может применяться в сельском хозяйстве, поскольку для её работы не нужно специальное оборудование – достаточно обычных фотографий. Кроме того, модель способна визуально указывать на участки листа, которые стали основанием для диагноза, что делает её выводы проверяемыми для агрономов. В то же время авторы признают, что текущая версия ограничена болезнями листьев и требует дальнейших испытаний в реальных полевых условиях, где на качество изображений влияют освещение и другие факторы.