Research article

Efficient species segmentation throughout the growing season of oilseed rape-service plant intercropping using transfer learning^☆

L’utilisation des méthodes de transfer learning permet un découpage efficace des espèces sur des images d’association colza-plantes de services à différents stades

¹ Plant-Production Systems, Agroscope, Nyon, Switzerland
² Ecole Polytechnique Fédérale de Lausanne, Lausanne, Switzerland
³ USC 1432 LEVA, Ecole Supérieure des Agricultures, INRAE, SFR 4207 QUASAV, Angers, France
⁴ Picterra, Chavannes, Switzerland

^* Corresponding author: This email address is being protected from spambots. You need JavaScript enabled to view it.

Received: 26 June 2025
Accepted: 20 January 2026

Abstract

Semantic segmentation methods have become increasingly popular in the field of agronomy for their ability to accurately and efficiently analyse images of crops. These methods use machine learning algorithms to assign semantic labels to each pixel in an image and require extensive amount of labelled data. Currently, most of the available models focus on crop and weed identification and target a single growth stage. In this paper, we propose a robust semantic segmentation method for estimating the dynamics of multi-species cover in intercropping systems, using only 50 images for training the model. We applied transfer learning on the well-established convolutional neural network DeepLab to decrease the image annotation effort. Three models are trained using field images from a three-year field trial with canopy densities ranging from early development at 1.2% to well-developed canopy covers of 98.7%. Overall, we propose a two-class segmentation model to differentiate vegetation from soil, obtaining 96.8% mean accuracy. Two methods for three-class segmentation models to identify soil, oilseed rape and the other plants are proposed, reaching best mean accuracy of 96.2%. The proposed method is able to differentiate oilseed rape from service plant mixtures at all growing stages, allowing for accurate assessment of the dynamic competition for light between these species. Hence, semantic segmentation methods in agronomy have the potential to support study and management of crops, enabling more accurate and efficient data collection and analysis.

Résumé

Les méthodes de segmentation sémantique sont devenues de plus en plus populaires dans le domaine de l’agronomie, grâce à leur capacité à analyser précisément et efficacement les images des cultures. Ces méthodes utilisent des algorithmes de machine learning pour classer chaque pixel de l’image, et nécessitent un grand nombre de données. Actuellement, la plupart des modèles disponibles proposent l’identification d’une culture et des adventices et ne ciblent qu’un seul stade de développement. Dans cet article, nous proposons une méthode de segmentation sémantique robuste permettant d’estimer la dynamique de couverture d’associations complexes de cultures, en n’utilisant que 50 images pour entraîner le modèle. Nous avons utilisé une méthode de transfer learning sur le modèle de réseaux de neurones DeepLab déjà entraîné pour réduire l’effort d’annotation des images. Trois modèles ont été entraînés à partir d’images obtenues dans un essai au champ reconduit trois ans, pendant la période de développement de la culture allant d’une couverture du sol de 1,2 % jusqu’à 98,7 %. Nous proposons un modèle de segmentation en deux classes, qui différentie le sol de la végétation, et obtient une précision moyenne de 96,8 %. Deux méthodes pour des modèles de segmentation à 3 classes, identifiant le sol, le colza et les autres espèces végétales sont proposées, et ont une précision moyenne de 96,2 %. Les méthodes proposées sont capables de différentier le colza des mélanges de plantes de services à tous les stades du développement végétatif, et permettent ainsi une évaluation précise de la dynamique de compétition pour la lumière entre les espèces. Ainsi, les méthodes de segmentation sémantique peuvent contribuer à l’étude des associations de cultures et être utilisées dans des outils d’aide à la décision, car elles simplifient et rendent plus précise la collecte et l’analyse des données.