Patente nacional por "DISPOSITIVO Y PROCEDIMIENTO DE MONITORIZACIÓN DE RENDIMIENTO PARA COSECHADORA EN OLIVAR SUPERINTENSIVO"

Reivindicaciones:
+ ES-2956395_A11.- Dispositivo de monitorización de rendimiento para cosechadora en olivar superintensivo, destinado a disponerse en una cosechadora (13) que comprende una cinta transportadora (15) , por la que se desplazan unas aceitunas recolectadas y unos residuos, y una tolva (16) , dispuesta en un extremo final de la cinta transportadora (15) , a la que caen las aceitunas y residuos, comprendiendo el dispositivo: - una estructura soporte (1) , destinada a posicionarse en un extremo de la cintra transportadora (15) , en un punto donde las aceitunas y residuos se vuelcan en la tolva (16) , - un módulo de electrónica (3) , que comprende: o un módulo de adquisición de imagen, dispuesto de manera que adquiere imágenes claras de la zona final de la cinta transportadora (15) , o un sensor de velocidad de la cinta transportadora (9) , o un sensor de velocidad de la máquina cosechadora (10) , o un módulo de procesado (4) , asociado al módulo de adquisición de imagen, al sensor de velocidad de la cinta transportadora (9) y al sensor de velocidad de la máquina cosechadora (10) , que utiliza un modelo de aprendizaje profundo (Deep Learning) para la clasificación y detección de aceitunas y residuos presentes, y configurado para el cálculo del rendimiento del olivar, y o un módulo de alimentación (11) , conectado al módulo de procesado (4) . 2.- El dispositivo de la reivindicación 1, que comprende adicionalmente una membrana (2) , dispuesta de forma que las aceitunas que se desplazan por la cinta transportadora (15) pasan por la membrana (2) antes de caer a la tolva (16) . 3.- El dispositivo de la reivindicación 2, en el que la membrana (2) es flexible y negra. 4.- El dispositivo de la reivindicación 1, en el que el módulo de adquisición de imagen comprende una cámara RGB (5) . 5.- El dispositivo de la reivindicación 4, en el que el módulo de adquisición de imagen comprende adicionalmente un módulo de iluminación (6) , asociado a la cámara RGB (5) . 6.- El dispositivo de la reivindicación 1, en el que la unidad de electrónica comprende adicionalmente un módulo de comunicación (7) , destinado a conectarse a un dispositivo externo. 7.- El dispositivo de la reivindicación 1, en el que la unidad de electrónica comprende adicionalmente un módulo de posicionamiento (8) , de manera que se puede conocer la ubicación de la cosechadora (13) en todo momento. 8.- El dispositivo de la reivindicación 7, en el que el módulo de posicionamiento (8) es de tipo GNSS (Global Navigation Satellite System) o GPS. 9.- El dispositivo de la reivindicación 1, en el que la unidad de electrónica comprende adicionalmente un módulo de visualización de datos y resultados (12) , vinculado al módulo de procesado (4) . 10.- Procedimiento de monitorización de rendimiento para cosechadora en olivar supertintensivo, que comprende las etapas de: - entrenar un modelo de aprendizaje profundo basado en reconocimiento de contornos para diferenciar aceitunas y residuos, - disponer el dispositivo de cualquiera de las reivindicaciones anteriores en un extremo de la cinta transportadora (15) de la cosechadora (13) , justo en el punto en el que las aceitunas caen a la tolva (16) , - realizar una captura de imágenes, y obtener el conteo de aceitunas con el modelo de aprendizaje profundo, - obtener datos de velocidad de la cosechadora (13) , - obtener datos de velocidad de la cinta transportadora (15) , - obtener datos del ancho de trabajo de la cosechadora (13) , - determinar un rendimiento (toneladas/hectárea) de las distintas zonas del olivar como: siendo: Y: Rendimiento instantáneo (masa/superficie) . N: número de aceitunas por fotograma. V: velocidad de la cinta transportadora (15) (m/s) . Pp: Densidad del producto (g/aceituna) A t: Periodo de muestreo (s) Cd : Distancia de la cinta transportadora (15) medida (longitudinal) por el módulo de adquisición de imagen . a: Ancho de trabajo (m) de la cosechadora (13) d: Distancia recorrida por la cosechadora (13) (m) 11.- El procedimiento de la reivindicación 10, que comprende adicionalmente una etapa de obtener el volumen y peso de cada aceituna recogida utilizando el modelo de aprendizaje, y calcular la densidad de cada aceituna a partir del volumen y el peso. 12.- El procedimiento de la reivindicación 10, que comprende adicionalmente una etapa de obtener un porcentaje de residuos sobre la masa total. 13.- El procedimiento de la reivindicación 10, que comprende adicionalmente una etapa de obtener datos sobre la posición de la cosechadora (13) y crear, a partir de estos y los datos de rendimiento de las distintas zonas del olivar, un mapa de rendimiento. 14.- Programa de ordenador configurado para ejecutar, en el módulo de procesado (4) del dispositivo de monitorización de acuerdo con la reivindicación 1, las etapas del procedimiento de acuerdo con cualquiera de las reivindicaciones 10a13. 15.- Unidad de almacenamiento configurada para almacenar el programa de ordenador de acuerdo con la reivindicación 14.

Los productos y servicios protegidos por este registro son:
A01D 46/00 - A01D 91/04 - G06V 20/68 - A01D 75/00 - A01D 67/00 - G06V 10/72

Descripciones:
+ ES-2956395_A1 DESCRIPCI N DISPOSITIVO Y PROCEDIMIENTO DE MONITORIZACIÓN DE RENDIMIENTO PARA COSECHADORA EN OLIVAR SUPERINTENSIVO OBJETO DE LA INVENCIÓN Se trata de un dispositivo y procedimiento de monitorización de rendimiento para cosechadora, adecuado para el sector de la agricultura de precisión y especialmente en la monitorización del rendimiento y análisis de aceituna y contaminación (otros elementos cosechados, como ramas, hojas, etc.) en tiempo real de cosecha en olivar superintensivo. ANTECEDENTES DE LA INVENCIÓN En los últimos años, ha habido un gran incremento en el empleo de las nuevas tecnologías en la mecanización agraria. Este avance necesario, así como positivo, garantiza el aumento de competividad que se exige a día de hoy al sector de la agricultura. Cuando se habla de agricultura de precisión en el entorno de la gestión de una explotación, se hace referencia al manejo de los diferentes factores que de una manera u otra afectan al cultivo y por lo tanto van a tener repercusión en la producción final, en el rendimiento de la cosecha. Esta variabilidad espacial del rendimiento observado se ve afectada por la combinación de los diferentes factores y al grado de influencia dentro del cultivo de cada uno de ellos. La combinación de la agricultura de precisión junto con las nuevas tecnologías permite la creación de una base de datos de cada parcela, con la que posteriormente se facilita la toma de decisiones. La agrupación de los diferentes factores que afecten de manera directa al cultivo se emplea en la creación de mapas de distribución de la parcela. Esto permite la creación de diferentes zonas de manejo de producción y así la aplicación de tratamientos controlados bajo un estudio previo de estos datos. Con todo esto, se concluye que el papel fundamental de los monitores de rendimiento de una cosecha en la agricultura de precisión permite conocer en qué grado de acierto se han tomado las decisiones facilitadas por estas bases de datos y obtener una información válida para la gestión de la siguiente campaña. La cuantificación automática del rendimiento en cosechadoras de olivar superintesivo constituye aún hoy un reto técnico no resuelto en el sector. Especialmente para el cultivo de la aceituna, existen muy pocas alternativas comerciales y prototípicas para la toma de estos datos, debido al porte de esta planta y la peculiaridad de su recolección. Actualmente, no se conocen referencias de monitores de rendimiento para la cosecha de olivar. Sí es conocido un sistema para la cosecha de olivar superintensivo, que describe la opción de un sistema de pesaje de las tolvas basado en células de carga. Se trata de un sistema mecánico, basado en la señal emitida por un puente de Wheatstone que es proporcional a la deformación de un bloque de metal que se encuentra bajo los contenedores principales de producto. Cuanto mayor es la masa soportada mayor será la señal emitida, pero también se generan más errores, debido a picos de aceleraciones no relacionadas con la fuerza de la gravedad, si no al movimiento mismo de la máquina. Por lo tanto, el sistema permite medidas puntuales cuando la cosechadora se detiene, principalmente en el momento de la descarga, y puede calcular pesos medios o parciales por fila, parcela o día, pero al no poder medir en movimiento, no consiente generar mapas de rendimiento geolocalizados. Por su parte, las técnicas de visión artificial, y en especial el machine leaming, son herramientas muy prometedoras para la clasificación y detección de objetos con aplicación directa en la agricultura. Actualmente, numerosas iniciativas científicas están trabajando en esta área en el ámbito agrícola (p. ej., detección de frutos) . En la aplicación de técnicas de visión artificial para el conteo e individualización del tamaño y peso de frutos de aceituna, es conocida una metodología para uso en laboratorio y bajo condiciones de iluminación controlada. Se utiliza una cabina completamente cerrada e iluminada desde la parte inferior y una cámara fotográfica en la parte superior con posibilidades de instalarse en una cinta transportadora. Las imágenes tomadas son analizadas de forma manual en postproceso utilizando una transformación binaria-segmentada de las imágenes para la individualización de cada fruto y el cálculo del eje menor y mayor como características fundamentales. Otros estudios encontrados que relacionan el uso de procesamiento de imágenes en frutos de olivar están dirigidos a la identificación y medida del color de los frutos para su uso en la estimación de maduración de estos. Estas técnicas se basan en el análisis estadístico del conteo e píxeles existentes en cada categoría de color estudiada. Los resultados están destinados a implementarse en aplicaciones para dispositivos portátiles como teléfonos inteligentes o tabletas, fáciles de utilizar por los usuarios en campo. Este tipo de soluciones, si bien son novedosas, no son escalables a grandes volúmenes de datos, además, son muy dependientes de las condiciones lumínicas lo que reduce su precisión y exactitud. DESCRIPCIÓN DE LA INVENCIÓN El dispositivo y procedimiento de monitorización de rendimiento en tiempo real para cosechadora en olivar superintensivo de la presente invención permiten realizar una gestión más precisa en una parcela de cultivo, pudiendo diferenciar distintas áreas de manejo, lo que conlleva una reducción de insumos y un mayor beneficio económico y ambiental. Particularmente, la invención se encuadra en el sector de la agricultura de precisión y especialmente en la monitorización del rendimiento y análisis de aceituna y contaminación (otros elementos cosechados, como ramas, hojas, etc.) en tiempo real de cosecha en olivar superintensivo. El dispositivo está planteado para su uso en campo, y está destinado a instalarse a bordo de una cosechadora, de forma que realiza medidas de forma continua y no supervisada. Las cosechadoras de aceitunas disponen de unos cangilones, que recogen el producto del árbol y lo vuelcan sobre una cinta transportadora, que a continuación lo vierte a través de una tolva. El dispositivo de la invención se posiciona, concretamente, sobre el punto final de la cinta transportadora, donde las aceitunas caen sobre la tolva. Con el dispositivo y procedimiento presentes se calcula el volumen y peso de cada fruto varias veces por minuto, y se extrapola a producción por unidad de superficie. Esta información se traslada a un mapa georreferenciado de manera que pueda ayudar al agricultor a la mejora en su toma de decisiones, pudiendo obtener un mayor beneficio económico y ambiental, incrementando la productividad y reduciendo los costes de abonado, fitosanitarios y de riego. De manera general, el dispositivo permite conocer el rendimiento de cosecha en tiempo real usando la información recibida por una cámara RGB (Red-Green-Blue, rojo-verde-azul) referentemente, y un modelo de aprendizaje automático. El dispositivo es capaz de contar automáticamente el número de aceitunas, así como el porcentaje de residuos presentes. Concretamente, el dispositivo comprende una estructura soporte y una unidad electrónica. Como se ha indicado, la estructura soporte está destinada a vincularse la cosechadora, en la parte final de la cinta transportadora, en el punto donde las aceitunas se vierten en la tolva. Por su parte, la unidad electrónica se dispone en la estructura soporte, y comprende: - Un módulo de adquisición de imagen, dispuesto de manera que puede adquirir imágenes claras de la zona en la que las aceitunas salen de la cinta transportadora, para caer en la tolva. El módulo de adquisición de imagen comprende preferentemente una cámara RGB. Además, el módulo de adquisición de imagen puede comprender adicionalmente un módulo de iluminación, asociado a la cámara RGB, de manera que ilumina la cinta transportadora y permite la obtención de imágenes más claras. - Un sensor de velocidad de la cintra transportadora. - Un módulo de posicionamiento de la cosechadora, de manera que se puede conocer su ubicación en todo momento, así como la distancia que recorre. - Un módulo de procesado, asociado al módulo de adquisición de imagen y al sensor de velocidad de la cinta transportadora. En el módulo de procesado se utiliza un modelo de DL (Deep Learning, aprendizaje profundo) para la clasificación y detección de aceitunas, así como el porcentaje de residuos presentes. - Un módulo de alimentación, conectado al módulo de procesado. - Opcionalmente, un módulo de comunicación, destinado a conectarse a un dispositivo externo, al que envía los resultados obtenidos en el módulo de procesado. - Opcionalmente, un módulo de visualización de datos y resultados, vinculado al módulo de procesado. Además, el dispositivo puede comprender una membrana, que se dispone a continuación de la cinta transportadora, antes de la tolva, de manera que las aceitunas pasan primero sobre esta y a continuación caen por la tolva. En este caso, el módulo de adquisición de imagen toma las imágenes de la membrana. De esta manera, las imágenes obtenidas por el módulo de adquisición de imagen serán más claras y nítidas. Por otra parte, es objeto de la presente invención un procedimiento de monitorización de rendimiento para cosechadora en olivar superintensivo, que comprende las etapas de: - entrenar un modelo de Deep Learning basado en reconocimiento de contornos para diferenciar aceitunas y residuos, - disponer el dispositivo descrito anteriormente en un extremo de la cinta transportadora de la cosechadora, justo en el punto en el que las aceitunas caen a la tolva, - realizar una captura de imágenes, y obtener el conteo de aceitunas, - obtener datos de distancia recorrida por la cosechadora, - obtener datos de velocidad de la cinta transportadora, - obtener datos del ancho de trabajo de la cosechadora, y - determinar, el rendimiento (toneladas/hectárea) de las distintas zonas del olivar como: siendo: Y: Rendimiento instantáneo (masa/superficie) . N: número de aceitunas por fotograma. V: velocidad de la cinta (m/s) . Pp: Densidad del producto (g/aceituna) A t: Periodo de muestreo (s) Cd : Distancia de la cinta medida (longitudinal) por la cámara. a: Ancho de trabajo (m) d: Distancia recorrida por el vehículo (m) En un primer aspecto de la invención, se utiliza una densidad del producto conocida. Alternativamente, y para aumentar la precisión, el procedimiento puede comprender una etapa adicional de, a partir del modelo de Deep Learning, obtener el cálculo del volumen y peso de cada aceituna recogida, con el posterior cálculo de su densidad. En otro aspecto de la invención, el procedimiento puede comprender una etapa adicional de, a partir del modelo de Deep Learning, obtener el porcentaje de residuos sobre la masa total. En otro aspecto de la invención, el procedimiento puede comprender las etapas de obtener datos sobre la posición de la cosechadora y crear, a partir de estos y los datos de rendimiento del olivar, un mapa de rendimiento. DESCRIPCIÓN DE LOS DIBUJOS Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, de acuerdo con un ejemplo preferente de ealización práctica de la misma, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente: Figura 1.- Muestra una representación esquemática de la unidad electrónica del dispositivo. Figura 2.- Muestra el dispositivo acoplado a la máquina cosechadora. Figura 3.- Muestra un detalle de la estructura de fijación del dispositivo a la máquina cosechadora. REALIZACIÓN PREFERENTE DE LA INVENCIÓN Se describe a continuación, con ayuda de las figuras 1 a 3, una realización preferente del dispositivo y procedimiento de monitorización de rendimiento para cosechadora en olivar superintensivo. Este dispositivo está destinado a instalarse directamente sobre las cosechadoras que realizan las operaciones de cosecha mecanizada y permite calcular el producto cosechado y residuos en tiempo real y geolocalizado. Concretamente, tal y como se muestra en la figura 2 el dispositivo está destinado a disponerse en una cosechadora (13) que comprende una zona de cabina (14) , una cinta transportadora (15) , por la que se desplazan las aceitunas recolectadas, y una tolva (16) , dispuesta en un extremo final de la cinta transportadora (15) , a la que caen las aceitunas. Tal y como aparece en la figura 2, el dispositivo comprende, en primer lugar, una estructura soporte (1) , posicionada en un extremo de la cinta transportadora (15) , en un punto donde las aceitunas se vuelcan en la tolva (16) . Además, como se muestra en más detalle en la figura 3, el dispositivo puede comprender una membrana (2) , flexible y negra preferentemente, dispuesta de forma que las aceitunas que se desplazan por la cinta transportadora (15) pasan por la membrana (2) antes de caer a la tolva (16) . La membrana (2) permite aumentar el contraste con el fondo irregular de la tolva (16) . Se ha determinado que el punto óptimo para la clasificación de las aceitunas se realiza en la parte final, correspondiente a la parte de descarga de las cintas transportadoras que desplazan el flujo de aceituna desde los cangilones de recogida hasta las tolvas situadas a ambos lados de la máquina cosechadora. Por otra parte, el dispositivo comprende una unidad electrónica, que se muestra en detalle en la figura 1, y que se dispone en la estructura soporte, y comprende: - Un módulo de adquisición de imagen, dispuesto de manera que puede adquirir imágenes claras de la zona final de la cinta transportadora (15) o de la membrana (2) si la hubiera. El módulo de adquisición de imagen comprende una cámara RGB (5) . Además, el módulo de adquisición de imagen comprende adicionalmente un módulo de iluminación (6) , asociado a la cámara RGB (5) , de manera que ilumina la zona final de la cinta transportadora (15) o la membrana (2) y permite la obtención de imágenes más claras. En un aspecto de la invención, el módulo de iluminación comprende, para una adecuada iluminación, dos barras de iluminación LED de 2, 6W, que producen una luz blanca con un total de 530 LUX a 50 centímetros de distancia de visión de la aceituna. Con esta luz se logra que la cámara RGB pueda captar sin sombras ni reflejos externos una buena toma cenital del flujo de aceituna. - Un sensor de velocidad de la cintra transportadora (9) y opcionalmente un sensor de velocidad de la máquina cosechadora (10) . El sensor de velocidad de la cinta transportadora (9) es preferentemente un sensor inductivo dispuesto en el eje acoplado a la cinta. - Un módulo de procesado (4) , asociado al módulo de adquisición de imagen. En el módulo de procesado (4) se utiliza un modelo de DL (Deep Learning, aprendizaje profundo) para la clasificación y detección de aceitunas, así como el porcentaje de residuos presentes, que se explica en detalle más adelante. - Un módulo de comunicación (7) , preferentemente con tecnología 3G y CANbus, destinado a conectarse a un dispositivo externo, a los que envía los resultados obtenidos en el módulo de procesado (4) . - Un módulo de alimentación (11) , conectado al módulo de procesado (4) . - Un módulo de posicionamiento (8) , de manera que se puede conocer la ubicacióny velocidad de la cosechadora (13) en todo momento. El módulo de posicionamiento (8) es de tipo GNSS (Global Navigation Satellite System) o GPS preferentemente. - Opcionalmente, un módulo de visualización de datos y resultados (12) , vinculado al módulo de procesado (4) . Además, es objeto de la presente invención un procedimiento de monitorización de rendimiento para cosechadora (13) en olivar superintensivo, que comprende las etapas de: - entrenar un modelo de Deep learning basado en reconocimiento de contornos para diferenciar aceitunas y residuos, - disponer el dispositivo descrito anteriormente en un extremo de la cinta transportadora (15) de la cosechadora (13) , justo en el punto en el que las aceitunas caen a la tolva (16) , - realizar una captura de imágenes, y obtener el conteo de aceitunas, - obtener datos de velocidad de la cosechadora (13) , - obtener datos de velocidad de la cinta transportadora (15) , - obtener datos del ancho de trabajo de la cosechadora, - determinar, el rendimiento (toneladas/hectárea) de las distintas zonas del olivar como: siendo: Y: Rendimiento instantáneo (masa/superficie) . N: número de aceitunas por fotograma. V: velocidad de la cinta (m/s) . Pp: Densidad del producto (g/aceituna) A t: Periodo de muestreo (s) Cd : Distancia de la cinta medida (longitudinal) por la cámara. a: Ancho de trabajo (m) d: Distancia recorrida por el vehículo (m) En un aspecto de la invención, la densidad del producto es un dato medio, conocido de antemano. En un aspecto alternativo de la invención, con el objetivo de aumentar la precisión, el procedimiento puede comprender una etapa adicional de, a partir del modelo de Deep Learning, obtener el cálculo del volumen y peso de cada aceituna recogida, calculando además la densidad de cada una de las aceitunas detectadas. En un aspecto de la invención, el procedimiento puede comprender una etapa adicional de, a partir del modelo de Deep Learning, obtener el cálculo del volumen y peso de cada aceituna recogida. En otro aspecto de la invención, el procedimiento puede comprender una de, a partir del modelo de Deep Learning, obtener el porcentaje de residuos sobre la masa total. En otro aspecto de la invención, el procedimiento puede comprender las etapas de obtener datos sobre la posición de la cosechadora (13) y crear, a partir de estos y los datos de rendimiento del olivar, un mapa de rendimiento. Dentro del gran abanico de modelos de Deep Learning (DL) que se pueden encontrar, se pueden diferenciar dos grandes grupos: los que se basan en aprendizaje supervisado y los de aprendizaje no-supervisado. El modelo elegido preferentemente para esta invención es un modelo de aprendizaje supervisado, es decir, necesita de un conjunto de datos (datasef) del que aprender. Por tanto, el desarrollo del modelo para la estimación del rendimiento en cosechadora de olivar comprende cuatro fases. Una primera fase consiste en la creación del conjunto de datos (datasef) para el entrenamiento del modelo. En este caso, el conjunto de datos para entrenar el modelo de DL se obtuvo utilizando una cámara Nikon D5200. Para ellos se obtienen unas imágenes en condiciones de laboratorio utilizando un prototipo de cinta transportadora (15) que simula la cinta que llevan las cosechadoras (13) . El proceso de adquisición de las imágenes consiste en colocar la cámara en el centro de la cinta transportadora (15) y grabar un vídeo mientras una masa de aceitunas conocida (16.8 Kg) se vierte sobre la tolva (16) . La cámara se coloca a unos 35 cm de altura sobre la cinta transportadora (15) . Se adquieren un total de 1000 imágenes para el entrenamiento del modelo. Este conjunto de imágenes es etiquetado utilizando un software de detección de contornos, que puede clasificar las aceitunas y los residuos. Particularmente se utiliza el software de código abierto Labelimg, que permite dibujar alrededor de cada aceituna un rectángulo (boundig box) , que localiza dentro de la imagen la posición y forma que tiene el objeto delimitado, en este caso las aceitunas y los residuos. El formato de etiquetado proporcionado por Labelimg es el conocido como formato Pascal VOC (Visual Object Classes Challenge) que es un estándar a nivel internacional utilizado en este tipo de modelos. Cada imagen del conjunto de datos lleva asociado un archivo XML (Extensible Markup Language) donde se almacenan las coordenadas de cada rectángulo dibujado sobre la imagen. Como se ha indicado anteriormente, también se incluyeron en el etiquetado los residuos. El tener en cuenta los residuos, se hace con la intención de que además de que el modelo sea capaz de contar y de detectar las aceitunas, se pueda estimar el porcentaje de residuos que trae el volumen de producto cosechado. Este porcentaje de residuos es importante, ya que en muchas almazaras se suele aplicar un porcentaje de residuos de forma manual, y por tanto muy imprecisa, que se descuenta al peso total de aceitunas cosechadas. En la actualidad no existe una forma exacta de medir ese porcentaje de residuos, ya que dicha estimación está basada en spectos visuales y la experiencia. Disponer de un dispositivo y procedimiento que sea capaz de estimar esos residuos de forma precisa puede resultar muy útil para el agricultor. Por tanto, para cada una de las 1000 imágenes se etiquetan todas las aceitunas y residuos utilizando dos clases o nombres identificativos "aceituna" y "residuo", es decir, cada uno de los rectángulos dibujados sobre las imágenes va identificado o etiquetado con una de esas palabras dependiendo de si es aceituna o residuo. A la hora de etiquetar los residuos se consideraron como tales tanto las hojas, los trozos de ramas y tallos, así como aquellas aceitunas claramente secas o en mal estado. Antes de entrenar el modelo se realiza un recuento del número total de etiquetas (residuos y aceitunas) presentes en el conjunto de datos. Esto es importante, ya que del número total de etiquetas también dependerá la precisión del modelo. En este ejemplo de realización, el número total de etiquetas para aceituna es algo más de 200.000 mientras que para residuos es en torno a 50.000. Lo ideal, en cuanto al modelo se refiere, sería tener un número similar de etiquetas para cada clase. Sin embargo, durante el proceso de recolección lo más normal es encontrar más aceitunas que residuos en la cinta transportadora de la cosechadora. Por tanto, se considera adecuado el número de etiquetas para cada clase. Una segunda fase consiste en la elección del modelo para el entrenamiento. En este caso se ha elegido un modelo Yolo en su versión 5.0 (YoloV5) . Es un modelo abierto entrenado sobre el conjunto de datos público COCO (Microsoft Common Objects in Contexf) . Este conjunto de datos contiene un total de 164.000 imágenes etiquetadas con un total de 80 clases de objetos cotidianos (como persona, bicicleta, elefante entre otras) . El modelo es capaz de detectar estas clases con gran precisión, pero no es capaz de realizar detecciones de aceitunas ni residuos sobre una cinta transportadora, ya que no ha sido entrenado para dicho propósito. Así, el aprendizaje de base (adquirido en el entrenamiento con el dataset de COCO) que trae YoloV5 se utiliza para que el modelo sea capaz de detectar las clases (aceituna y residuo) sobre la cinta transportadora que va montada en la cosechadora. La técnica utilizada se conoce como transfer learning. En cuanto al funcionamiento de este modelo tiene como base el lenguaje de programación de Python y a su vez la librería de Pytorch. Éste último es un entorno de trabajo especializado en el aprendizaje automático mediante cálculo de tensores y aceleración de GPU (Graphics Processing Unit, Unidades de Procesamiento Gráfico) . Por otra parte, dado que este tipo de modelos necesitan una gran capacidad de procesamiento para el entrenamiento, sobre todo de GPU, se ha optado por utilizar para el entrenamiento del modelo una herramienta gratuita que ofrece Google, llamada Google Colaborator y . Esta herramienta, tiene un entorno que permite trabajar con Python y realizar el entrenamiento de modelos complejos basados en DL. Teniendo esto en cuenta, el modelo YoloV5 fue entrenado utilizando las 1000 imágenes, las cuales fueron divididas en tres sets de datos: entrenamiento (70%) , validación (20%) y test (10%) . El entrenamiento consiste básicamente en pasarle el set de imágenes de entrenamiento un número de veces determinado (término conocido como epochs) y comparar las predicciones en cada epoch con el set de validación. A medida que se realiza este proceso iterativo se van ajustando los pesos (coeficientes de ajuste) del modelo (YoloV5) hasta alcanzar los mejores valores de predicción. El set de datos test, se utiliza como una forma de validar el modelo sobre imágenes que nunca ha visto. Una tercera fase consiste en la validación del modelo utilizando métricas específicas. En los modelos de DL existen métricas o estadísticos específicos para evaluar la precisión con la que trabajan estos modelos. Lo que se suele evaluar es: los positivos verdaderos o True Positive (TP) , los Positivos Falsos (FP) y los Negativos Falsos (FN) : - TP: el modelo detecta un objeto donde hay un objeto. - FP: el modelo detecta un objeto donde no hay un objeto. - FN: el modelo no detecta un objeto donde hay un objeto. Estas métricas son la base de los modelos de aprendizaje profundo, pero no se entenderían sin la existencia de otro concepto fundamental y es el denominado como Intersection Over Union (loU) o índice de Jaccard. Este índice mide el grado de solapamiento que existe entre el objeto detectado por el modelo y el ground-truth (realidad conocida) , que es donde se encuentra el objeto realmente. De hecho, se dice que un objeto detectado es TP cuando loU al menos alcanza un valor de 0.5 como mínimo. Estos cálculos son realizados sobre el set de datos validación. A partir de los conceptos anteriores se establecen dos métricas más que se definen a continuación: - Precisión o "P": este estadístico responde a la pregunta Qué proporción de predicciones positivas es correcta? y, se calcula como: - Sensibilidad o "Recall": Qué proporción de positivos reales se han predicho correctamente? y, se calcula como: Las ecuaciones anteriores son unas buenas métricas para evaluar un modelo, sin embargo, por si solas no proporcionan toda la información que se necesita para saber si un modelo es bueno o malo. Por ejemplo, si se tienen diez aceitunas en una imagen y el modelo es capaz de encontrar una de ellas, se puede decir que el modelo es preciso, pero es poco sensible ya que solo una de un total de diez aceitunas fue detectada. Es por ello por lo que para evaluar el comportamiento global de un modelo se utiliza la denominada precisión media (mAP, mean average precisión) . Esta métrica trata de relacionar los valores de sensibilidad y precisión, de tal manera que representa la media de todas las precisiones teniendo en cuenta un loU de 0.5. Sin embargo, de la definición de loU, se vio que podía alcanzar un valor máximo de 1 por lo que muchos investigadores suelen calcular el mAP@.5 y el mAP@.5:.95. Este último umbral (mAP@.5:.95) es calculado hasta llegara 1, que es el máximo y luego se promedia. Por tanto, lo ideal sería que el modelo obtuviera para todas las clases valores altos de mAP. Teniendo en cuenta lo planteado anteriormente, el modelo fue entrenado durante 150 epochs finalizando el entrenamiento en 1 hora aproximadamente. La validación del modelo se realizó sobre 200 imágenes. Si bien es cierto las detecciones a nivel visual parecen correctas es conveniente analizar las métricas para conocer realmente el desempeño del modelo. El modelo tuvo una alta precisión (94%) a la hora de detectar las aceitunas y que además esa proporción correcta de detecciones fue elevada (98%) . Así mismo en términos globales, el mAP@.5 para el modelo completo fue de un (87%) de media. Sin embargo, si nos vamos a cada clase individual, vemos que para la clase olive fue de un (99%) y para residuos de (75%) . En el caso de mAP@.5:.95 la única clase que mostró un valor aceptable fue la clase aceituna con un 63% de mAP.

Publicaciones:
ES2956395 (20/12/2023) - A1 Solicitud de patente con informe sobre el estado de la técnica
Eventos:
En fecha 11/05/2022 se realizó Registro Instancia de Solicitud
En fecha 11/05/2022 se realizó Admisión a Trámite
En fecha 11/05/2022 se realizó 1001P_Comunicación Admisión a Trámite
En fecha 12/05/2022 se realizó Superado examen de oficio
En fecha 28/02/2023 se realizó Realizado IET
En fecha 02/03/2023 se realizó 1109P_Comunicación Traslado del IET
En fecha 20/12/2023 se realizó Publicación Solicitud
En fecha 20/12/2023 se realizó Publicación Folleto Solicitud con IET (A1)
En fecha 04/04/2024 se realizó Validación petición y/o pago de examen sustantivo no conforme
En fecha 04/04/2024 se realizó Retirada
En fecha 04/04/2024 se realizó 1108P_Notificación retirada solicitud por no petición y/o pago de examen sustantivo
En fecha 10/04/2024 se realizó Publicación retirada solicitud por no petición y/o pago de examen sustantivo
Pagos:
11/05/2022 - Pago Tasas IET