Inovação para a Agricultura

Rede Rural Nacional - Página do FacebookRede Rural Nacional - Página do TwitterRede Rural Nacional - Página do InstagramRede Rural Nacional - Canal do Youtube
PT EN
  • S13
  • S6
  • S12
  • S3
  • Inovação na Agricultura
  • S7
  • S5
  • S8
  • S2
  • S14
  • S11

PrunusBot - Sistema robótico aéreo autónomo de pulverização controlada e previsão de produção frutícola

Entidade líder do projeto: UNIVERSIDADE DA BEIRA INTERIOR
Responsável pelo projeto: Pedro Gaspar
Site do projeto: https://goprunus.wixsite.com/prunoideas/prunusbot
Área do plano de ação: Cultura de pomóideas e prunóideas
Parceiros:

AAPIM - ASSOC. DE AGRICULTORES P/PRODUÇÃO INTEGRADA FRUTOS DE MONTANHA; APPIZÊZERE - ASSOCIAÇÃO DE PROTECÇÃO INTEGRADA E AGRICULTURA SUSTENTÁVEL; CENTRO OPERATIVO E TECNOLÓGICO HORTOFRUTÍCOLA NACIONAL; GONÇALO FILIPE RODRIGUES BATISTA; INSTITUTO POLITÉCNICO DE CASTELO BRANCO; SOCIEDADE AGRICOLA DA QUINTA DE LAMACAIS, LDA; VALÉRIO & SILVA, LDA


Prioridade do FEADER: P5E) promoção da conservação e do sequestro de carbono na agricultura e na silvicultura;
Identificação do problema ou oportunidade que se propõe abordar:

1- A manutenção do solo em pomares visa o controlo das espécies infestantes e a preservação do solo. A aplicação de mantas de cobertura do solo beneficia o desenvolvimento das plantas e a economia de água (+Pêssego, 2016). Porém, um nº limitado de infestantes consegue emergir na manta, devendo ser controlado numa fase inicial para potenciar esta técnica de manutenção do solo.

2- Os fruticultores realizam previsões da produção para gerir todos os aspetos relacionados com a colheita e a comercialização, entre os quais os contratos de fornecimento. Usualmente é realizada uma seleção aleatória de um nº de árvores para contagem visual dos frutos, podendo ser apoiada por medições de calibre. A precisão da estimativa da produção aumenta com o tamanho da amostra, mas requer maior nº de pessoas e tempo, o que se traduz em maiores custos. Após a celebração do contrato de fornecimento, no caso de o produtor não conseguir fornecer a quantidade contratada, poderá ter que ressarcir o distribuidor (custo adicional), contribuindo para uma deterioração das relações Produtor/Comprador. Uma previsão da produção mais assertiva permite colmatar estas situações e desenvolver sistemas de apoio, como p.ex. de seguros de colheita. Neste sentido pretende-se desenvolver um sistema robótico aéreo autónomo (drone), capaz de realizar duas funções: aplicação precisa de herbicida e estimativa da produção, pela análise/processamento de dados de imagens digitais de câmaras CCD de alta resolução e de sensores de infravermelho próximo. Dois algoritmos de caracterização baseados na diferenciação de cores e de análise do espectro serão desenvolvidos. No combate às infestantes considera-se a inclusão de um pequeno tanque de herbicida e pulverizador. O 1º algoritmo distingue a manta de infestantes para aplicação precisa de herbicida. Na previsão da produção, o drone transita nas entrelinhas do pomar e capta dados de ambos os lados das árvores. Este 2º algoritmo caracteriza a árvore, distingue os frutos e calcula suas dimensões/volume/peso.

Assim, o desenvolvimento de um equipamento aéreo robotizado autónomo que se desloque no espaço da entrelinha, permitindo (1) a automação da pulverização controlada sobre a manta de cobertura do solo utilizada no controlo de infestantes e (2) a determinação da capacidade da árvore e a previsão da área e/ou volume de produção, permitirá:

- O controlo de infestantes numa fase inicial do desenvolvimento utilizando menor quantidade de herbicida, quer pelo menor volume das infestantes que, por consequência requer menor quantidade de herbicida, quer pela precisão da aplicação que será apenas dirigida aos objetos de cor verde, quer pela autonomia de realização da tarefa. A precisão do controlo das infestantes e a menor quantidade de herbicida contribuem para o aumento da rentabilidade do pomar, quer por via do aumento da produção quer pela possível diminuição dos custos variáveis. Adicionalmente, estes resultados enquadram-se numa melhoria da sustentabilidade ambiental da cultura provada pela redução da aplicação de produtos fitossanitários.

- A previsão mais assertiva da produção com os algoritmos de análise e processamento de imagem de caracterização das árvores e de segmentação e classificação dos frutos, possibilitando aos produtores uma melhor gestão da carga e previsão da produção, podendo negociar com maior confiança as quantidades e a qualidade (calibre) dos frutos na celebração de contratos de fornecimento. Esta vantagem resulta numa maior rentabilidade da produção, promoção das relações Produtor/Comprador e contribui para a redução do desperdício alimentar pela rejeição de produto, já que este poderá ser conduzido para outro fim atempadamente. Após o desenvolvimento desta tecnologia em pomares de Prunóideas, esta poderá ser adaptada a outro tipo de pomares (Pomóideas) com repercussões a nível regional e nacional.


Objetivos visados:

1. Conceber, desenvolver e testar um sistema robótico aéreo autónomo destinado ao voo lento de baixa altitude nas entrelinhas de pomares, incorporando câmaras CCD a cores de alta resolução e espectrómetros de infravermelho próximo (NIR – Near InfraRed-), para através de algoritmos de análise e processamento de dados (imagem e espectro NIR), seja efetuado (1) o reconhecimento e classificação de infestantes e (2) o reconhecimento e classificação de frutos em árvores.

2. Desenvolver e testar um pulverizador regulável de alta precisão (adaptável) e respetivo controlador a incorporar ao sistema robótico aéreo autónomo para controlo de infestantes.

3. Avaliar o impacto da aplicação particular de herbicida nas infestantes na produção e qualidade dos frutos.

4. Avaliar a precisão das previsões de produção por análise de imagem e de espetro NIR, utilizando, para validação: a avaliação real da produção com base no método tradicional de contabilização da produção de uma amostra de árvores (médias e variâncias); a avaliação da eficiência técnica e económica do pomar através de modelos empíricos em função da carga; a previsão da carga ótima com modelos empíricos para fins de execução de uma “monda de precisão”; a integração da informação sobre o histórico de anos transatos, as condições edafoclimáticas, o estado sanitário e as práticas de fertilização.

Este projeto requer um período de execução física de 48 meses, face à janela temporal requerida para o desenvolvimento do drone (24 meses) e das atividades de ensaios de campo de aplicação da plataforma aplicada à Função 1: Aplicação precisa de herbicida e Função 2: Caracterização da árvore e estimativa de produção e análise (24 meses).

Esta condição advém dos curtos períodos de desenvolvimento das infestantes, de realização da monda e de maturação dos frutos no caso de aplicação do drone às Funções 1 e 2, respetivamente. São requeridas análises em 3 colheitas de 3 cultivares de ciclo diferente: temporãs, de estação e tardias (3 anos) para que seja possível comparar fielmente os resultados. De salientar que o drone não será usado simultaneamente nas duas funções, pois cada função requer hardware e software específico.

 


Sumário do plano de ação:

Desenvolvimento de um sistema robótico destinado à inovação tecnológica em fruticultura, nomeadamente de pomares de prunóideas na região da Beira Interior, visando a pulverização particularizada para controlo de infestantes e a previsão da produção.


Pontos de situação / Resultados:

Ponto de situação à data de novembro de 2020:

  • Atividade 1 e 2: Após seleção do drone e implementação de sensores, foram desenvolvidos e testados os algoritmos de planeamento de trajetória e sistemas de controlo, regulação e comando do drone para o voo autónomo para captura de imagens dos frutos e das copas das plantas.
  • Atividade 3: Após a seleção dos pomares mais indicados para a realização dos testes e da instalação das unidades de observação, continuou-se no ciclo de 2020 com a monitorização do ensaio ao longo do ciclo de crescimento dos frutos, para avaliação da evolução do seu crescimento, e simultaneamente realizados ensaios e testes de funcionamento e autonomia dos sistemas robóticos autónomos terrestre e aéreo desenvolvidos.
  • Atividade 4: Foi desenvolvido um modelo de deteção de infestantes baseado numa rede neuronal convolucional (MobilenetV2), tendo como entrada uma imagem RGB, com o objetivo de segmentar cada infestante presente na imagem, bem como informar as coordenadas centróide (coordenadas x, y) da área segmentada. Dessa forma, o braço robótico cartesiano disposto no robô terreste pode posicionar o bico de pulverização de herbicida no preciso local onde se encontra a infestante. Este braço cartesiano tem a possibilidade de movimento em altura com o intuito de abrir ou fechar o leque de aspersão, que irá depender da área da infestante.
  • Atividade 5: Foram já realizados ensaios estáticos/dinâmicos em campo dos algoritmos de reconhecimento/classificação de infestantes. Estes ensaios são continuados.
  • Atividade 6: Foi já desenvolvimento e ensaiado o pulverizador regulável de alta precisão e respetivo controlador. Procederam-se a ensaios de campo. Estes testes continuarão a ser desenvolvidos na campanha de 2021 para verificação de resultados.
  • Atividade 7 e 8: No que toca aos ensaios de campo para avaliação do desempenho no controlo de infestantes (durante o período de desenvolvimento das infestantes), a sua execução foi restrita face às imposições no ano de 2020 decorrentes da pandemia, particularmente nos meses durante o período de desenvolvimento das infestantes, nos quais estava prevista a realização dos testes de avaliação do desempenho no controlo de infestantes. Esta atividade foi iniciada, porém sem ser devidamente explorada. A sua realização foi adiada para o ano de 2021.
  • Atividade 9: Foram desenvolvidos algoritmos de análise e processamento de imagem e espectro destinados à caraterização das árvores e à segmentação e contagem de frutos. O procedimento de aquisição de imagens continuado no ano de 2020, tanto das copas das árvores por vista superior como por vista lateral tem sido continuado com os testes e ensaios realizados ao drone. Foram desenvolvidos dois modelos, uma para deteção e classificação de copas de árvores e outro para deteção e classificação de frutos. Para a deteção da copa das árvores foi implementado o modelo híbrido (deteção/segmentação) Mask R-CNN baseado em aprendizagem profunda (rede neuronal convolucional). Foi também desenvolvido um algoritmo para o reconhecimento e classificação de frutos. Este modelo de deteção e contagem de frutos é composto de dois algoritmos principais, nomeadamente: 1) Deteção de objetos (Faster R-CNN) e 2) Rastreio de objetos (Re3). Ambos tem como base a aprendizagem profunda (rede neuronal convolucional). Sendo esses algoritmos de propósito geral (deteção e rastreio), os mesmos foram treinados com imagens anotadas de pêssegos de forma que os mesmos (algoritmos) sejam especializados em detetar e rastrear imagens de pêssegos. Uma vez que o algoritmo é treinado, sequências de imagens (vídeo) são apresentadas como entrada ao modelo. Em cada imagem são realizadas deteções de frutos e consequentemente a contagem de cada deteção. O rastreio (de frutos detetados) é realizado entre as sequências de imagens de forma que se possa saber quais deteções já foram ou não contadas.
  • Atividade 10: Ensaios estáticos/dinâmicos de algoritmos de caracterização das árvores e de reconhecimento/classificação de frutos (durante o período de desenvolvimento e maturação dos frutos) foram realizados no ano de 2020 e continuarão. Estes ensaios servem de verificação da correta segmentação e contagem de frutos na árvore. Esta atividade tem sido realizada em paralelo com as restantes com as idas ao campo para realização de ensaios e testes experimentais. A determinação da área da copa por via de processamento de imagem computacional foi realizada, para posterior aplicação do modelo de Ramos et al. (2008).
  • As restantes atividades encontram-se a decorrer, mas serão foco de trabalho no ano de 2021.
  • Atividade 15: No que toca à divulgação de resultados do projeto, são identificados:

a) Apresentação do GO e dos seus resultados foi realizada nos seguintes eventos:

1) Gaspar, P.D., Apresentação “Grupo Operacional PrunusBOT - Sistema robótico aéreo autónomo de pulverização controlada e previsão de produção frutícola”. AGRO INOVAÇÃO 2018 - Cimeira Nacional de Inovação na Agricultura, Florestas e Desenvolvimento Rural, Lagoas Park, Porto Salvo, 29 de outubro de 2018.

2) Gaspar, P.D., Apresentação “Grupo Operacional PrunusBOT - Sistema robótico aéreo autónomo de pulverização controlada e previsão de produção frutícola”. Colóquio sobre Inovação Hortofrutícola, iniciativa promovida pelo COTHN, Tecfresh’18 – Feira Tecnológica para Frutas e Hortícolas, Centro Nacional de Exposições, Santarém, 16 de novembro de 2018.

3) Gaspar, P.D., Apresentação “Algoritmo de classificação e reconhecimento de frutos, desenvolvimento dos sistemas robóticos aéreo e terrestre autónomos para pulverização controlada e previsão de produção frutícola”, projeto PrunusBOT - Sistema robótico aéreo autónomo de pulverização controlada e previsão de produção frutícola. Balanço da Campanha das Prunóideas 2018, Escola Profissional Agrícola Quinta da Lageosa, Lageosa, 21 de novembro de 2018.

4) Gaspar, P.D., Palestra convidada “Tecnologias de ponta na agricultura”, Jornadas de Bioengenharia, Universidade da Beira Interior, Covilhã, Portugal, 11 de Dezembro, 2019.

5) Gaspar, P.D., Palestra convidada “Fruticultura 4.0 - Novas tecnologias na fruticultura”, 2as Jornadas Técnicas das Prunóideas, Universidade da Beira Interior, Covilhã, Portugal, 20 de Novembro, 2019. 

6) Gaspar, P.D., membro da mesa redonda “Agriculture Cooperatives go digital”, i-Danha Food Lab (https://www.idanhafoodlabevent.com/), Monsanto, Idanha-a-Nova, Portugal, 8 a 10 de Novembro, 2019. 

7) Gaspar, P.D., Palestra convidada “Agricultura 4.0 - Novos desafios e tendências futuras na aplicação de tecnologias de ponta na agricultura”, Academia Júnior de Ciências, Universidade da Beira Interior, Covilhã, Portugal, 25 de Outubro, 2019.

8) Mesquita, R. Apresentação do poster "PrunusBOT – Sistema robótico aéreo autónomo de pulverização controlada e previsão de produção frutícola", UBIsym on Robotics and Vehicular Technologies, IEEE international Symposium, University of Beira Interior, 11-13, october, 2019.

9) Gaspar, P.D., Apresentação “Grupo Operacional PrunusBOT - Sistema robótico aéreo autónomo de pulverização controlada e previsão de produção frutícola” - tema “Rede Rural Nacional - Inovação tecnológica – exemplos práticos”. Centro Nacional de Competências das Culturas do Milho e Sorgo “InovMilho”, Estação Experimental António Teixeira - INIAV, Coruche, 4, setembro, 2019.

10) Martins, C.M., Apresentação do poster "PrunusBOT – Sistema robótico aéreo autónomo de pulverização controlada e previsão de produção frutícola", III Roteiro de Inovação na Feira dos Frutos, COTHN, Caldas da Rainha, 16-25, agosto.

11) Gaspar, P.D., Martins, M.C., Palestra “Climate smart agriculture: muito ou nada de novo? - Apresentação Projeto PrunusBOT”, AgroIn, Vida Rural, Faculdade de Medicina Dentária da Universidade de Lisboa, 1 de outubro de 2020. (Virtual). [https://youtu.be/MhuPqdmEE-c]

b) Publicações em revistas técnicas:

1) Gaspar, P.D. (2020). A robótica e a inteligência artificial como tecnologias de vanguarda a serviço da cultura das prunóideas. Frutas, Legumes e Flores, Julho/Agosto, 2020. [https://www.flfrevista.pt/file/2020/08/FLF-210_grande-plano_frutos-de-caroco_Prunus.pdf]

2) Gaspar, P.D. (2020). Fruticultura 4.0: Novas tecnologias na fruticultura. Voz do Campo, Abril, n.º 236.

c) Elaboração e apresentação de artigos científicos para divulgação em conferências.

1) Mesquita, R., Gaspar, P.D. (2020). A Path Planning Optimization Algorithm Based on Particle Swarm Optimization for UAVs for Bird Monitoring and Repelling - Simulation Results. The 2020 International Conference on Decision Aid Sciences and Applications (DASA'20), November, 8-9, 2020 (Virtual).

2) Assunção, E., Diniz, C., Gaspar, P.D., Mesquita, R., Proença, H. (2020). Decision-making support system for fruit diseases classification using Deep Learning. The 2020 International Conference on Decision Aid Sciences and Applications (DASA'20), November, 8-9, 2020 (Virtual).

3) Assunção, E., Gaspar, P.D., Mesquita, R., Veiros, A., Proença, H. (2020). Resultados preliminares de detecção de imagens de pêssegos aplicando o método Faster R-CNN. II Simpósio Ibérico de Engenharia Hortícola 2020 (SibEH 2020), Viana do Castelo, Portugal, March 4-6, 2020. (http://hdl.handle.net/10400.6/10361)4) Diniz, C., Assunção, E., Gaspar, P.D., Proença, H., Barateiro, A. (2020). Sistema de apoio à tomada de decisão de classificação automática de doenças em pêssegos através de inteligência artificial por rede neuronal convolucional. Congresso Frutos 2020 - Feira Nacional de Hortofruticultura, Caldas das Rainha, Portugal, 10 de dezembro de 2020.

d) Publicação de artigos em revista internacional.

1) Lopes, M., Gaspar, P.D., Santos, F.B., & Simões, M.P. (2019). Current status and future trends of mechanized fruit thinning devices and sensor technology. International Journal of Mechanical and Mechatronics Engineering, 13(1), 43-57 (ISSN: 2077-124X).

2) Ramos, A.R., Gaspar, P.D. (2019). Algorithm for path recognition in-between tree rows for agricultural wheeled-mobile robots. International Journal of Mechanical and Mechatronics Engineering, 13(1), 34-37 (ISSN: 2077-124X).

3) Varandas, L., Gaspar, P.D., Aguiar, M.L. (2019). Standalone docking station with combined charging methods for agricultural mobile robots. International Journal of Mechanical and Mechatronics Engineering, 13(1), 38-42 (ISSN: 2077-124X).

4) Cernicchiaro, C., Gaspar, P.D., Aguiar, M.L. (2019). Fast return path planning for agricultural autonomous terrestrial robot in a known field. International Journal of Mechanical and Mechatronics Engineering, 13(2), 79-87 (ISSN: 2077-124X).

5) Pereira, T.M., Gaspar, P.D. and Simões, M.P. (2020). Fruit recognition and classification based on SVM method for production prediction of peaches - preliminary study. Acta Horticulturae, 1289, 141-150. (ISSN 0567-7572) (DOI: 10.17660/ActaHortic.2020.1289.21)

6) Assunção, E., Gaspar, P.D., Mesquita, R., Veiros, A., Proença, H. (2020). Resultados preliminares de detecção de imagens de pêssegos aplicando o método Faster R-CNN. Revista da APH (Associação Portuguesa de Horticultura), Nº 136. Março, 2020. (http://hdl.handle.net/10400.6/10366

7) Shanmugam, S., Assunção, E., Veiros, A., Mesquita, R., Gaspar, P.D. (2020). Automated weed detection systems: A review. KnE Engineering, 5(6), 271–284. https://doi.org/10.18502/keg.v5i6.7046. (http://hdl.handle.net/10400.6/10343)

8) Veiros, A., Gaspar, P.D., Mesquita, R. Rising of precision agriculture robotics - current status and future trends. Precision Agriculture, Springer. (submetido)