Reconhecimento de padrões em FPGA para aplicações aeroespaciais
DOI:
https://doi.org/10.33448/rsd-v10i12.19181Palavras-chave:
Satélites inteligentes; Inteligência artificial em hardware; Visão computacional; Inteligência artificial em tempo real; Aprendizagem de máquina; Nanosatélites; Morfologia matemática; Aplicações aeroespaciais; Reconhecimento de padrões; Sensoriamento remoto.Resumo
Esse trabalho apresenta uma técnica de reconhecimento de padrões baseada em Morfologia Matemática-MM, implementada em FPGA (Field Programmable Gate Array). A estratégia para o êxito dessa abordagem consiste na utilização das vantagens do paradigma de aprendizagem de máquina aplicado em operadores morfológicos de casamento de padrões invariantes à translação. Esse artigo mostra que a composição de simples operadores elementares da MM baseados em ELUTS (Elementary Look-Up Tables) são adequados para aplicações embarcadas em FPGA. Esse artigo também mostra as técnicas de desenvolvimento do sistema de reconhecimento de padrões, desde a modelagem matemática dos operadores morfológicos até a implementação do dispositivo eletrônico usando o software System Generator. Em geral, as operações para o processamento de imagens em FPGAs são implementadas em baixo nível de abstração das linguagens de descrição de hardware-HDL. Isto gera alta complexidade na implementação de operações em imagens ao nível de pixel. No entanto, esse trabalho apresenta um dispositivo reconfigurável aplicado ao reconhecimento de padrões implementado em FPGA, a partir da simulação da modelagem matemática usando o ambiente de software Matlab/Simulink/System Generator. Essa estratégia reduz a complexidade do desenvolvimento em hardware. O dispositivo apresentado deverá ser útil principalmente quando aplicado em tarefas de sensoriamento remoto para missões aeroespaciais através de sensores passivos ou ativos.
Referências
Akil, M., & Zahirazami, S. (1998). Multi-FPGA Processor for Gray Scale Morphology, European Association for Signal Processing, Eusipco-98, IX European Signal Processing Conference, Island of Rhodes, Greece, 8-11 September.
Arechiga, A. P., Michaels, A. J., & Black, J. T. (2018). "Onboard Image Processing for Small Satellites," NAECON 2018 - IEEE National Aerospace and Electronics Conference, 234-240, 10.1109/NAECON.2018.8556744.
Astua, C., Crespo, J., & Barber, R. (2014). Detecting Objects for Indoor Monitoring and Surveillance for Mobile Robots, Emerging Security Technologies (EST), in Fifth International Conference, 124-129.
Ban, Y., Zhang, P., Nascetti, A., Bevington, A. R., & Wulder M. A. (2020). Near Real-Time Wildfire Progression Monitoring with Sentinel-1 SAR Time Series and Deep Learning, Nature Scientific. 10(1322).
Banon, G. J. F., (1995). Characterization of translation invariant elementary morphological operators between gray-level images, Research report, INPE-5616-RPQ/671, INPE.
Banon, G. J. F., & Barrera, J. (1998). Bases da morfologia matemática para análise de imagens binárias, (2nd ed.), MCT/INPE, INPE-6779-RPQ/682.
Banon, G. J. F. (2000). Formal introduction to digital image processing. Technical Report: INPE-7682-PUD/43, São José dos Campos, Brasil., 2000. dpi.inpe.br/ banon/2001/01.11.16.04.
Banon, G. J. F., & Faria, S. D. (1997). Morphological approach for template matching, SIBGRAPI'97, IEEE Computer Society, 171-178.
Bekker, D. L., Werne, T. A., Wilson, T. O., Pingree, P.J., Dontchev, K., Heywood, M., Ramos, R., Freyberg, B., Saca, F., Gilchrist, B., Gallimore, A., & Cutler, J. (2010). A CubeSat design to validate the Virtex5 FPGA for spaceborne image processing, Aerospace Conference, 2010 IEEE, pp.1-9.
Belmonte L. M, Morales R., & Fernández-Caballero A. (2019). Computer Vision in Autonomous Unmanned Aerial Vehicles—A Systematic Mapping Study. Applied Sciences. 2019, 9(15):3196. https://doi.org/10.3390/app9153196
Beul, M., Krombach, N., Zhong, Y., Droeschel, D., Nieuwenhuisen, M., & Behnke, S. (2015). A high-performance MAV for autonomous navigation in complex 3D environments. In Unmanned Aircraft Systems (ICUAS), International Conference on, Denver, USA, 1241-1250. IEEE.
Blake, G., Deslinski, R.G., & Mudge, T. (2009). A survey of multicore processors: A review of their common attributes, IEEE Signal Processing Magazine, vol. 26, no. 6, pp. 26–37.
Brugger, C., Dal'Aqua, L., Varela, J., De Schryver, C., When, N., Klein, M., & Siegrist, M. (2015). A Quantitative Cross-Architecture Study of Morphological Image Processing on CPUs, GPUs, and FPGAs. In Proceedings of the IEEE Symposium on Computer Applications & Industrial Electronics (ISCAIE), April 2015.
Castelli, T., Sharghi, A., Harper, D., Tremeau, A., & Shah, M. (2016). Autonomous navigation for low-altitude UAVs in urban areas. arXiv preprint arXiv:1602.08141.
Chien, S., Sherwood, R., Tran, D., Cichy, B., Rabideau, G., Castano, R., Davies, A., Lee, R., M, D., Frye, S. Trout, B. Hengemihle, J., Shulman, S., Ungar, S., & Brakke, T. (2004). The EO-1 autonomous science agent.
Chien, S., Bue, B., Castillo-Rogez, J., Gharibian, D., Knight, R., Schaffer, S., Thompson, D., & Wagstaff, K. (2014). Agile Science: Using Onboard Autonomy for Primitive Bodies and Deep Space Exploration.
Chowdhary, G., Johnson, E. N., Magree, D., Wu, A., & Shein, A. (2013). GPS‐denied Indoor and Outdoor Monocular Vision Aided Navigation and Control of Unmanned Aircraft. Journal of Field Robotics, 30(3), 415-438.
D'AMORE, R. (2005). VHDL: Descrição e Síntese de Circuitos Digitais. Editora LTC, 276 p.
Dawood, A., Visser, S., & Williams, J. (2002). Reconfigurable FPGAs for real time image processing in space. In Digital Signal Processing. IEEE 14th International Conference on, 2. 845–848.
Dinelli, G., Meoni, G., Rapuano, E., Pacini, T., & Fanucci, L. (2020). MEM-OPT: A Scheduling and Data Re-use System to Optimize On-chip Memory Usage for CNNs On-board FPGAs. IEEE J. Emerg. Sel. Top. Circuits Syst. 2020, 10, 335–347.
Downton, A., & Crookes, D. (1998). Parallel Architectures for Image Processing. Electronics & Communication Engineering Journal, 10, 139-151.
Felipe, I., Dohm, J. M., Baker, V. R., Doggett, T., Davies, A. G., Castano, R., Chien, S., Cichy, B., Greeley, R., Sherwood, R., Tran, D., & Rabideau, G. (2006). Flood detection and monitoring with the Autonomous Sciencecraft Experiment onboard EO-1: Remote Sensing of Environment, 101(4), 463-481.
Filho, A., M. P., Silva, F. A. T. F., & Braga, A. P. S. (2014). Machine learning and adaptive morphological operators. In: XI Encontro Nacional de Inteligência Artificial e Computacional (ENIAC 2014). São Carlos, Brasil. Annals of XI Encontro Nacional de Inteligência Artificial e Computacional.
Filho, A., M. P., Silva, F. A. T. F., & Braga, A. P. S. (2015). Operador morfológico adaptativo de casamento de padrões – proposta e aplicação na análise de imagens de satélite. In: Simpósio Brasileiro de Automação Inteligente (SBAI 2015). Natal, Brasil.
Franchi, G., Fehri, A., & Yao, A. (2020). Deep morphological networks, Pattern Recognition, Volume 102.
Fuchs, T., Bue, B., Rogez, J. C., Wagstaff, K., & Thompson, D. (2014). Autonomous Onboard Surface Feature Detection for Flyby Missions, International Symposium on Artificial Intelligence, Robotics and Automation in Space (iSAIRAS), June 2014.
Furano, G., Meoni, G., Dunne, A., Moloney, D., Ferlet-Cavrois, V., Tavoularis, A., Byrne, J., Buckley, L., Psarakis, M., Voss, K. O., et al. (2020). Towards the Use of Artificial Intelligence on the Edge in Space Systems: Challenges and Opportunities. IEEE Aerosp. Electron. Syst. Mag. 2020, 35, 44–56.
Giuffrida, G., Diana, L., de Gioia, F., Benelli, G., Meoni, G., Donati, M., & Fanucci, L. (2020). CloudScout: A Deep Neural Network for On-Board Cloud Detection on Hyperspectral Images. Remote. Sens. 2020, 12, 2205.
Guo, K., Sui, L., Qiu, J., Yu, J., Wang, J., Yao, S., Han, S., Wang, Y., & Yang, H. (2018). Angel-Eye: A Complete Design Flow for Mapping CNN Onto Embedded FPGA. IEEE Trans. Comput. Aided Des. Integr. Circuits Syst. 2018, 37, 35–47
Hagiwara, H., Asami, K., & Komori, M. (2011). FPGA Implementation of Image Processing for Real-time Robot Vision System. Proc. of International Conference on Convergence and Hybrid Information Technology, pp.134-141, Daejeon, Korea, September.
Hao, R., Wang, X., Zhang, Liu, J. J., Du, X., & Liu, L. (2019). Automatic Detection of Fungi in Microscopic Leucorrhea Images Based on Convolutional Neural Network and Morphological Method. IEEE 3rd Information Technology, Networking, Electronic and Automation Control Conference (ITNEC) (2019): 2491-2494.
Heijmans, H. J. A. M. (1991). Theoretical Aspects of Gray-Level Morphology. IEEE Transactions on Pattern Analysis and Machine Intelligence, v.13, pp. 568-582.
Hentati, R., Hentati, M., Aoudni, Y., & Abid, M. (2014). The implementation of basic morphological operations on FPGA using partial reconfiguration. IEEE IPAS'14: INTERNATIONAL IMAGE PROCESSING APPLICATIONS AND SYSTEMS CONFERENCE 2014.
Johnston, C. T., Gribbon, K. T., & Bailey, D. G. (2004). Implementing Image Processing Algorithms on FPGAs. In: Proc. Electronics New Zealand Conference, Palmeston North, New Zealand, pp. 118-123.
Jouni, M., Mura, M. D., & Comon, P. (2020). Hyperspectral Image Classification Based on Mathematical Morphology and Tensor Decomposition, Mathematical Morphology - Theory and Applications, 4(1), 1-30.
Kalomiros, J. A., & Lygouras, J. (2008). Design and evaluation of a hardware/software FPGA based system for fast image processing, Microprocessors and Microsystems, pp. 95-106.
Khosravi, M., & Schafer, R. W. (1996). Template matching based on a grayscale hit-or-miss transform. Image Processing, IEEE Transactions on, 5(6), pp. 1060-1066.
Lange, S., Sünderhauf, N., & Protzel, P. (2008). Autonomous Landing for a Multirotor UAV Using Vision. In Workshop Proceedings of SIMPAR 2008 Intl. Conf. on Simulation, Modeling and Programming for Autonomous Robts, Venice, Italy, 3-4, 482-491.
Matlab-Simulink, (2015). http://www.mathworks.com.
Mellouli, D., Hamdani, T. M., Sanchez-Medina, J. J., Ayed, M. B., & Alimi, A. (2019). Morphological Convolutional Neural Network Architecture for Digit Recognition. IEEE Transactions on Neural Networks and Learning Systems, 30, 2876-2885.
Nagel, G. W., de Novo, E. M. L. M., & Kampel, M. (2020). Nanosatellites applied to optical Earth observation: A review.Rev. Ambient. Água 2020, 15.
Nogueira, K. J. Chanussot, Mura, M. D., & Santos, J. A. D. (2021). "An Introduction to Deep Morphological Networks," in IEEE Access, 9, 114308-114324, 2021, 10.1109/ACCESS.2021.3104405.
Pell, O., Mencer, O., Tsoi, K.H., & Luk, W. (2013). Maximum performance computing with dataflow engines, in High-Performance Computing Using FPGAs, ed: Springer, pp. 747-774.
Ramos, R., A., Sampedro, C., Carrio, A., Bavle, H., Fernández, R. A. S., Miloševic, Z., & Campoy, P. (2016). A monocular pose estimation strategy for uav autonomous navigation in gnss-denied environments. In International micro air vechicle competition and conference 2016, Beijing, PR of China, pp. 22-27.
Rapuano, E., Meoni, G., Pacini, T., Dinelli, G., Furano, G., Giuffrida, G., & Fanucci, L. (2021). An FPGA-Based Hardware Accelerator for CNNs Inference on Board Satellites: Benchmarking with Myriad 2-Based Solution for the CloudScout Case Study. Remote Sens. 2021, 13, 1518. https://doi.org/10.3390/rs13081518.
Rempel, E. L., & Silva, F. A. T. F. (2001). Reconhecimento de Padrões Invariante a Rotação Utilizando uma Rede Neural Morfológica Não Supervisionada. In: V Brazilian Conference on Neural Networks, 2001, Rio de Janeiro. Proceedings of V Brazilian Conference on Neural Networks, 2001. 109-112.
Shen, Y., Zhong, X., & Shih, F. (2019). Deep Morphological Neural Networks. ArXiv, abs/1909.01532.
Silva, F. A.T. F. (1998). Rede Morfológica Não Supervisionada-RMNS. Thesis (Graduate Program in Applied Computing-CAP of the National Institute for Space Research-INPE), INPE-8759-TDI/800, Instituto Nacional de Pesquisas Espaciais-INPE, São José dos Campos, 1998. http://gjfb0520.sid.inpe.br/c ol/dpi.inpe.br/banon/1998/07.30.19.40/doc/tese.pdf
Silva, F. A. T. F. & Banon, G. J. F. (1999). Rede Morfológica Não Supervisionada., Proceedings of the IV Brazilian Conference on neural Networks. ITA- São José dos Campos, pp. 400-405.
Silva, F. A. T. F., & Silva, L. A. (2004). Detecção de múltiplos padrões usando redes neurais morfológicas. Anais do Congresso Brasileiro de Automática, A8-Sistemas Inteligentes, S0801, 1-6, RS, Brasil.
Silva, F. A. T. F., & Lucena, A. M. P. (2005a). Satélites inteligentes aplicados ao monitoramento ambiental em tempo real. 1-6. 10.21528/CBRN2005-068.
Silva, F. A. T. F., & Lucena, A. M. P. (2005b). Processamento Inteligente de Sinais aplicado ao Monitoramento Ambiental em Tempo Real. Anais XII Simpósio Brasileiro de Sensoriamento Remoto, Goiânia, Brasil, 16-21 abril 2005, INPE,. 3341-3348.
Silva, F. A. T. F. (2005). Neurônios morfológicos: Uma introdução às células on-off artificiais. Anais do VII CONGRESSO BRASILEIRO DE REDES NEURAIS – CBRN, São José dos Campos, Brasil, 2005, 1-6. https://sbic.org.br/eventos/cbrn_2005/CBRN2005_041/
Silva, F. A. T. F. (2006). Operadores morfológicos adaptativos. In: Congresso de Matemática e suas Aplicações, Foz do Iguaçu, Anais do Congresso de Matemática e suas Aplicações, pp.1-2.
Silva, F. A. T. F., Filho, P. M., Moreira, N. A., Rios, C. S. N., Oliveira, P. D. L., Camurca, P. J., & Lucena, A. M. P. (2015). Modelagem matemátia em microeletrônica reconfigurável: Estudo de caso sobre modulares BPSK. Relatório de Pesquisa INPE, sid.inpe.br/mtc-m21b/2015/05.28.17.26-RPQ, 2015. http://mtc-m21b.sid.inpe.br/col/sid.inpe.br/mtc-m21b/2015/05.28.17.26/doc/publicacao.pdf?languagebutton=pt-BR
Souza, O., Cortez, P. C., & Silva, F. A. T. F. (2012). Grayscale images and RGB video: compression by morphological neural network. In: Artificial Neural Networks in Pattern Recognition. Springer Berlin Heidelberg, 213-224.
Souza, O., Cortez, P. C., & Silva, F. A. T. F. (2013). Artificial Neural Networks for Compression of Gray Scale Images: A Benchmark. In: X Encontro Nacional de Inteligência Artificial e Computacional (ENIAC 2013). Fortaleza, Brasil. Anais of X Encontro Nacional de Inteligência Artificial e Computacional.
Thompson, D. R, Rogez, J. C., Chien, S., Doyle, R., Estlin, T., & McLaren, D. (2012). Agile science operations: A new approach for primitive bodies exploration. In Proceedings of SpaceOps, Stockholm, Sweden, June 2012.
Zakerhaghighi, M. R., & Naji, H. R. (2013). Whale algorithm for image processing, a hardware implementation, Machine Vision and Image Processing (MVIP), in 8th Iranian Conference, 355-359.
Zhou, G., & Kafatos, M. (2002). Future intelligent Earth observing satellites. Pecora 15/Land Satellite Information IV/ISPRS Commission I/FIEOS 2002 Conference Proceedings.
Xilinx-RTL, (2011). Technology Schematic Viewers Tutorial, UG685, v13.1 (v2011).
Xilinx-SG, (2014). Vivado Design Suite: Model-Based DSP Design using System Generator, UG897 (v2014.1).
XILINX-KC705, (2014). Hardware User Guide. v.1.6. USA: XILINX, 2014. 110 p. <http://www.Xilinx.com/support/documentation/boards_a nd_ki ts/kc705/ug810_KC705_Eval_Bd.pdf>.
Xilinx-RTK, (2021). Radiation Tolerant Kintex UltraScale XQRKU060 FPGA. https://www.xilinx.com/support/documentation/data_sheets/ds8 82-xqr-kintex-ultrascale.pdf.
Downloads
Publicado
Como Citar
Edição
Seção
Licença
Copyright (c) 2021 Francisco de Assis Tavares Ferreira da Silva; Magno Prudêncio de Almeida Filho; Antonio Macilio Pereira de Lucena; Alexandre Guirland Nowosad
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License.
Autores que publicam nesta revista concordam com os seguintes termos:
1) Autores mantém os direitos autorais e concedem à revista o direito de primeira publicação, com o trabalho simultaneamente licenciado sob a Licença Creative Commons Attribution que permite o compartilhamento do trabalho com reconhecimento da autoria e publicação inicial nesta revista.
2) Autores têm autorização para assumir contratos adicionais separadamente, para distribuição não-exclusiva da versão do trabalho publicada nesta revista (ex.: publicar em repositório institucional ou como capítulo de livro), com reconhecimento de autoria e publicação inicial nesta revista.
3) Autores têm permissão e são estimulados a publicar e distribuir seu trabalho online (ex.: em repositórios institucionais ou na sua página pessoal) a qualquer ponto antes ou durante o processo editorial, já que isso pode gerar alterações produtivas, bem como aumentar o impacto e a citação do trabalho publicado.
