Detección Automática de Modelo para la Calibración de la Cámara
DOI:
https://doi.org/10.33448/rsd-v11i14.36168Palabras clave:
Detección de modelos; Calibración de cámara; Aprendizaje profundo.Resumen
La calibración de la cámara es el proceso de extraer los parámetros intrínsecos y extrínsecos de una cámara. Esos parámetros guían la localización tridimensional en relación con el espacio bidimensional de las imágenes adquiridas por la cámara. La correlación tridimensional se puede generar con un objeto de medidas conocidas, siendo el damero más común para este fin. De estos tableros de ajedrez, el enfoque habitual extrae la posición de los puntos interiores, equivalentes a las esquinas de los cuadrados, para generar esta correlación. Una amplia gama de algoritmos intenta encontrar esos puntos en la imagen. Aún así, por lo general, requieren conocimientos previos sobre las dimensiones de la imagen, la distribución del patrón o incluso el tipo de patrón. En algún escenario, tal vez sea difícil, o imposible, implementar una solución tan precisa, teniendo en cuenta estas limitaciones, nuestro trabajo propone una arquitectura de red neuronal convolucional de extremo a extremo de dos pasos que procesa la detección de esquinas en un flujo único. Nuestra propuesta es independiente del tamaño del tablero de ajedrez, la eliminación de patrones y el posicionamiento. En nuestro trabajo, primero, una CNN de segmentación extrae solo el tablero de ajedrez de la imagen de entrada (CheckerNet); Del damero extraído, extraemos los puntos de las esquinas con una CNN de detección de esquinas (Point-Net). PointNet también funciona como una CNN de segmentación, y los puntos generados son mapas de calor relacionados con puntos en las esquinas del tablero de ajedrez. Realizamos un procesamiento posterior con un agrupamiento basado en K-Means para convertir esos mapas de calor en posiciones únicas (x, y) de la imagen. Comparamos nuestro método propuesto con las otras redes neuronales convolucionales bien conocidas utilizadas para la detección de esquinas MATE y CCDN. Para la evaluación, se utilizaron dos conjuntos de datos: GoPro e uEye. Nuestro método proporciona mejores resultados en ambos conjuntos de datos, reduciendo esquinas perdidas, detecciones dobles, falsos positivos y resultados competitivos en precisión de píxeles.
Citas
Albawi, S., Mohammed, T. A., & Al-Zawi, S. (2017). Understanding of a convolutional neural network. 2017 International Conference on Engineering and Technology (ICET), pp. 1–6. doi:10.1109/ICEngTechnol.2017.8308186
Butt, T. H., & Taj, M. (2022). Camera Calibration Through Camera Projection Loss. ICASSP 2022 - 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), p. 2649–2653. doi:10.1109/ICASSP43922.2022.9746819
Chen, B., Xiong, C., & Zhang, Q. (2018). CCDN: Checkerboard Corner Detection Network for Robust Camera Calibration. Intelligent Robotics and Applications, pp. 324–334. doi: 10.1007/978-3-319-97589-4_27
Dantas, M., Dreyer, P., Bezerra, D., Reis, G., Souza, R., Lins, S., … Sadok, D. (2022). Video object segmentation for automatic image annotation of ethernet connectors with environment mapping and 3D projection. Multimedia Tools and Applications. doi:10.1007/s11042-022-13128-z
Donné, S., De Vylder, J., Goossens, B., & Philips, W. (2016). MATE: Machine Learning for Adaptive Calibration Template Detection. Sensors (Basel, Switzerland), 16(11), 1858. doi:10.3390/s16111858
Duda, A., & Frese, U. (2018). Accurate Detection and Localization of Checkerboard Corners for Calibration. 29th British Machine Vision Conference (BMVC-29), 126. doi: http://bmvc2018.org/contents/papers/0508.pdf
Dutta, A., Kar, A., & Chatterji, B. N. (2008). Corner Detection Algorithms for Digital Images in Last Three Decades. IETE Technical Review, 25(3), 123-133. doi:10.4103/02564602.2008.10876651
Fuersattel, P., Dotenco, S., Placht, S., Balda, M., Maier, A., & Riess, C. (2016). OCPAD - Occluded checkerboard pattern detector. 2016 IEEE Winter Conference on Applications of Computer Vision (WACV), pp. 1–9. doi:10.1109/WACV.2016.7477565
Harris, C. & Stephens, M. (1988). A Combined Corner and Edge Detector. Proceedings of the 4th Alvey Vision Conference, pp. 147-151. doi: dx.doi.org/10.5244/c.2.23
Hartley, R., & Zisserman, A. (2004). Multiple View Geometry in Computer Vision (2nd ed.). doi:10.1017/CBO9780511811685
He, X., Zhang, H., Hur, N., Kim, J., Wu, Q., & Kim, T. (2006). Estimation of Internal and External Parameters for Camera Calibration Using 1D Pattern. 2006 IEEE International Conference on Video and Signal Based Surveillance, pp. 93–93. doi:10.1109/AVSS.2006.48
Huang, G., Liu, Z., & Weinberger, K. Q. (2016). Densely Connected Convolutional Networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2261–2269. doi:10.1109/CVPR.2017.243
Li, Z., Liu, F., Yang, W., Peng, S., & Zhou, J. (2021). A Survey of Convolutional Neural Networks: Analysis, Applications, and Prospects. IEEE transactions on neural networks and learning systems, pp. 1-12. doi: /10.1109/TNNLS.2021.3084827
Lucchese, L., & Mitra, S. K. (2002). Using saddle points for subpixel feature detection in camera calibration targets. Asia-Pacific Conference on Circuits and Systems, 2002(2), 191–195. doi:10.1109/APCCAS.2002.1115151
Pak, A., Reichel, S., & Burke, J. (2022). Machine-Learning-Inspired Workflow for Camera Calibration. Sensors (Basel, Switzerland), 22(18), 6804. doi: 10.3390/s22186804
Pedra, A. V. B. M., Mendonça, M., Finocchio, M. A. F., de Arruda, L. V. R., & Castanho, J. E. C. (2013). Camera Calibration Using Detection and Neural Networks. IFAC Proceedings Volumes, 46(7), 245–250. doi:10.3182/20130522-3-BR-4036.00077
Placht, S., Fürsattel, P., Mengue, E. A., Hofmann, H., Schaller, C., Balda, M., & Angelopoulou, E. (2014). ROCHADE: Robust Checkerboard Advanced Detection for Camera Calibration. Computer Vision (ECCV 2014), pp. 766–779. doi: 10.1109/ICVS.2006.3
Qi, W., Li, F., & Zhenzhong, L. (2010). Review on camera calibration. 2010 Chinese Control and Decision Conference, pp. 3354-3358. doi:10.1109/CCDC.2010.5498574
Rosten, E., Porter, R., & Drummond, T. (2010). Faster and Better: A Machine Learning Approach to Corner Detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(1), 105-119. doi:10.1109/TPAMI.2008.275
Scaramuzza, D., Martinelli, A., & Siegwart, R. (2006). A Flexible Technique for Accurate Omnidirectional Camera Calibration and Structure from Motion. Fourth IEEE International Conference on Computer Vision Systems (ICVS'06), pp. 45-45. doi:10.1109/ICVS.2006.3
Sturm, J., Engelhard, N., Endres, F., Burgard, W., & Cremers, D. (2012). A Benchmark for the Evaluation of RGB-D SLAM Systems. International Conference on Intelligent Robot Systems (IROS), 573-580. 10.1109/IROS.2012.6385773
Zhang, J., Luo, B., Xiang, Z., Zhang, Q., Wang, Y., Su, X., Wang, W. (2021). Deep-learning-based adaptive camera calibration for various defocusing degrees. Opt. Lett., 46(22), 5537–5540. 10.1364/OL.443337
Zhang, Q., & Xiong, C. (2017). A New Chessboard Corner Detection Algorithm with Simple Thresholding. Intelligent Robotics and Applications, 532–542. 10.1007/978-3-319-65292-4_46
Zhang, Z. (2000). A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11), 1330–1334. doi:10.1109/34.
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Derechos de autor 2022 Marrone Silvério Melo Dantas; Daniel Bezerra; Assis T. de Oliveira Filho; Gibson Barbosa; Iago Richard Rodrigues; Djamel H. J. Sadok; Judith Kelner; Ricardo Souza
Esta obra está bajo una licencia internacional Creative Commons Atribución 4.0.
Los autores que publican en esta revista concuerdan con los siguientes términos:
1) Los autores mantienen los derechos de autor y conceden a la revista el derecho de primera publicación, con el trabajo simultáneamente licenciado bajo la Licencia Creative Commons Attribution que permite el compartir el trabajo con reconocimiento de la autoría y publicación inicial en esta revista.
2) Los autores tienen autorización para asumir contratos adicionales por separado, para distribución no exclusiva de la versión del trabajo publicada en esta revista (por ejemplo, publicar en repositorio institucional o como capítulo de libro), con reconocimiento de autoría y publicación inicial en esta revista.
3) Los autores tienen permiso y son estimulados a publicar y distribuir su trabajo en línea (por ejemplo, en repositorios institucionales o en su página personal) a cualquier punto antes o durante el proceso editorial, ya que esto puede generar cambios productivos, así como aumentar el impacto y la cita del trabajo publicado.
