Ítem
Acceso Abierto
Modelo de reconocimiento para la lengua de señas: aproximación comparativa entre métodos de reconocimiento de patrones por inteligencia artificial
| dc.contributor.advisor | Orjuela Cañón, Alvaro David | |
| dc.contributor.advisor | Perdomo Charry, Oscar Julián | |
| dc.contributor.gruplac | GiBiome | es |
| dc.creator | Corredor Camargo, Simon Felipe | |
| dc.creator.degree | Magíster en Ingeniería Biomédica | es |
| dc.creator.degreeLevel | Maestría | |
| dc.creator.degreetype | Full time | es |
| dc.date.accessioned | 2022-07-22T01:19:36Z | |
| dc.date.available | 2022-07-22T01:19:36Z | |
| dc.date.created | 2022-06-24 | |
| dc.description | La lengua de señas es la herramienta de comunicación más utilizadas entre la comunidad de personas con discapacidad auditiva, debido a que permite a sus usuarios comunicarse mediante gestos y movimientos. Aun así, en Colombia y en otros países como India y Estados Unidos se evidencia un reto ante la educación, estandarización y enseñanza de esta lengua, como por ejemplo de cada una de sus variaciones entre zonas geográficas y culturales. Es por esto que metodologías que permitan automatizar el proceso de enseñanza y comunicación de los usuarios de esta lengua ya bien sean sordos u oyentes, son de alta relevancia para lograr la inclusión de las personas sordas o con algún tipo de discapacidad auditiva dentro de un contexto educativo y social. Es así como este trabajo busca estudiar alternativas como algoritmos basados en redes neuronales y aprendizaje automático, con el objetivo de generar un modelo inteligente que reconozca y clasifique diferentes señas del abecedario de la Lengua Americana de Señas (ASL). Todo lo anterior se hará entrenando y validando tres modelos ya utilizados en otros problemas de clasificación de imágenes basados en Redes Neuronales Convolucionales (CNN) a los cuales se explorara sistemáticamente ajustes en su estructura e híper-parámetros para buscar el modelo que mejor se adapte a la correcta clasificación de cada una de los 27 tipos de imágenes parte de las señas del abecedario de la ASL. | es |
| dc.description.abstract | The sign language is the communication tool that is most used within the hearingimpaired people community, as it allows their users to communicate through gestures and movements. Even though, in Colombia and some other countries in the world as India and the U.S, the challenge with education, standardization and teaching of this language is evident, an example of this are the multiple variations on these languages between the different cultures and geographic zones. For this reason, the methodologies that allows the automatization of the teaching and communication process within the users of this language (even if they are hearing impaired or not), are relevant to accomplish the inclusion within a social and educational context for the deaf people and those with any type of hear impairing. In this order this investigation aims to study alternatives as algorithms based on Neural Networks and Machine Learning, to generate a model that can recognize and classify different hand gestures part of the alphabet from the American Sign Language (ASL). All the mentioned before will be done training and validating three initial models based on Convolutional Neuronal Networks (CNN) which will be explored systematically with adjustments on structure and hyper-parameters to identify the model structure that adapts the better to the appropriate classification of each of the 27 types of images part of the signs on the ASL alphabet. | es |
| dc.format.extent | 58 pp | es |
| dc.format.mimetype | application/pdf | es |
| dc.identifier.doi | https://doi.org/10.48713/10336_34586 | |
| dc.identifier.uri | https://repository.urosario.edu.co/handle/10336/34586 | |
| dc.language.iso | spa | es |
| dc.publisher | Universidad del Rosario | |
| dc.publisher | Escuela Colombiana de Ingeniería Julio Garavito | |
| dc.publisher.department | Escuela de Medicina y Ciencias de la Salud | spa |
| dc.publisher.program | Maestría en Ingeniería Biomédica | spa |
| dc.rights | Atribución-NoComercial-SinDerivadas 2.5 Colombia | * |
| dc.rights.accesRights | info:eu-repo/semantics/openAccess | es |
| dc.rights.acceso | Abierto (Texto Completo) | es |
| dc.rights.licencia | EL AUTOR, manifiesta que la obra objeto de la presente autorización es original y la realizó sin violar o usurpar derechos de autor de terceros, por lo tanto la obra es de exclusiva autoría y tiene la titularidad sobre la misma. | spa |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/2.5/co/ | * |
| dc.source.bibliographicCitation | Dipietro, Laura; Sabatini, Angelo M; Dario, Paolo (2008) A Survey of Glove-Based Systems and Their Applications. En: IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications. Vol. 38; No. 4; pp. 461-482 Disponible en: http://dx.doi.org/10.1109/TSMCC.2008.923862. Disponible en: 10.1109/TSMCC.2008.923862. | |
| dc.source.bibliographicCitation | Suarez, Arnol; Jimenez, Andres; Castro Franco, Mauricio; Cruz-Roa, Angel (2016) Clasificación automática de coberturas del suelo en imágenes satelitales. | |
| dc.source.bibliographicCitation | Badi, Haitham; Hussein, Sabah (2014) Hand posture and gesture recognition technology. En: Neural Computing and Applications. Vol. 25; pp. 871-878 Disponible en: http://dx.doi.org/10.1007/s00521-014-1574-4. Disponible en: 10.1007/s00521-014-1574-4. | |
| dc.source.bibliographicCitation | Saunshi, Nikunj; Gupta, Arushi; Hu, Wei (2021) A Representation Learning Perspective on the Importance of. | |
| dc.source.bibliographicCitation | Mustafa, Mohammed (2021) A study on Arabic sign language recognition for differently abled using. En: Journal of Ambient Intelligence and Humanized Computing. Vol. 12; No. 3; pp. 4101-4115 : Springer Berlin Heidelberg; 1868-5145; Disponible en: https://doi.org/10.1007/s12652-020-01790-w; http://dx.doi.org/10.1007/s12652-020-01790-w. Disponible en: 10.1007/s12652-020-01790-w. | |
| dc.source.bibliographicCitation | Shorten, Connor; Khoshgoftaar, Taghi M (2019) A survey on Image Data Augmentation for Deep Learning. En: Journal of Big Data. Vol. 6; No. 1; pp. 60 2196-1115; Disponible en: http://dx.doi.org/10.1186/s40537-019-0197-0. Disponible en: 10.1186/s40537-019-0197-0. | |
| dc.source.bibliographicCitation | Munib, Qutaishat; Habeeb, Moussa; Takruri, Bayan; Al-Malik, Hiba Abed (2007) American sign language (ASL) recognition based on Hough transform and. En: Expert Systems with Applications. Vol. 32; No. 1; pp. 24-37 0957-4174; Disponible en: http://dx.doi.org/10.1016/j.eswa.2005.11.018. Disponible en: 10.1016/j.eswa.2005.11.018. | |
| dc.source.bibliographicCitation | Castro, Robinson Steven (2015) Aplicativo para apoyar el proceso de aprendizaje del lenguaje de señas. : Universidad Piloto de Colombia; | |
| dc.source.bibliographicCitation | Kulkarni, V S; Lokhande, a D S D (2010) Appearance Based Recognition of American Sign Language Using Gesture. En: International Journal on Computer Science and Engineering IJCSE. Vol. 2; No. 03; pp. 560-565 0975-3397; Disponible en: http://www.enggjournals.com/ijcse/doc/IJCSE10-02-03-33.pdf. | |
| dc.source.bibliographicCitation | Cui, Yuntao; Weng, Juyang (2000) Appearance-based hand sign recognition from intensity image sequences. En: Computer Vision and Image Understanding. Vol. 78; No. 2; pp. 157-176 1077-3142; Disponible en: http://dx.doi.org/10.1006/cviu.2000.0837. Disponible en: 10.1006/cviu.2000.0837. | |
| dc.source.bibliographicCitation | Rasband, Dan (2018) ASL Alphabet Test | Kaggle. Disponible en: https://www.kaggle.com/datasets/danrasband/asl-alphabet-test. | |
| dc.source.bibliographicCitation | Nagaraj, Akash (2018) ASL Alphabet | Kaggle. Disponible en: https://www.kaggle.com/datasets/grassknoted/asl-alphabet?select=asl_alphabet_test. | |
| dc.source.bibliographicCitation | Quesada, Luis; López, Gustavo; Guerrero, Luis (2017) Automatic recognition of the American sign language fingerspelling. En: Journal of Ambient Intelligence and Humanized Computing. Vol. 8; No. 4; pp. 625-635 : Springer Berlin Heidelberg; 1868-5145; Disponible en: http://dx.doi.org/10.1007/s12652-017-0475-7. Disponible en: 10.1007/s12652-017-0475-7. | |
| dc.source.bibliographicCitation | Ministerio de Educacion Nacional de Colombia (2020) Caracterizacion De Ciudadanos, Usuarios Y Grupos De Interes De Insor 2019. pp. 1-60 | |
| dc.source.bibliographicCitation | Miotto, Riccardo; Wang, Fei; Wang, Shuang; Jiang, Xiaoqian; Dudley, Joel T (2018) Deep learning for healthcare: review, opportunities and challenges. En: Brief Bioinform. Vol. 19; No. 6; pp. 1236-1246 Disponible en: https://academic.oup.com/bib/article/19/6/1236/3800524; http://dx.doi.org/10.1093/bib/bbx044. Disponible en: 10.1093/bib/bbx044. | |
| dc.source.bibliographicCitation | He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016) Deep residual learning for image recognition. En: Proceedings of the IEEE Computer Society Conference on Computer Vision and. Vol. 2016-Decem; pp. 770-778 Disponible en: http://dx.doi.org/10.1109/CVPR.2016.90. Disponible en: 10.1109/CVPR.2016.90. | |
| dc.source.bibliographicCitation | Naciones Unidas (2022) Día Internacional de las Lenguas de Señas | Naciones Unidas. Disponible en: https://www.un.org/es/observances/sign-languages-day. | |
| dc.source.bibliographicCitation | Ministerio de Educacion Nacional (1996) Diccionario Básico de la Lengua de Señas Colombiana. : Instituto Nacional para Sordos; | |
| dc.source.bibliographicCitation | NVIDIA (2020) Driver persistence. No. June; | |
| dc.source.bibliographicCitation | TensorFlow (2022) Educación sobre aprendizaje automático | TensorFlow. Disponible en: https://www.tensorflow.org/resources. | |
| dc.source.bibliographicCitation | García Salinero, Julia (2004) Estudios descriptivos. pp. 90-100 Disponible en: http://dx.doi.org/10.1016/b978-84-8174-709-6.50009-9. Disponible en: 10.1016/b978-84-8174-709-6.50009-9. | |
| dc.source.bibliographicCitation | Kessler, G Drew; Hodges, Larry F; Walker, Neff; Evaluation of the CyberGlove as a Whole-Hand Input Device. | |
| dc.source.bibliographicCitation | Oudah, Munir; Al-Naji, Ali; Chahl, Javaan (2020) Hand Gesture Recognition Based on Computer Vision: A Review of Techniques. En: Journal of Imaging. Vol. 6; No. 8; 2313-433X; Disponible en: http://dx.doi.org/10.3390/JIMAGING6080073. Disponible en: 10.3390/JIMAGING6080073. | |
| dc.source.bibliographicCitation | Nakjai, Pisit; Katanyukul, Tatpong (2019) Hand Sign Recognition for Thai Finger Spelling: an Application of. En: Journal of Signal Processing Systems. Vol. 91; No. 2; pp. 131-146 : Journal of Signal Processing Systems; 1939-8115; Disponible en: http://dx.doi.org/10.1007/s11265-018-1375-6. Disponible en: 10.1007/s11265-018-1375-6. | |
| dc.source.bibliographicCitation | Bai, Yu; Chen, Minshuo; Zhou, Pan; Zhao, Tuo; Lee, Jason D; Kakade, Sham; Wang, Huan; Xiong, Caiming (2021) How Important is the Train-Validation Split in Meta-Learning?. | |
| dc.source.bibliographicCitation | Towards Data Science (2018) How To Teach A Computer To See With Convolutional Neural Networks | by. Disponible en: https://towardsdatascience.com/how-to-teach-a-computer-to-see-with-convolutional-neural-networks-96c120827cd1. | |
| dc.source.bibliographicCitation | Stanford Vision Lab (2020) ImageNet. Disponible en: https://www.image-net.org/challenges/LSVRC/. | |
| dc.source.bibliographicCitation | Szegedy, Christian; Ioffe, Sergey; Vanhoucke, Vincent; Alemi, Alexander A (2017) Inception-v4, inception-ResNet and the impact of residual connections on. En: 31st AAAI Conference on Artificial Intelligence, AAAI 2017. pp. 4278-4284 | |
| dc.source.bibliographicCitation | Keras (2022) Keras Applications. Disponible en: https://keras.io/api/applications/. | |
| dc.source.bibliographicCitation | Khosla, Rajiv; Howlett, Robert J; Jain, Lakhmi C (2005) Lecture Notes in Artificial Intelligence 3684 Subseries of Lecture Notes. | |
| dc.source.bibliographicCitation | Banco de la República, (2017) Lengua y lenguaje. Disponible en: https://enciclopedia.banrepcultural.org/index.php?title=Lengua_y_lenguaje. | |
| dc.source.bibliographicCitation | Howard, Andrew G; Zhu, Menglong; Chen, Bo; Kalenichenko, Dmitry; Wang, Weijun; Weyand, Tobias; Andreetto, Marco; Adam, Hartwig (2017) MobileNets: Efficient Convolutional Neural Networks for Mobile Vision. En: Computer Science. Disponible en: http://arxiv.org/abs/1704.04861. | |
| dc.source.bibliographicCitation | Ortiz-Farfán, Nelson; Camargo-Mendoza, Jorge E (2020) Modelo computacional para reconocimiento de lenguaje de señas en un. En: TecnoLógicas. Vol. 23; No. 48; pp. 197-232 0123-7799; Disponible en: http://dx.doi.org/10.22430/22565337.1585. Disponible en: 10.22430/22565337.1585. | |
| dc.source.bibliographicCitation | Orjuela-Cañon, Alvaro David; Posada-Quintero, Hugo; Valencia, Cesar; Mendoza, Leonardo (2018) On the Use of Neuroevolutive Methods as Support Tools for Diagnosing. En: Springer Nature. pp. 171-181 | |
| dc.source.bibliographicCitation | Ministerio de Educacion Nacional de Colombia (2022) Plan Estrarégico Institucional INSOR. pp. 21 | |
| dc.source.bibliographicCitation | Scikit Learn (2022) scikit-learn: machine learning in Python — scikit-learn 1.1.1. Disponible en: https://scikit-learn.org/stable/. | |
| dc.source.bibliographicCitation | Ministerio de Tecnologías de la Información y las Comunicaciones de Colombia, (2022) Servicio de Interpretación en línea SIEL. Disponible en: https://centroderelevo.gov.co/632/w3-propertyvalue-15254.html. | |
| dc.source.bibliographicCitation | Wadhawan, Ankita; Kumar, Parteek (2021) Sign Language Recognition Systems: A Decade Systematic Literature Review. En: Archives of Computational Methods in Engineering. Vol. 28; No. 3; pp. 785-813 : Springer Netherlands; 1886-1784; Disponible en: https://doi.org/10.1007/s11831-019-09384-2; http://dx.doi.org/10.1007/s11831-019-09384-2. Disponible en: 10.1007/s11831-019-09384-2. | |
| dc.source.bibliographicCitation | Camilo Iván, López Triviño (2018) Sistema para el aprendizaje del lenguaje de señas colombiano usando visión. : Universidad de La Salle; | |
| dc.source.bibliographicCitation | Milena Cortés Bello, Yenny; Giovanny Barreto Muñoz, Alex (2013) Variacion Sociolinguistica En La Lengua D Señas Colombiana. En: Forma y Función. Vol. 26; pp. 149-170 Disponible en: http://www.scielo.org.co/pdf/fyf/v26n2/v26n2a07.pdf. | |
| dc.source.bibliographicCitation | Python Software Foundation (2022) Welcome to Python.org. Disponible en: https://www.python.org/. | |
| dc.source.bibliographicCitation | IBM Cloud Education (2020) ¿Qué es deep learning?. Disponible en: https://www.ibm.com/mx-es/cloud/deep-learning. | |
| dc.source.bibliographicCitation | IBM Cloud Education (2020) ¿Qué son las redes neuronales?. Disponible en: https://www.ibm.com/es-es/cloud/learn/neural-networks. | |
| dc.source.instname | instname:Universidad del Rosario | |
| dc.source.reponame | reponame:Repositorio Institucional EdocUR | |
| dc.subject | Redes neuronales | es |
| dc.subject | Deep Learning | es |
| dc.subject | Convolutional Neural Networks (CNN) | es |
| dc.subject | Lengua de Señas | es |
| dc.subject.ddc | Ingeniería & operaciones afines | es |
| dc.subject.keyword | Neuronal Networks | es |
| dc.subject.keyword | Deep Learning | es |
| dc.subject.keyword | Convolutional Neural Networks (CNN) | es |
| dc.subject.keyword | Sign Language | es |
| dc.title | Modelo de reconocimiento para la lengua de señas: aproximación comparativa entre métodos de reconocimiento de patrones por inteligencia artificial | es |
| dc.title.TranslatedTitle | Sign language recognition model: comparative approach between artificial intelligence pattern recognition methods | es |
| dc.type | masterThesis | es |
| dc.type.document | Tesis | es |
| dc.type.hasVersion | info:eu-repo/semantics/acceptedVersion | |
| dc.type.spa | Tesis | es |
| local.department.report | Escuela de Medicina y Ciencias de la Salud | spa |
