Ítem
Acceso Abierto

Arquitectura de protección de privacidad de datos para modelos de lenguaje de gran tamaño (LLM) usando chatgpt

Mostrar el registro sencillo de la publicación
dc.contributor.advisorWightman Rojas, Pedro Mario
dc.contributor.advisorDíaz López, Daniel Orlando
dc.creatorBonilla Beltrán, Sofia Luisa Carolina
dc.creatorOcampo Candela, Danna Natalia
dc.creator.degreeMagíster en Matemáticas Aplicadas y Ciencias de la Computación
dc.date.accessioned2025-04-21T14:48:47Z
dc.date.available2025-04-21T14:48:47Z
dc.date.created2025-04-03
dc.descriptionEl presente trabajo surge de la necesidad de fortalecer la privacidad en los modelos de lenguaje de gran tamaño (LLMs) como ChatGPT, Google Gemini y XLNet, los cuales presentan vulnerabilidades que pueden comprometer datos sensibles. A pesar de los avances en inteligencia artificial, la seguridad y privacidad de la información en estos modelos aún presentan desafíos, especialmente en la protección contra filtraciones de datos y accesos no autorizados. Esta investigación tiene como objetivo diseñar e implementar una arquitectura de protección de privacidad que mitigue riesgos tanto en la entrada como en la salida de los LLMs. Para ello, se abordan mecanismos para identificar y ofuscar datos sensibles en distintos tipos de información, incluyendo texto e imágenes, garantizando así la confidencialidad del usuario en todas las etapas de la comunicación con el modelo. El proyecto se estructura en tres etapas. La primera etapa consiste en un análisis ofensivo,demostrando las vulnerabilidades existentes en los modelos de lenguaje y cómo pueden ser explotadas para extraer información privada. En la segunda fase, se desarrolla una arquitectura de seguridad que emplea técnicas avanzadas de anonimización, protegiendo los datos sensibles antes de ser procesados por el modelo y controlando la información generada en sus respuestas. Finalmente, la tercera etapa evalúa el desempeño de la arquitectura mediante pruebas experimentales, asegurando que la implementación no afecte la precisión ni la utilidad del modelo, pero sí refuerce la protección de los datos. Los resultados de este proyecto permiten establecer nuevas estrategias de seguridad en LLMs, contribuyendo al desarrollo de modelos más confiables y con mejores garantías de privacidad para los usuarios.
dc.description.abstractThis paper arises from the need to strengthen privacy in large language models (LLMs) such as ChatGPT, Google Gemini and XLNet, which present vulnerabilities that can compromise sensitive data. Despite advances in artificial intelligence, information security and privacy in these models still present challenges, especially in protecting against data leaks and unauthorized access. This research aims to design and implement a privacy protection architecture that mitigates risks at both the input and output of LLMs. To this end, mechanisms are addressed to identify and obfuscate sensitive data in different types of information, including text and images, thus ensuring user confidentiality at all stages of communication with the model. The project is structured in three stages. The first stage consists of an offensive analysis, demonstrating the existing vulnerabilities in the language models and how they can be exploited to extract private information. In the second stage, a security architecture is developed that employs advanced anonymization techniques, protecting sensitive data before being processed by the model and controlling the information generated in its responses. Finally, the third stage evaluates the performance of the architecture through experimental tests, ensuring that the implementation does not affect the accuracy and usability of the model, but reinforces data protection. The results of this project allow establishing new security strategies in LLMs, contributing to the development of more reliable models with better privacy guarantees for users.
dc.format.extent91 pp
dc.format.mimetypeapplication/pdf
dc.identifier.doihttps://doi.org/10.48713/10336_45231
dc.identifier.urihttps://repository.urosario.edu.co/handle/10336/45231
dc.language.isospa
dc.publisherUniversidad del Rosariospa
dc.publisher.departmentEscuela de Ingeniería, Ciencia y Tecnologíaspa
dc.publisher.programMaestría en Matemáticas Aplicadas y Ciencias de la Computaciónspa
dc.rightsAttribution 4.0 International*
dc.rights.accesRightsinfo:eu-repo/semantics/openAccess
dc.rights.accesoAbierto (Texto Completo)
dc.rights.urihttp://creativecommons.org/licenses/by/4.0/*
dc.source.bibliographicCitationN. Fraguela, “El número de usuarios de internet en el mundo crece un 1,8% y alcanza los 5.350 millones,” Marketing4eCommerce Colombia, 31 de enero de 2024.
dc.source.bibliographicCitationRadford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Language models are unsupervised multitask learners. OpenAI blog, 1(8), 9.
dc.source.bibliographicCitationHuang, M. H., & Rust, R. T. (2018). Artificial intelligence in service. Journal of service research, 21(2), 155-172.
dc.source.bibliographicCitationBrown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., ... & Amodei, D. (2020). Language models are few-shot learners. Advances in neural information processing systems, 33, 1877-1901.
dc.source.bibliographicCitationRahimpour, H., Tusek, J., Musleh, A. S., Liu, B., Abuadbba, A., Phung, T., & Seneviratne, A. (2024). A Review of Cybersecurity Challenges in Smart Power Transformers. IEEE Access.
dc.source.bibliographicCitationGreen, B. (2021). The contestation of tech ethics: A sociotechnical approach to technology ethics in practice. Journal of Social Computing, 2(3), 209-225.
dc.source.bibliographicCitationOkdem, S., & Okdem, S. (2024). Artificial Intelligence in Cybersecurity: A Review and a Case Study. Applied Sciences, 14(22), 10487.
dc.source.bibliographicCitationCarlini, N., Tramer, F., Wallace, E., Jagielski, M., Herbert-Voss, A., Lee, K., ... & Raffel, C. (2021). Extracting training data from large language models. In 30th USENIX Security Symposium (USENIX Security 21) (pp. 2633 2650).
dc.source.bibliographicCitationT. B. Brown et al., «Language Models are Few-Shot Learners», arXiv.org, 28 de mayo de 2020. Disponible en: https://arxiv.org/abs/2005.14165
dc.source.bibliographicCitationAuffarth, B. (2023). Generative AI with LangChain: Build large language model (LLM) apps with Python, ChatGPT, and other LLMs. Packt Publishing Ltd.
dc.source.bibliographicCitationVaswani, A. (2017). Attention is all you need. Advances in Neural Information Processing Systems.
dc.source.bibliographicCitationKenton, J. D. M. W. C., & Toutanova, L. K. (2019, June). Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of naacL-HLT (Vol. 1, p. 2).
dc.source.bibliographicCitationRothman, D. (2022). Transformers for Natural Language Processing: Build, train, and fine-tune deep neural network architectures for NLP with Python, Hugging Face, and OpenAI's GPT-3, ChatGPT, and GPT-4. Packt Publishing Ltd.
dc.source.bibliographicCitationFu, M., Tantithamthavorn, C., Nguyen, V., & Le, T. (2023, 15 octubre). ChatGPT for Vulnerability Detection, Classification, and Repair: How Far Are We? arXiv.org. https://arxiv.org/abs/2310.09810?utm_source=chatgpt.com
dc.source.bibliographicCitationStaff View: GPT-3 en la seguridad informática». https://repositorio.uniandes.edu.co/entities/publication/6efc5be0-5086-4e94 b255-5eee025151c9
dc.source.bibliographicCitationM. Alawida, S. Mejri, A. Mehmood, B. Chikhaoui, y O. I. Abiodun, «A Comprehensive Study of ChatGPT: Advancements, Limitations, and Ethical Considerations in Natural Language Processing and Cybersecurity», Information, vol. 14, n.o 8, p. 462, ago. 2023, doi: 10.3390/info14080462.
dc.source.bibliographicCitationMassachusetts Institute of Technology, «From ChatGPT to HackGPT: Meeting the Cybersecurity Threat of Generative AI | MIT Sloan Management Review», MIT Sloan Management Review, 18 de abril de 2023. https://sloanreview.mit.edu/article/from-chatgpt-to-hackgpt-meeting-the cybersecurity-threat-of-generative-ai/
dc.source.bibliographicCitationWhen LLMs Meet Cybersecurity: A Systematic Literature Review. (s. f.). https://arxiv.org/html/2405.03644v1
dc.source.bibliographicCitationH. Felipe. C. Talciani, «Configuración jurídica del derecho a la privacidad II : : concepto y delimitación.», Revista Chilena de Derecho, vol. 27, n.o 2, pp. 331-355, ene. 2000, [En línea]. Disponible en: https://dialnet.unirioja.es/descarga/articulo/2650218.pdf
dc.source.bibliographicCitationL. Vladimir. M. Juan Manuel. G. Sofia, «El desafío de preservar la privacidad de los usuarios en línea », Ensayo de la Pontificia Universidad Javeriana Cali. Disponible en: https://www.researchgate.net/profile/Sofia Guerrero 14/publication/375863448_El_desafio_de_preservar_la_privacidad_de_los_ usuarios_en_linea/links/655f9fd9b86a1d521b02f801/El-desafio-de preservar-la-privacidad-de-los-usuarios-en-linea.pdf
dc.source.bibliographicCitationB. Toulas, «OpenAI rolls out imperfect fix for ChatGPT data leak flaw», BleepingComputer, 21 de diciembre de 2023. [En línea]. Disponible en: https://www.bleepingcomputer.com/news/security/openai-rolls-out imperfect-fix-for-chatgpt-data-leak-flaw/
dc.source.bibliographicCitationG. M. M. Elena, L. J. J. De, y Uam. D. De Ingeniería Informática, «Desarrollo basado en modelos del reglamento GDPR», Universidad Autónoma de Madrid, 1 de julio de 2020. https://repositorio.uam.es/handle/10486/692895
dc.source.bibliographicCitationN, Salaberry. «Gestión de la privacidad de datos personales: el modelo de privacidad diferencial». Revista de investigación en modelos matematicos aplicados a la gestion y la economia - año 7 volumen ii (2020-ii). 2021. Disponible en: https://www.economicas.uba.ar/investigacion/wp content/uploads/Salaberry-Natalia-1.pdf
dc.source.bibliographicCitationP. M. Wightman, Zurbarán, M, Santander, A. «High Variability Geographical Obfuscation for Location Privacy». Research Gate. Octubre 2013. Disponible en: https://www.researchgate.net/publication/248702470_High_Variability_Geo graphical_Obfuscation_for_Location_Privacy
dc.source.bibliographicCitationP. M. Wightman, A, Salazar, J. Saavedra, M, Zurbarán, O. Gutierrez, O. «User-Centered Differential Privacy Mechanisms for Electronic Medical Records», 21 de diciembre de 2018, Disponible en: https://research hub.urosario.edu.co/vivo11/individual?uri=http%3A%2F%2Fresearch hub.urosario.edu.co%2Findividual%2F5138100e-2d94-4d99-b354 c09c48944660
dc.source.bibliographicCitationP. M. Wightman, M. A. Jimeno, D. Jabba, y M. Labrador, «Matlock: A location obfuscation technique for accuracy-restricted applications», Paris, Francia, vol. 34, pp. 1829-1834, abr. 2012, doi: 10.1109/wcnc.2012.6214082.
dc.source.bibliographicCitationA. Namer, et al., «Automatically Detecting Expensive Prompts and Configuring Firewall Rules t ewall Rules to Mitigate Denial of Ser o Mitigate Denial of Service Attacks on Lar ttacks on Large Language Models», Technical Disclosure Commons-Defensive Publications Series, ene. 2024.
dc.source.bibliographicCitationH. Li et al., «Multi-step Jailbreaking Privacy Attacks on ChatGPT», arXiv.org, 11 de abril de 2023. https://arxiv.org/abs/2304.05197
dc.source.bibliographicCitationM. Gupta, C. Akiri, K. Aryal, E. Parker, y L. Praharaj, «From ChatGPT to ThreatGPT: Impact of Generative AI in Cybersecurity and Privacy», arXiv.org, 3 de julio de 2023. https://arxiv.org/abs/2307.00691
dc.source.bibliographicCitationA, Panda et al., «Teach LLMs to Phish: Stealing Private Information from Language Models». https://arxiv.org/html/2403.00871v1
dc.source.bibliographicCitationH. Li et al., «Privacy in Large Language Models: Attacks, Defenses and Future Directions», arXiv.org, 16 de octubre de 2023. https://arxiv.org/abs/2310.10383
dc.source.bibliographicCitationRedmon, J., Divvala, S., Girshick, R., & Farhadi, A. (2016). You Only Look Once: Unified, Real-Time Object Detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 779-788
dc.source.bibliographicCitationRadford, A., Narasimhan, K., Salimans, T., & Sutskever, I. (2018). Improving language understanding by generative pre-training. OpenAI. https://cdn.openai.com/research-covers/language unsupervised/language_understanding_paper.pdf
dc.source.bibliographicCitationD. Handa, Z. Zhang, A. Saeidi, S. Kumbhar, y C. Baral, «Jailbreaking de Modelos de Lenguaje Grandes Patentados utilizando Cifrado de Sustitución de Palabras», Synthical, 16 de marzo de 2025. https://synthical.com/article/9d918ed0-11c1-4399-a4db-bb34c108250a/es
dc.source.bibliographicCitationE. M. Bender, T. Gebru, A. McMillan-Major, y S. Shmitchell, «On the Dangers of Stochastic Parrots», ACM DIGITAL LIBRARY, pp. 610-623, mar. 2021, doi: 10.1145/3442188.3445922.
dc.source.bibliographicCitationG. Jiménez, «Entrenamiento de modelos de IA generativa y el riesgo del robo de datos», MINCYT, 6 de marzo de 2025. https://mincyt.gob.ve/entrenamiento-modelos-generativa-riesgo-robo-datos/
dc.source.bibliographicCitationS. Carrizosa, S. Carrizosa, y S. Carrizosa, «Su compañero virtual le liberará del papeleo», El País, 11 de febrero de 2025. [En línea]. Disponible en: https://elpais.com/economia/negocios/2025-02-11/su-companero-virtual-le liberara-del-papeleo.html?utm_source=chatgpt.com
dc.source.bibliographicCitationM. Á. G. Vega, M. Á. G. Vega, y M. Á. G. Vega, «Escudos de IA contra los ‘hackers’», El País, 19 de octubre de 2024. [En línea]. Disponible en: https://elpais.com/extra/eventos/2024-10-19/escudos-de-ia-contra-los hackers.html?utm_source=chatgpt.com
dc.source.bibliographicCitationJ. Redmon y A. Farhadi, «YOLOV3: an incremental improvement», arXiv.org, 8 de abril de 2018. https://arxiv.org/abs/1804.02767
dc.source.bibliographicCitationA. Bochkovskiy, C.-Y. Wang, y H.-Y. M. Liao, «YOLOv4: Optimal Speed and Accuracy of Object Detection», arXiv.org, 23 de abril de 2020. https://arxiv.org/abs/2004.10934
dc.source.bibliographicCitationJustas, «YOLOv8: Detección de objetos de última generación en reconocimiento de imágenes (computer vision)», Visionplatform, 10 de mayo de 2024. https://visionplatform.ai/es/yolov8-deteccion-de-objetos-de-ultima generacion-en-reconocimiento-de-imagenes-computer-vision/
dc.source.instnameinstname:Universidad del Rosario
dc.source.reponamereponame:Repositorio Institucional EdocURspa
dc.subjectLLM
dc.subjectInteligencia artificial
dc.subjectCiberseguridad
dc.subjectChatGPT
dc.subjectPrivacidad
dc.subjectDatos sensibles
dc.subjectProcesamiento de lenguaje natural
dc.subjectVisión por computadora
dc.subject.keywordLLM
dc.subject.keywordArtificial intelligence
dc.subject.keywordCybersecurity
dc.subject.keywordPrivacy
dc.subject.keywordSensible data
dc.subject.keywordVision computer
dc.subject.keywordNatural languge processing
dc.subject.keywordChatGPT
dc.titleArquitectura de protección de privacidad de datos para modelos de lenguaje de gran tamaño (LLM) usando chatgpt
dc.title.TranslatedTitleData privacy protection architecture for large language models (llm) using chatgpt
dc.title.alternativeArquitectura de protección de privacidad de datos para modelos de lenguaje de gran tamaño (LLM) usando Chat GPT
dc.typemasterThesis
dc.type.hasVersioninfo:eu-repo/semantics/acceptedVersion
dc.type.spaTesis de maestría
local.department.reportEscuela de Ingeniería, Ciencia y Tecnología
local.regionesBogotá
Archivos
Bloque original
Mostrando1 - 1 de 1
Miniatura
Nombre:
Arquitectura_de_proteccion_de_privacidad_de_datos_para_modelos.pdf
Tamaño:
1.84 MB
Formato:
Adobe Portable Document Format
Descripción:
Descargar
Colecciones
Maestría en Matemáticas Aplicadas y Ciencias de la Computación