Ítem
Acceso Abierto

Automatic determination of the learning rate for multivariate and multinomial regression models

Mostrar el registro sencillo de la publicación
dc.contributor.advisorCaicedo Dorado, Alexander
dc.creatorAcosta Fajardo, Manuela
dc.creator.degreeProfesional en Matemáticas Aplicadas y Ciencias de la Computación
dc.creator.degreeLevelPregrado
dc.creator.degreetypeFull time
dc.date.accessioned2023-03-06T19:19:06Z
dc.date.available2023-03-06T19:19:06Z
dc.date.created2022-11-25
dc.descriptionA lo largo de los años, la inteligencia artificial se ha convertido en un campo ampliamente investigado y aplicado, como resultado de los importantes avances tecnológicos y la expansión de los recursos informáticos. La inteligencia artificial intenta no solo comprender cómo funciona la mente humana, sino también desarrollar sistemas que puedan imitar el comportamiento humano. El aprendizaje automático es una de las principales ramas de la inteligencia artificial y su objetivo es construir y mejorar modelos que puedan aprender de un conjunto de datos y de la experiencia, a través de métodos computacionales, sin necesidad de ser programados explícitamente. Los algoritmos de aprendizaje automático construyen modelos basados en datos de muestra, con el fin de hacer predicciones o decisiones, y se utilizan en diferentes aplicaciones, como medicina, visión artificial, clasificación de imágenes, entre otras. Un algoritmo de aprendizaje automático es un programa que encuentra patrones o hace predicciones a partir de datos nunca antes vistos. Dependiendo de los objetivos del algoritmo, así como de los datos utilizados, existen diferentes tipos de modelos de aprendizaje: aprendizaje supervisado, aprendizaje no supervisado y aprendizaje por refuerzo. Uno de los algoritmos de aprendizaje más comunes es Gradient Descent, que se utiliza para encontrar un mínimo local de una función diferenciable. Funciona dando pasos repetidos en la dirección opuesta al gradiente de la función. El tamaño de los pasos tomados por el algoritmo de descenso de gradiente está determinado por un hiperparámetro conocido como Tasa de aprendizaje. Este parámetro indica qué tan rápido o lento es el movimiento hacia los parámetros óptimos del algoritmo. Por lo general, se configura manualmente. Sin embargo, para alcanzar los mínimos de función es necesario establecer una tasa de aprendizaje adecuada, es decir, ni demasiado grande ni demasiado pequeña. En el primer caso, los pasos dados son demasiado grandes y, en consecuencia, el algoritmo puede divergir. Por el contrario, si la tasa de aprendizaje es demasiado pequeña, resulta en un aprendizaje lento y el algoritmo tampoco podría converger nunca. La mayoría de las veces se desea un aprendizaje rápido, por lo que se pueden seleccionar altas tasas de aprendizaje. Sin embargo, es importante seleccionar el valor adecuado para este parámetro, de modo que se pueda garantizar la convergencia del algoritmo. En (2021, Ruiz) se presentó un método para determinar un límite superior para la tasa de aprendizaje de modelos basados en modelos de regresión lineal, haciendo un análisis del algoritmo de gradiente descendente como un sistema dinámico discreto. Este trabajo de tesis pretende extender estos resultados a modelos basados en clasificación y regresión multinomial. También buscamos encontrar un valor óptimo para la tasa de aprendizaje para estos métodos. A lo largo de esta tesis se desarrolla un algoritmo que determina automáticamente un valor óptimo para la tasa de aprendizaje de los modelos de clasificación y regresión. En primer lugar, los resultados obtenidos para los modelos de regresión lineal se generalizan a otras funciones de activación. Como resultado, se encuentran un límite superior y un valor óptimo para la tasa de aprendizaje para los modelos que usan regresión y clasificación. Luego, los resultados obtenidos se extienden a un modelo de regresión multinomial. Proponemos un análisis del descenso de gradiente como un sistema dinámico discreto, donde la cota superior surge como criterio para determinar la estabilidad de este sistema. Además, presentamos un valor óptimo para la tasa de aprendizaje, que minimiza la suma de las distancias de los polos extremos del sistema dinámico estudiado. Este análisis se realiza linealizando el algoritmo de descenso de gradiente y aplicándolo a la regresión lineal, logística y multinomial. El límite superior y el valor óptimo de la tasa de aprendizaje son aproximaciones al valor óptimo que garantizan la convergencia más rápida del algoritmo. Presentamos simulaciones y experimentos para comprobar los resultados obtenidos. Primero los probamos con ejemplos de juguetes, creando manualmente los datos para estudiar el comportamiento del algoritmo para el modelo de regresión lineal y logística. Luego, validamos nuestro enfoque en conjuntos de datos reales. Los resultados muestran que, aunque la tasa de aprendizaje máxima, que viene dada por la cota superior, parece hacer que el algoritmo converja más rápido que la tasa de aprendizaje óptima para el caso logístico y multinomial, es mejor utilizar este último valor, ya que garantiza una convergencia suave y relativamente rápida al mínimo en todos los casos
dc.description.abstractThroughout the years, artificial intelligence has developed into a widely researched and applied field, as a result of the significant advancements in technology and the expansion in computer resources. Artificial intelligence attempts not only to understand how the human mind works, but also to develop systems that can mimic human behaviour. Machine learning is one of the main branches of artificial intelligence, and it aims to build and improve models that can learn from a set of data, and from experience, via computational methods, with no need to be explicitly programmed. Machine learning algorithms build models based on sample data, in order to make predictions or decisions, and are used in different applications, such as medicine, computer vision, image classification, among others. A machine learning algorithm is a program that finds patterns or makes predictions from previously unseen data. Depending on the goals of the algorithm, as well as on the data used, there are different types of learning models: supervised learning, unsupervised learning and reinforcement learning. One of the most common learning algorithms is Gradient Descent, which is used to find a local minimum of a differentiable function. It works by taking repeated steps in the opposite direction of the gradient of the function. The size of the steps taken by the gradient descent algorithm is determined by an hyper-parameter known as the Learning Rate. This parameter indicates how fast or slow is the movement towards the optimal parameters of the algorithm. Usually, it is set manually. However, in order to reach the function minima it is necessary to set an appropriate learning rate, i.e. neither too big, nor too small. In the first case, the steps taken are too big, and the algorithm can diverge as a consequence. On the contrary, if the learning rate is too small, it results in slow learning, and the algorithm could also never converge. Most of the times a fast learning is desired, so high learning rates might be selected. Nevertheless, it is important to select the proper value for this parameter, so one can guarantee the convergence of the algorithm. A method to determine an upper-bound for the learning rate of models based on linear regression models was presented in (2021, Ruiz), doing an analysis of the gradient descent algorithm as a discrete dynamical system. This thesis work aims to extend these results to models based in classification and multinomial regression. We also seek to find an optimal value for the learning rate for these methods. Throughout this thesis an algorithm that automatically determines an optimal value for the learning rate of classification and regression models is developed. In the first place, the results obtained for the linear regression models are generalized to other activation functions. As a result, an upper-bound and an optimal value for the learning rate are found for models using regression and classification. Then, the results obtained are extended to a multinomial regression model. We propose an analysis of the gradient descent as a discrete dynamical system, where the upper-bound arises as a criteria to determine the stability of this system. Besides, we present an optimal value for the learning rate, which minimizes the sum of the distance of the extreme poles of the dynamical system studied. This analysis is done by linearizing the gradient descent algorithm, and applying it to linear, logistic and multinomial regression. The upper-bound and the optimal value of the learning rate are approximations to the optimal value that guarantee the fastest convergence of the algorithm. We present simulations and experiments to test the results obtained. We first test them with toy examples, by manually creating the data to study the behaviour of the algorithm for the linear and the logistic regression model. Then, we validate our approach in real datasets. The results show that, although the maximum learning rate, which is given by the upper-bound, seems to make the algorithm converge faster than the optimal learning rate for the logistic and multinomial case, it is better to use this last value, as it guarantees a smooth and relatively fast convergence to the minimum in all cases
dc.format.extent42 pp
dc.format.mimetypeapplication/pdf
dc.identifier.doihttps://doi.org/10.48713/10336_38190
dc.identifier.urihttps://repository.urosario.edu.co/handle/10336/38190
dc.language.isoeng
dc.publisherUniversidad del Rosario
dc.publisher.departmentEscuela de Ingeniería, Ciencia y Tecnología
dc.publisher.programPrograma de Matemáticas Aplicadas y Ciencias de la Computación - MACC
dc.rightsAttribution-NonCommercial-ShareAlike 4.0 International*
dc.rights.accesRightsinfo:eu-repo/semantics/openAccess
dc.rights.accesoAbierto (Texto Completo)
dc.rights.urihttp://creativecommons.org/licenses/by-nc-sa/4.0/*
dc.source.bibliographicCitationJ. C. Ruiz, Una propuesta de neurona artificial: la Unidad Neuro Vascular Artificial (UNVA). 2021.
dc.source.bibliographicCitationJ Stuart et al., Artificial intelligence a modern approach third edition, 2010.
dc.source.bibliographicCitationT Mitchell, B Buchanan, G DeJong, T Dietterich, P Rosenbloom, and A Waibel, “Machine learning,” Annual Review of Computer Science, vol. 4, no. 1, pp. 417– 433, 1990. DOI: 10 . 1146 / annurev . cs . 04 . 060190 . 002221. eprint: https : //doi.org/10.1146/annurev.cs.04.060190.002221. [Online]. Available: https://doi.org/10.1146/annurev.cs.04.060190.002221.
dc.source.bibliographicCitationT. M. Mitchell and T. M. Mitchell, Machine learning. McGraw-hill New York, 1997, vol. 1.
dc.source.bibliographicCitationZ.-H. Zhou, Machine learning. Springer Nature, 2021
dc.source.bibliographicCitationMachine learning, 2022. [Online]. Available: https://en.wikipedia.org/wiki/ Machine_learning#cite_note-2.
dc.source.bibliographicCitationG. Bonaccorso, Machine learning algorithms. Packt Publishing Ltd, 2017
dc.source.bibliographicCitationWhat are machine learning models? 2022. [Online]. Available: https : / / www . databricks.com/glossary/machine-learning-models.
dc.source.bibliographicCitationJ. Point, Machine learning models - javatpoint, 2022. [Online]. Available: https: //www.javatpoint.com/machine-learning-models.
dc.source.bibliographicCitationN. Donges, Gradient descent in machine learning: A basic introduction, 2022. [Online]. Available: https://builtin.com/data-science/gradient-descent.
dc.source.bibliographicCitationS. Patrikar, Batch, mini batch amp; stochastic gradient descent, 2019. [Online]. Available: https : / / towardsdatascience . com / batch - mini - batch - stochastic-gradient-descent-7a62ecba642a
dc.source.bibliographicCitationJ. Zhang, “Gradient descent based optimization algorithms for deep learning models training,” arXiv preprint arXiv:1903.03614, 2019.
dc.source.bibliographicCitationM. D. Zeiler, “Adadelta: An adaptive learning rate method,” arXiv preprint arXiv:1212.5701, 2012.
dc.source.bibliographicCitationA. Lydia and S. Francis, “Adagrad—an optimizer for stochastic gradient descent,” Int. J. Inf. Comput. Sci, vol. 6, no. 5, pp. 566–568,
dc.source.bibliographicCitationF. Zou, L. Shen, Z. Jie, W. Zhang, and W. Liu, “A sufficient condition for convergences of adam and rmsprop,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019.
dc.source.bibliographicCitationP. Baldi, “Gradient descent learning algorithm overview: A general dynamical systems perspective,” IEEE Transactions on Neural Networks, vol. 6, no. 1, pp. 182–195, 1995. DOI: 10.1109/72.363438.
dc.source.bibliographicCitationK. P. Murphy, Machine learning: a probabilistic perspective. MIT press, 2012.
dc.source.bibliographicCitationSeldon, Machine learning regression explained, 2021. [Online]. Available: https: / / www . seldon . io / machine - learning - regression - explained# : ~ : text=Regression%20is%20a%20technique%20for, used%20to%20predict% 20continuous%20outcomes..
dc.source.bibliographicCitationJ. Brownlee, Linear regression for machine learning, 2020. [Online]. Available: https://machinelearningmastery.com/linear-regression-for-machinelearning/.
dc.source.bibliographicCitationJ. Point, Logistic regression in machine learning - javatpoint, 2022. [Online]. Available: https://www.javatpoint.com/logistic- regression- in- machinelearning.
dc.source.bibliographicCitationSupport vector machines speed pattern recognition - vision systems design, 2004. [Online]. Available: https : / / www . vision - systems . com / home / article / 16737424/support-vector-machines-speed-pattern-recognition
dc.source.bibliographicCitation] J. Platt, “Using analytic qp and sparseness to speed training of support vector machines,” Advances in neural information processing systems, vol. 11, 1998.
dc.source.bibliographicCitationIris data set. [Online]. Available: https : / / archive . ics . uci . edu / ml / datasets/iris.
dc.source.bibliographicCitationP. Tarazaga, “Eigenvalue estimates for symmetric matrices,” Linear algebra and its applications, vol. 135, pp. 171–179, 1990
dc.source.instnameinstname:Universidad del Rosario
dc.source.reponamereponame:Repositorio Institucional EdocUR
dc.subjectTasa de aprendizaje
dc.subjectGradiente descendente
dc.subjectRegresión
dc.subjectRegresión multinomial
dc.subjectRegresión multivariada
dc.subjectAlgoritmos de aprendizaje
dc.subjectSistemas dinámicos
dc.subject.keywordLearning rate
dc.subject.keywordGradient descent
dc.subject.keywordRegression
dc.subject.keywordMultinomial regression
dc.subject.keywordMultivariate regression
dc.subject.keywordLearning algorithms
dc.subject.keywordDynamical systems
dc.titleAutomatic determination of the learning rate for multivariate and multinomial regression models
dc.title.TranslatedTitleDeterminación automática de la tasa de aprendizaje para modelos de regresión multivariada y multinomial
dc.typebachelorThesis
dc.type.documentTrabajo de grado
dc.type.hasVersioninfo:eu-repo/semantics/acceptedVersion
dc.type.spaTrabajo de grado
local.department.reportEscuela de Ciencias e Ingeniería
Archivos
Bloque original
Mostrando1 - 1 de 1
Miniatura
Nombre:
AutomaticDeterminationOfTheLearningRateForMultivariateAndMultinomialRegressionModels.pdf
Tamaño:
1.19 MB
Formato:
Adobe Portable Document Format
Descripción:
Descargar
Colecciones
Programa de Matemáticas Aplicadas y Ciencias de la Computación - MACC