Ítem
Acceso Abierto

Automatic determination of the learning rate for multivariate and multinomial regression models


Archivos
Fecha
2022-11-25

Directores
Caicedo Dorado, Alexander

ISSN de la revista
Título del volumen
Editor
Universidad del Rosario

Buscar en:

Métricas alternativas

Resumen
A lo largo de los años, la inteligencia artificial se ha convertido en un campo ampliamente investigado y aplicado, como resultado de los importantes avances tecnológicos y la expansión de los recursos informáticos. La inteligencia artificial intenta no solo comprender cómo funciona la mente humana, sino también desarrollar sistemas que puedan imitar el comportamiento humano. El aprendizaje automático es una de las principales ramas de la inteligencia artificial y su objetivo es construir y mejorar modelos que puedan aprender de un conjunto de datos y de la experiencia, a través de métodos computacionales, sin necesidad de ser programados explícitamente. Los algoritmos de aprendizaje automático construyen modelos basados en datos de muestra, con el fin de hacer predicciones o decisiones, y se utilizan en diferentes aplicaciones, como medicina, visión artificial, clasificación de imágenes, entre otras. Un algoritmo de aprendizaje automático es un programa que encuentra patrones o hace predicciones a partir de datos nunca antes vistos. Dependiendo de los objetivos del algoritmo, así como de los datos utilizados, existen diferentes tipos de modelos de aprendizaje: aprendizaje supervisado, aprendizaje no supervisado y aprendizaje por refuerzo. Uno de los algoritmos de aprendizaje más comunes es Gradient Descent, que se utiliza para encontrar un mínimo local de una función diferenciable. Funciona dando pasos repetidos en la dirección opuesta al gradiente de la función. El tamaño de los pasos tomados por el algoritmo de descenso de gradiente está determinado por un hiperparámetro conocido como Tasa de aprendizaje. Este parámetro indica qué tan rápido o lento es el movimiento hacia los parámetros óptimos del algoritmo. Por lo general, se configura manualmente. Sin embargo, para alcanzar los mínimos de función es necesario establecer una tasa de aprendizaje adecuada, es decir, ni demasiado grande ni demasiado pequeña. En el primer caso, los pasos dados son demasiado grandes y, en consecuencia, el algoritmo puede divergir. Por el contrario, si la tasa de aprendizaje es demasiado pequeña, resulta en un aprendizaje lento y el algoritmo tampoco podría converger nunca. La mayoría de las veces se desea un aprendizaje rápido, por lo que se pueden seleccionar altas tasas de aprendizaje. Sin embargo, es importante seleccionar el valor adecuado para este parámetro, de modo que se pueda garantizar la convergencia del algoritmo. En (2021, Ruiz) se presentó un método para determinar un límite superior para la tasa de aprendizaje de modelos basados en modelos de regresión lineal, haciendo un análisis del algoritmo de gradiente descendente como un sistema dinámico discreto. Este trabajo de tesis pretende extender estos resultados a modelos basados en clasificación y regresión multinomial. También buscamos encontrar un valor óptimo para la tasa de aprendizaje para estos métodos. A lo largo de esta tesis se desarrolla un algoritmo que determina automáticamente un valor óptimo para la tasa de aprendizaje de los modelos de clasificación y regresión. En primer lugar, los resultados obtenidos para los modelos de regresión lineal se generalizan a otras funciones de activación. Como resultado, se encuentran un límite superior y un valor óptimo para la tasa de aprendizaje para los modelos que usan regresión y clasificación. Luego, los resultados obtenidos se extienden a un modelo de regresión multinomial. Proponemos un análisis del descenso de gradiente como un sistema dinámico discreto, donde la cota superior surge como criterio para determinar la estabilidad de este sistema. Además, presentamos un valor óptimo para la tasa de aprendizaje, que minimiza la suma de las distancias de los polos extremos del sistema dinámico estudiado. Este análisis se realiza linealizando el algoritmo de descenso de gradiente y aplicándolo a la regresión lineal, logística y multinomial. El límite superior y el valor óptimo de la tasa de aprendizaje son aproximaciones al valor óptimo que garantizan la convergencia más rápida del algoritmo. Presentamos simulaciones y experimentos para comprobar los resultados obtenidos. Primero los probamos con ejemplos de juguetes, creando manualmente los datos para estudiar el comportamiento del algoritmo para el modelo de regresión lineal y logística. Luego, validamos nuestro enfoque en conjuntos de datos reales. Los resultados muestran que, aunque la tasa de aprendizaje máxima, que viene dada por la cota superior, parece hacer que el algoritmo converja más rápido que la tasa de aprendizaje óptima para el caso logístico y multinomial, es mejor utilizar este último valor, ya que garantiza una convergencia suave y relativamente rápida al mínimo en todos los casos
Abstract
Throughout the years, artificial intelligence has developed into a widely researched and applied field, as a result of the significant advancements in technology and the expansion in computer resources. Artificial intelligence attempts not only to understand how the human mind works, but also to develop systems that can mimic human behaviour. Machine learning is one of the main branches of artificial intelligence, and it aims to build and improve models that can learn from a set of data, and from experience, via computational methods, with no need to be explicitly programmed. Machine learning algorithms build models based on sample data, in order to make predictions or decisions, and are used in different applications, such as medicine, computer vision, image classification, among others. A machine learning algorithm is a program that finds patterns or makes predictions from previously unseen data. Depending on the goals of the algorithm, as well as on the data used, there are different types of learning models: supervised learning, unsupervised learning and reinforcement learning. One of the most common learning algorithms is Gradient Descent, which is used to find a local minimum of a differentiable function. It works by taking repeated steps in the opposite direction of the gradient of the function. The size of the steps taken by the gradient descent algorithm is determined by an hyper-parameter known as the Learning Rate. This parameter indicates how fast or slow is the movement towards the optimal parameters of the algorithm. Usually, it is set manually. However, in order to reach the function minima it is necessary to set an appropriate learning rate, i.e. neither too big, nor too small. In the first case, the steps taken are too big, and the algorithm can diverge as a consequence. On the contrary, if the learning rate is too small, it results in slow learning, and the algorithm could also never converge. Most of the times a fast learning is desired, so high learning rates might be selected. Nevertheless, it is important to select the proper value for this parameter, so one can guarantee the convergence of the algorithm. A method to determine an upper-bound for the learning rate of models based on linear regression models was presented in (2021, Ruiz), doing an analysis of the gradient descent algorithm as a discrete dynamical system. This thesis work aims to extend these results to models based in classification and multinomial regression. We also seek to find an optimal value for the learning rate for these methods. Throughout this thesis an algorithm that automatically determines an optimal value for the learning rate of classification and regression models is developed. In the first place, the results obtained for the linear regression models are generalized to other activation functions. As a result, an upper-bound and an optimal value for the learning rate are found for models using regression and classification. Then, the results obtained are extended to a multinomial regression model. We propose an analysis of the gradient descent as a discrete dynamical system, where the upper-bound arises as a criteria to determine the stability of this system. Besides, we present an optimal value for the learning rate, which minimizes the sum of the distance of the extreme poles of the dynamical system studied. This analysis is done by linearizing the gradient descent algorithm, and applying it to linear, logistic and multinomial regression. The upper-bound and the optimal value of the learning rate are approximations to the optimal value that guarantee the fastest convergence of the algorithm. We present simulations and experiments to test the results obtained. We first test them with toy examples, by manually creating the data to study the behaviour of the algorithm for the linear and the logistic regression model. Then, we validate our approach in real datasets. The results show that, although the maximum learning rate, which is given by the upper-bound, seems to make the algorithm converge faster than the optimal learning rate for the logistic and multinomial case, it is better to use this last value, as it guarantees a smooth and relatively fast convergence to the minimum in all cases
Palabras clave
Tasa de aprendizaje , Gradiente descendente , Regresión , Regresión multinomial , Regresión multivariada , Algoritmos de aprendizaje , Sistemas dinámicos
Keywords
Learning rate , Gradient descent , Regression , Multinomial regression , Multivariate regression , Learning algorithms , Dynamical systems
Buscar en:
Enlace a la fuente