Ítem
Acceso Abierto
Teoría de la información y la compresión de cadenas
Título de la revista
Autores
Hernández Ramírez, Esteban
Archivos
Fecha
2022-11-23
Directores
Álvarez Cabrera, Carlos Eduardo
ISSN de la revista
Título del volumen
Editor
Universidad del Rosario
Buscar en:
Métricas alternativas
Resumen
El problema de la compresión sin perdida consiste en implementar la codificación (únicamente decodificable) de un alfabeto, que asigna a cada cadena de símbolos del alfabeto el código de menor longitud posible. Encontrar esta representación de menor tamaño de un conjunto de datos puede ahorrar costos en el espacio de almacenamiento, tiempo en transferencia de los datos o número de operaciones en su procesamiento, dentro de un computador. Lo anterior hace de la compresión sin perdida un objetivo razonable dentro de las Ciencias de la Computación y representa un reto importante durante el desarrollo de muchas soluciones tecnológicas. La teoría de la información, por su parte, ha establecido el formalismo matemático necesario para el estudio de medidas cuantitativas de información como la entropía de Shannon y ha encontrado su lugar dentro de la implementación de la compresión sin perdida al proveer algunas de las herramientas teóricas necesarias para el estudio de los modelos que describen las fuentes de datos en la teoría de la codificación. Por otro lado, la cercana relación que se ha encontrado entre la teoría de la información y la teoría de la compresión sin perdida ha motivado a muchos autores a ingeniar formas de medir a través de la compresión de archivos la información en ellos. Lo que ha resultado en interesantes aplicaciones de la compresión sin perdida en el aprendizaje automático, particularmente, en la clasificación de textos escritos en lenguaje natural o cadenas de ADN. En este escrito, se presenta una revisión monográfica acerca de cómo la teoría de la información se aplica a la compresión sin perdida. Para esto, se presentan algunas de las implementaciones de la compresión sin perdida en la teoría de códigos y sus respectivos análisis. Las demostraciones, gráficas, algoritmos e implementaciones en este escrito generalizan algunos de los hechos más importantes acerca de codificaciones binarias que se han enunciado en la literatura, al caso general de alfabetos de tamaños arbitrarios. Finalmente, se presenta una aplicación de la compresión sin perdida al aprendizaje automático de máquina, para la clasificación del lenguaje natural, mediante la aplicación del algoritmo de codificación LZ77 para estimar algunas medidas de información bien conocidas en la literatura, las cuales se emplean como medida de distancia para comparar los lenguajes entre sí. El resultado de la clasificación es presentado en la forma de árboles filogenéticos del lenguaje natural
Abstract
The lossless compression problem consists in implementing the encoding (uniquely decodable) of an alphabet, which assigns to each string of symbols of the alphabet the shortest possible code length. Finding this smallest representation of data can save costs in storage space, data transfer time, or number of data processing operations within a computer. This makes lossless compression a reasonable goal in Computer Science and represents a significant challenge during the development of many technological solutions. Information theory, for its part, has established the necessary mathematical formalism for the study of quantitative measures of information such as Shannon entropy and has found its place within the implementation of lossless compression by providing some of the theoretical tools necessary for the study of models that describe data sources in coding theory. On the other hand, the close relationship that has been found between information theory and lossless compression theory has motivated many authors to devise ways to measure the information in them through file compression. This has resulted in interesting applications of lossless compression in machine learning, particularly in the classification of texts written in natural language or DNA strings. In this paper, a monographic review is presented about how information theory is applied to lossless compression. For this, some of the implementations of lossless compression in code theory and their respective analysis are presented. The proofs, graphs, algorithms, and implementations in this paper generalize some of the most important facts about binary encodings that have been stated in the literature, to the general case of alphabets of arbitrary sizes. Finally, an application of lossless compression to automatic machine learning is presented, for the classification of natural language, through the application of the LZ77 coding algorithm to estimate some information measures well known in the literature, which are used as a distance metric to compare the languages with each other. The result of the classification is presented in the form of phylogenetic trees of natural language
Palabras clave
Teoría de la información , Teoría de la codificación , Compresión de archivos , Entropía de Shannon , Aprendizaje automático de máquina , Codificación de Huffman , Procesamiento del lenguaje natural , Árboles filogenéticos del lenguaje natural , Principio de máxima entropía , Divergencia Kullback-Leibler , Procesos estocásticos , Contenido de información de Hartley
Keywords
Information theory , Coding theory , File compression , Machine learning , Shannon's entropy , Huffman coding , LZ77 , Natural language processing , Phylogenetic trees of natural language , Principle of maximum entropy , Kullback-Leibler divergence , Stochastic processes
