GAIT: A Geometric Approach to Information Theory = GAIT: Un Enfoque Geométrico a la Teoría de la Información
Abstract:
We advocate the use of a notion of entropy that reflects the relative abundances of the symbols in an alphabet, as well as the similarities between them. This concept was originally introduced in theoretical ecology to study the diversity of ecosystems. Based on this notion of entropy, we introduce geometry-aware counterparts for several concepts and theorems in information theory. Notably, our proposed divergence exhibits performance on par with state-of-the-art methods based on the Wasserstein distance, but enjoys a closed-form expression that can be computed efficiently. We demonstrate the versatility of our method via experiments on a broad range of domains: training generative models, computing image barycenters, approximating empirical measures and counting modes.
Resumen:
En este artículo promovemos el uso de una noción de entropía que refleje las abundancias relativas de los elementos de un alfabeto, así como las similitudes entre ellos. Este concepto fue originalmente presentado en ecología teórica para estudiar la diversidad de un ecosistema. Con base en esta noción de entropía, nosotros analizamos diversos conceptos y teoremas en teoría de la información, y presentamos versiones de sensibles a la geometría de estos. Notablemente, nuestra propuesta de una divergencia estadística presenta un desempeño a la par con respecto a métodos de estado del arte basados en la distancia de Wasserstein, pero cuenta con una expresión analítica que puede ser calculada de manera eficiente. Demostramos la versatilidad de nuestro método a través de experimentos en un amplio rango de tareas: entrenamiento de modelos generativos, cálculo de baricentros entre imágenes, aproximación de medidas empíricas y el conteo de modas.
Machine learning; Information theory; Geometry; Entropy; Generative models; Statistical divergence; Aprendizaje automático; Teoría de la información; Geometría; Entropía; Modelos generativos; Divergencia estadística
Fuente:
Biblioteca Virtual Banco de la República
Formatos de contenido:
Artículos
