Por:
Lina del Pilar; Gautrais Bonilla Camelo
|
Fecha:
2022
Abstract:
Spiking neural networks (SNNs) using time-to-first-spike (TTFS) codes, in which neurons fire at most once, are appealing for rapid and low power processing. In this theoretical paper, we focus on information coding and decoding in those networks, and introduce a new unifying mathematical framework that allows the comparison of various coding schemes. In an early proposal, called rankorder coding (ROC), neurons are maximally activated when inputs arrive in the order of their synaptic weights, thanks to a shunting inhibition mechanism that progressively desensitizes the neurons as spikes arrive. In another proposal, called NoM coding, only the first N spikes of M input neurons are propagated, and these ``first spike patterns'' can be readout by downstream neurons with homogeneous weights and no desensitization: as a result, the exact order between the first spikes does not matter. This paper also introduces a third option - ""Ranked-NoM"" (R-NoM), which combines features from both ROC and NoM coding schemes: only the first N input spikes are propagated, but their order is readout by downstream neurons thanks to inhomogeneous weights and linear desensitization. The unifying mathematical framework allows the three codes to be compared in terms of discriminability, which measures to what extent a neuron responds more strongly to its preferred input spike pattern than to random patterns. This discriminability turns out to be much higher for RNoM than for the other codes, especially in the early phase of the responses. We also argue that RNoM is much more hardware-friendly than the original ROC proposal, although NoM remains the easiest to implement in hardware because it only requires binary synapses.
Resumen:
Las redes neuronales de picos o potenciales de acciôn (SNN) que utilizan códigos de tiempo hasta el primer pico (TTFS), en los que las neuronas se disparan una vez como máximo, son atractivas para un procesamiento rápido y de baja potencia. En este artículo teórico, nos enfocamos en la codificación y decodificación de información en esas redes, e introducimos un nuevo marco matemático unificador que permite la comparación de varios esquemas de codificación. En una propuesta inicial, llamada codificación por orden de rango (ROC), las neuronas se activan al máximo cuando las entradas llegan en el orden de sus pesos sinápticos, gracias a un mecanismo de inhibición de derivación que insensibiliza progresivamente las neuronas a medida que llegan los picos. En otra propuesta, denominada codificación NoM, solo se propagan los primeros N picos de las M neuronas de entrada, y estos ""primeros patrones de picos"" pueden ser leídos por las ""downstream neurons"" con pesos homogéneos y sin desensibilización: como resultado, el orden exacto entre los primeros picos no importa. Este documento también presenta una tercera opción: ""Ranked-NoM"" (R-NoM), que combina características de los esquemas de codificación ROC y NoM: solo se propagan los primeros picos de entrada N, pero las neuronas posteriores leen su orden gracias a pesos no homogéneos y desensibilización lineal. El marco matemático unificador permite comparar los tres códigos en términos de discriminabilidad, que mide en qué medida una neurona responde con más fuerza a su patrón de picos de entrada preferido que a patrones aleatorios. Esta discriminabilidad resulta ser mucho mayor para R-NoM que para los otros códigos, especialmente en la fase temprana de las respuestas. También argumentamos que R-NoM es mucho más compatible con el hardware que la propuesta ROC original, aunque NoM sigue siendo el más fácil de implementar en hardware porque solo requiere sinapsis binarias.
