El Entrenamiento de una red neuronal de seguimiento de señales: un enfoque metaheurístico mediante optimización por enjambre de partículas
DOI:
https://doi.org/10.32870/recibe.v14i3.440Palabras clave:
Redes neuronales artificiales, optimización de enjambre de partículas, Backpropagation, Seguimiento de señales, aproximación de funciones, optimización metaheurísticaResumen
Este trabajo presenta una comparación entre dos métodos de entrenamiento de tipo forward propagation para la para la tarea de seguimiento de señales temporales, con el objetivo de ajustar sus parámetros sinápticos y la neurona intente aproximarse a una señal de referencia. Como alternativa al entrenamiento basado en el algoritmo de Backpropagation, que utiliza el descenso del gradiente para minimizar el error cuadrático medio (MSE), se implementa el algoritmo de Optimización por Enjambre de Partículas (PSO), una técnica de búsqueda global que opera sin necesidad de derivadas y realiza una exploración simultánea del espacio de solución. Para evaluar y comparar el desempeño de ambos métodos, se realizaron 30 ejecuciones para cada algoritmo. El rendimiento se midió con el MSE final, la tasa de éxito (definida como un MSE inferior a 0.005) y el tiempo de cómputo total. Adicionalmente, se analiza la superficie de solución generada por la red neuronal, representando la función de costo en términos de dos pesos seleccionados, lo cual permite ilustrar la presencia de múltiples óptimos locales y su impacto en la eficacia de cada algoritmo. Los resultados obtenidos demuestran que, aunque Backpropagation tiende a converger rápidamente, es susceptible a mínimos locales, mientras que PSO mostró mayor estabilidad frente a la topología no convexa de la superficie de solución, logrando convergencia hacia regiones de bajo error en la mayoría de los casos evaluados. Las observaciones realizadas permiten discutir las ventajas y limitaciones de cada enfoque en contextos donde las funciones objetivo son no diferenciables.Citas
Choromanska, A., Bena, M., LeCun, Y., & Arous, G. (2015). The loss surfaces of multilayer networks. Journal of Machine Learning Research, 38, 192–204.
Clerc, M., & Kennedy, J. (2002). The particle swarm – explosion, stability, and convergence in a multidimensional complex space. IEEE Transactions on Evolutionary Computation, 6(1), 58–73.
Eiben, A. E., & Smith, J. E. (2003). Introduction to evolutionary computing. Springer.
Engelbrecht, A. P. (2007). Computational intelligence: An introduction (2nd ed.). John Wiley & Sons.
Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT Press.
Hagan, M. T., Demuth, H. B., Beale, M. H., & De Jesús, O. (2014).Neural network design (2nd ed.). [Disponible en: http://hagan.okstate.edu/NNDesign.pdf]. Martin Hagan.
Hornik, K., Stinchcombe, M., & White, H. (1989). Multilayer feedforward networks are universal approximators. Neural Networks, 2(5), 359–366.
Kennedy, J., & Eberhart, R. (1995). Particle swarm optimization. Proceedings of ICNN’95 – International Conference on Neural Networks, 4, 1942–1948. https://doi.org/10.1109/ICNN.1995.488968
Ljung, L. (1999). System identification: Theory for the user (2nd ed.). Prentice Hall.
Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536.
Yudong, Z., & Lenan, W. (2015). A survey on swarm intelligence for training artificial neural network. International Journal of Machine Learning and Cybernetics, 6, 257–271.