As redes neuronais artificiais con múltiples capas estanse convertendo nunha ferramenta fundamental na vida cotiá. Nos fundamentos destas técnicas atópanse conceptos moi próximos ás disciplinas da matemática aplicada e computacional entre as que mencionamos o cálculo, a teoría de aproximación, a optimización ou o álgebra lineal. Neste traballo o alumno tratará de introducirse no mundo da aprendizaxe profunda desde a perspectiva dun matemático [1], [2]. Buscarase resposta ás seguintes preguntas:

•  .¿Qué es una red neuronal?
•  .¿Cómo se entrena a una red neuronal?
•  .¿Qué es el algoritmo de la propagación inversa? 4.¿En qué consiste el método del gradiente estocástico?

Inicialmente ilustraranse estes conceptos con códigos Matlab sinxelos que permitan resolver problemas de interese aplicativo tales como o recoñecemento da escritura. En aplicacións máis esixentes desde o punto de vista computacional tales como a clasificación de imaxes, o alumno usará librerías existentes que permitan implementar estas técnicas así como outros programas de ser necesario.

Aínda que na maior parte das aplicacións as redes neuronais úsanse para a clasificación de información ou o recoñecemento de patróns, na actualidade tamén se suscita o seu uso para a creación de modelos matemáticos complexos. En efecto en [3] (ver tamén as referencias incluídas nesa publicación) proponse unha metodoloxía baseada en redes neuronais que permite resolver ecuaciones en derivadas parciais mediante a integración nun espazo latente de solucións de baixa dimensión que posteriormente se decodifica no espazo orixinal de solucións. Neste sentido, na parte final do proxecto e si o tempo permitíseo, o alumno abordará este tipo de aplicacións de gran utilidade cando se desexan modelar/simular fenómenos demasiado complexos para poder ser simulados con técnicas máis clásicas.

O presente proxecto abarca múltiples ramas da matemática e por conseguinte está relacionado con diversas materias obligatorias do Grado en Matemáticas da Universidade de Santiago de Compostela. Por poñer algún exemplo, a fase de aprendizaxe dunha rede neuronal necesita técnicas de optimización, abordadas en "Métodos numéricos en optimización e ecuaciones diferenciales", o uso e comprensión do método do gradiente estocástico require coñecementos adquiridos na materia "Probabilidade e estatística" e a implementación das propias redes neuronais necesita competencias en programación adquiridas progresivamente nas materias de "Informática", "Cálculo numérico nunha variable" e "Análise numérico matricial".

Cabo destacar que, aínda que na actualidade o departamento non desenvolve ningunha liña de investigación directamente relacionada coa aprendizaxe profunda, estas técnicas si son de interese para o departamento desde un punto de vista estratéxico. Ademais a parte final do proxecto, destinada a explorar a posibilidade de representar modelos complexos mediante redes neuronais, sería de gran utilidade para o Departamento de Matemática Aplicada con experiencia en modelización e simulación de procesos no ámbito da ingeniería.

Bibliografía inicial (puede estenderse de ser preciso):

[1] C. F. Higham, D. J. Higham. Deep Learning: An Introduction for Applied Mathematicians. SIAM Review, vol 61, N4 pp. 860-891 (2019).
[2] G. Strang. Linear Algebra and Learning from Data. Wesley-Cambridge Press, 2019, ISBN978-0-692196-38-0.
[3] J. López García, A. Rivero. Phase space learning with neural networks. arXiv.org > physics > arXiv:2006.12599
[4] R. Sun. Optimization for Deep Learning: theory and algorithms, arXiv.org > cs > arXiv:1912.08957
[5] Y. LeCun, Y. Bengio, G. Hinton. Deep learning, Nature 521 (2015), pp. 436- 444
[6] M. A. Nielsen. Neural Networks and Deep Learning. Determination press, 2015