Créditos ECTS Créditos ECTS: 6
Horas ECTS Criterios/Memorias Horas de Tutorías: 1 Clase Expositiva: 30 Clase Interactiva: 20 Total: 51
Lenguas de uso Castellano, Gallego
Tipo: Materia Ordinaria Grado RD 1393/2007 - 822/2021
Departamentos: Electrónica y Computación
Áreas: Ciencia de la Computación e Inteligencia Artificial
Centro Escuela Técnica Superior de Ingeniería
Convocatoria: Primer semestre
Docencia: Con docencia
Matrícula: Matriculable
El objetivo de esta materia consiste en dotar al estudiante de la capacidad para identificar y aplicar adecuadamente las técnicas de aprendizaje por refuerzo más apropiadas para abordar problemas de decisión secuencial en distintos dominios. Para ello, el estudiante deberá comprender los fundamentos teóricos y prácticos de los modelos y algoritmos de aprendizaje por refuerzo, saber evaluar sus fortalezas y limitaciones, y determinar qué enfoques son más adecuados en función de la naturaleza del entorno, la disponibilidad de modelos, la estructura de recompensas y las restricciones operativas del problema a resolver.
Tema 1. Introducción al Aprendizaje por Refuerzo
Tema 2. Modelado del Entorno: Procesos de Decisión de Markov (MDP)
Tema 3. Funciones de Valor y Ecuaciones de Bellman
Tema 4. El dilema de la exploración y la explotación
Tema 5. Métodos basados en funciones de valor
Tema 6. Aprendizaje profundo en RL: Deep Q-Networks (DQN)
Tema 7. Métodos basados en políticas
Bibliografía básica:
- Apuntes de aprendizaje por refuerzo. Se proporcionan apuntes, elaborados por el profesorado, que cubren la totalidad de los temas de la materia.
- Mohit Sewak. Deep Reinforcement Learning. Frontiers in Artificial Intelligence. Springer 2020.
- Richard S. Sutton and Andrew G. Barto. Reinforcement Learning: An Introduction. The MIT Press 2020.
Bibliografía complementaria:
- Alexander Zan and Brandon Brown. Deep Reinforcement Learning in Action. Manning 2020.
- Laura Graesser and Wah Loon Keng. Foundations of Deep Reinforcement Learning: Theory and Practice in Python. Addison Wesley 2020.
La materia contribuye a las siguientes competencias específicas:
- [CE23] Conocer las clases fundamentales de problemas de aprendizaje automático para la resolución de problemas de agrupamiento, clasificación y predicción.
- [CE24] Conocer los fundamentos y principales técnicas del aprendizaje automático, para ser capaz de crear nuevos modelos utilizando la metodología de validación y presentación de resultados más apropiada a cada problema.
- [CE25] Aprender los paradigmas y arquitecturas fundamentales de redes neuronales, en especial las redes profundas, siendo capaz de reconocer las diferencias principales entre estos paradigmas, su complejidad algorítmica y los contextos específicos de inserción como parte del diseño de sistemas inteligentes.
- [CE26] Capacidad para identificar la adecuación de cada una de las técnicas de aprendizaje automático a la resolución de un problema, incluyendo aspectos relacionados con su complejidad computacional o su capacidad explicativa, de acuerdo con los requisitos establecidos.
Además, esta materia contribuye a conseguir las siguientes competencias recogidas en la memoria del título de Grado en Inteligencia Artificial:
- Básicas: CB2, CB3, CB5
- Generales: CG3, CG4, CG5
- Transversales: TR1, TR4, TR5
La metodología de enseñanza está dirigida a focalizar la materia sobre los aspectos teóricos y prácticos del aprendizaje por refuerzo y en qué se diferencian de otros tipos de aprendizaje. Teniendo esto en cuenta, se distinguen dos tipos de actividades de aprendizaje: clases teóricas y clases prácticas. Así:
- Clases teóricas. Se impartirán 30 horas de clases magistrales en sesiones de 1 hora. Están dirigidas a explicar los conceptos que soportan este paradigma de aprendizaje.
- Clases prácticas. Se impartirán 20 horas de clases prácticas que se desarrollarán en el aula de informática en 10 sesiones de 2 horas y permitirán al alumnado familiarizarse desde un punto de vista práctico con las cuestiones expuestas en las clases teóricas. La asistencia a estas clases por parte del alumnado es OBLIGATORIA.
Actividades formativas de carácter presencial y su relación con las competencias de la titulación:
- Clases teóricas impartidas por el profesor y exposición de seminarios. Competencias trabajadas: CE23, CE24, CE25, CE26, CG3, CG4.
- Clases prácticas de laboratorio, resolución de problemas y casos prácticos. Competencias trabajadas: CE23, CE24, CE25, CE26, CB2, CB3, CB5, CG5, TR2, TR4, TR5.
- Examen. Competencias trabajadas: CE23, CE24, CE25, CE26, CG3, CG4, CG5.
Actividades formativas de carácter no presencial y su relación con las competencias de la titulación:
- Trabajo personal del alumno: consulta de bibliografía, estudio autónomo, desarrollo de actividades programadas, preparación de presentaciones y trabajos. Competencias trabajadas: CE23, CE24, CE25, CE26, CG3, CG4, CG5, TR2, TR4, TR5.
OPORTUNIDAD ORDINARIA
Prácticas: 40%
Examen final: 60%
La evaluación del aprendizaje se basará en la realización efectiva de una evaluación continua y un examen final. La asignatura constará de una entrega de cuatro prácticas (2,5 puntos por práctica) acordes con los contenidos de la materia. Cada práctica deberá entregarse en la fecha y forma especificadas, y su evaluación se llevará a cabo mediante una prueba. Estas pruebas se realizarán, por lo general, en la sesión siguiente a la entrega.
Para superar la asignatura, y siempre que se hayan cumplido los requisitos mínimos de asistencia, será necesario obtener una calificación igual o superior a 5 (sobre 10) tanto en las prácticas como en el examen final.
OPORTUNIDAD EXTRAORDINARIA
- Siempre que se hayan cumplido los requisitos mínimos de asistencia, podrán recuperarse las partes no superadas en la convocatoria ordinaria —prácticas y examen final— mediante un examen.
Condición de No Presentado/a:
- Aquellos alumnos/as que no haya sido evaluado en ningún aspecto de la materia. Además, el alumnado con un porcentaje que no represente más de un 10% de la nota total máxima de la materia también podrá optar a la condición de No Presentado, para lo cual deberá informar al profesor coordinador/a de la asignatura.
ESTUDIANTES REPETIDORES
- No se mantienen las evaluaciones entre cursos.
CONTROL DE ASISTENCIA
- La asistencia a las sesiones de prácticas es obligatoria. Si el alumno asiste a menos del 80% de las sesiones de prácticas, se considerará que no ha superado la materia.
En el caso de realización fraudulenta de ejercicios o pruebas, se aplicará la Normativa de evaluación del rendimiento académico de los estudiantes y de revisión de cualificaciones.
En aplicación de la Normativa da ETSE sobre plagio (aprobada por la Xunta de la ETSE el 19/12/2019), la copia total o parcial de algún ejercicio de prácticas o de teoría supondrá el suspenso en las dos oportunidades del curso, con la calificación de 0,0 en ambos casos.
Trabajo presencial en el aula:
- Clases de teoría: 30 horas
- Clases prácticas: 20 horas
- Tutorías individuales: 1 hora
Total horas de trabajo presencial en el aula: 51 horas
Trabajo personal del alumnado (estudio, realización de ejercicios, prácticas, proyectos) y otras actividades
(evaluación no presencial): 99 horas
Debido a la fuerte interrelación entre la parte teórica y la parte práctica, y a la progresividad en la presentación de conceptos muy relacionados entre sí en la parte teórica, es recomendable dedicar un tiempo de estudio o repaso diario.
Se utilizará el campus virtual de la USC para toda la docencia, publicación de material, guiones de prácticas y entregas de trabajos.
El idioma preferente de impartición de las clases expositivas e interactivas es el castellano.
Manuel Lama Penin
Coordinador/a- Departamento
- Electrónica y Computación
- Área
- Ciencia de la Computación e Inteligencia Artificial
- Teléfono
- 881816427
- Correo electrónico
- manuel.lama [at] usc.es
- Categoría
- Profesor/a: Catedrático/a de Universidad
Juan Carlos Vidal Aguiar
- Departamento
- Electrónica y Computación
- Área
- Ciencia de la Computación e Inteligencia Artificial
- Teléfono
- 881816388
- Categoría
- Profesor/a: Titular de Universidad
Marcos Fernandez Pichel
- Departamento
- Electrónica y Computación
- Área
- Ciencia de la Computación e Inteligencia Artificial
- Correo electrónico
- marcosfernandez.pichel [at] usc.es
- Categoría
- Profesor/a: Ayudante Doutor LOSU
| Martes | |||
|---|---|---|---|
| 18:30-20:00 | Grupo /CLIL_02 | Gallego | IA.S2 |
| Miércoles | |||
| 17:30-18:30 | Grupo /CLE_01 | Gallego | IA.01 |
| 18:30-20:00 | Grupo /CLIL_01 | Gallego | IA.01 |
| Jueves | |||
| 15:30-17:00 | Grupo /CLE_01 | Gallego | IA.01 |
| 08.01.2026 16:00-20:00 | Grupo /CLIL_02 | IA.S1 |
| 08.01.2026 16:00-20:00 | Grupo /CLIL_01 | IA.S1 |
| 08.01.2026 16:00-20:00 | Grupo /CLE_01 | IA.S1 |
| 17.06.2026 16:00-20:30 | Grupo /CLE_01 | IA.01 |
| 17.06.2026 16:00-20:30 | Grupo /CLIL_02 | IA.01 |
| 17.06.2026 16:00-20:30 | Grupo /CLIL_01 | IA.01 |