Créditos ECTS Créditos ECTS: 6
Horas ECTS Criterios/Memorias Horas de Titorías: 1 Clase Expositiva: 30 Clase Interactiva: 20 Total: 51
Linguas de uso Castelán, Galego
Tipo: Materia Ordinaria Grao RD 1393/2007 - 822/2021
Departamentos: Electrónica e Computación
Áreas: Ciencia da Computación e Intelixencia Artificial
Centro Escola Técnica Superior de Enxeñaría
Convocatoria: Primeiro semestre
Docencia: Con docencia
Matrícula: Matriculable
O obxectivo desta materia consiste en dotar ao estudante da capacidade para identificar e aplicar adecuadamente as técnicas de aprendizaxe por reforzo máis apropiadas para abordar problemas de decisión secuencial en distintos dominios. Para iso, o estudante deberá comprender os fundamentos teóricos e prácticos dos modelos e algoritmos de aprendizaxe por reforzo, saber avaliar as súas fortalezas e limitacións, e determinar que enfoques son máis adecuados en función da natureza do contorno, a dispoñibilidade de modelos, a estrutura de recompensas e as restricións operativas do problema a resolver.
Tema 1. Introdución ao Aprendizaxe por Reforzo
Tema 2. Modelado do Contorno: Procesos de Decisión de Markov (MDP)
Tema 3. Funcións de Valor e Ecuacións de Bellman
Tema 4. O dilema da exploración e a explotación
Tema 5. Métodos baseados en funcións de valor
Tema 6. Aprendizaxe profunda en RL: Deep Q-Networks (DQN)
Tema 7. Métodos baseados en políticas
Bibliografía básica:
- Apuntes de aprendizaxe por reforzo. Proporcionaranse apuntes, elaborados polo profesorado, que cubren a totalidade dos temas da materia.
- Mohit Sewak. Deep Reinforcement Learning. Frontiers in Artificial Intelligence. Springer 2020.
- Richard S. Sutton e Andrew G. Barto. Reinforcement Learning: An Introduction. The MIT Press 2020.
Bibliografía complementaria:
- Alexander Zan e Brandon Brown. Deep Reinforcement Learning in Action. Manning 2020.
- Laura Graesser e Wah Loon Keng. Foundations of Deep Reinforcement Learning: Theory and Practice in Python. Addison Wesley 2020.
A materia contribúe ás seguintes competencias específicas:
- [CE23] Coñecer as clases fundamentais de problemas de aprendizaxe automático para a resolución de problemas de agrupamento, clasificación e predición.
- [CE24] Coñecer os fundamentos e principais técnicas do aprendizaxe automático, para ser capaz de crear novos modelos utilizando a metodoloxía de validación e presentación de resultados máis apropiada a cada problema.
- [CE25] Aprender os paradigmas e arquitecturas fundamentais de redes neuronais, en especial as redes profundas, sendo capaz de recoñecer as diferenzas principais entre estes paradigmas, a súa complexidade algorítmica e os contextos específicos de inserción como parte do deseño de sistemas intelixentes.
- [CE26] Capacidade para identificar a adecuación de cada unha das técnicas de aprendizaxe automático á resolución dun problema, incluíndo aspectos relacionados coa súa complexidade computacional ou a súa capacidade explicativa, de acordo cos requisitos establecidos.
Ademais, esta materia contribúe a conseguir as seguintes competencias recollidas na memoria do título de Grao en Intelixencia Artificial:
- Básicas: CB2, CB3, CB5
- Xerais: CG3, CG4, CG5
- Transversais: TR1, TR4, TR5
A metodoloxía de ensinanza está dirixida a focalizar a materia sobre os aspectos teóricos e prácticos do aprendizaxe por reforzo e en que se diferencian doutros tipos de aprendizaxe. Tendo isto en conta, distínguese entre dous tipos de actividades de aprendizaxe: clases teóricas e clases prácticas. Así:
- Clases teóricas. Impartiranse 30 horas de clases maxistrais en sesións de 1 hora. Están dirixidas a explicar os conceptos que soportan este paradigma de aprendizaxe.
- Clases prácticas. Impartiranse 20 horas de clases prácticas que se desenvolverán na aula de informática en 10 sesións de 2 horas e permitirán ao alumnado familiarizarse dende un punto de vista práctico coas cuestións expostas nas clases teóricas. A asistencia a estas clases por parte do alumnado é OBRIGATORIA.
Actividades formativas de carácter presencial e a súa relación coas competencias da titulación:
- Clases teóricas impartidas polo profesor e exposición de seminarios. Competencias traballadas: CE23, CE24, CE25, CE26, CG3, CG4.
- Clases prácticas de laboratorio, resolución de problemas e casos prácticos. Competencias traballadas: CE23, CE24, CE25, CE26, CB2, CB3, CB5, CG5, TR2, TR4, TR5.
Exame. Competencias traballadas: CE23, CE24, CE25, CE26, CG3, CG4, CG5.
Actividades formativas de carácter non presencial e a súa relación coas competencias da titulación:
- Trabalho persoal do alumno: consulta de bibliografía, estudo autónomo, desenvolvemento de actividades programadas, preparación de presentacións e traballos. Competencias traballadas: CE23, CE24, CE25, CE26, CG3, CG4, CG5, TR2, TR4, TR5.
OPORTUNIDADE ORDINARIA
- Prácticas: 40%
- Exame final: 60%
A avaliación do aprendizaxe basearase na realización efectiva dunha avaliación continua e un exame final. A asignatura constará dunha entrega de catro prácticas (2,5 puntos por práctica) acordes cos contidos da materia. Cada práctica deberá entregarse na data e forma especificadas, e a súa avaliación levarase a cabo mediante unha proba. Estas probas realizaranse, por xeral, na sesión seguinte á entrega.
Para superar a asignatura, e sempre que se cumpran os requisitos mínimos de asistencia, será necesario obter unha cualificación igual ou superior a 5 (sobre 10) tanto nas prácticas como no exame final.
OPORTUNIDADE EXTRAORDINARIA:
Sempre que se cumpran os requisitos mínimos de asistencia, poderán recuperarse as partes non superadas na convocatoria ordinaria —prácticas e exame final— mediante un exame.
CONDICIÓN DE NON PRESENTADO/A:
Aqueles alumnos/as que non sexan avaliados en ningún aspecto da materia. Ademais, o alumnado cun porcentaxe que non represente máis dun 10% da nota total máxima da materia tamén poderá optar á condición de Non Presentado, para o cal deberá informar ao profesor coordinador/a da asignatura.
ESTUDANTES REPETIDORES
Non se manteñen as avaliacións entre cursos.
CONTROL DE ASISTENCIA
A asistencia ás sesións de prácticas é obrigatoria. Se o alumno asiste a menos do 80% das sesións de prácticas, considerarase que non superou a materia.
No caso de realización fraudulenta de exercicios ou probas, aplicarase a Normativa de avaliación do rendemento académico dos estudantes e de revisión de cualificacións.
En aplicación da Normativa da ETSE sobre plaxio (aprobada pola Xunta da ETSE o 19/12/2019), a copia total ou parcial de algún exercicio de prácticas ou de teoría suporá o suspenso nas dúas oportunidades do curso, con a cualificación de 0,0 en ambos casos.
Traballo presencial na aula:
- Clases de teoría: 30 horas
- Clases prácticas: 20 horas
- Tutorías individuais: 1 hora
Total horas de traballo presencial na aula: 51 horas
Traballo persoal do alumnado (estudo, realización de exercicios, prácticas, proxectos) e outras actividades (avaliación non presencial): 99 horas
Debido á forte interrelación entre a parte teórica e a parte práctica, e á progresividade na presentación de conceptos moi relacionados entre si na parte teórica, é recomendable dedicar un tempo de estudo ou repaso diario.
Utilizarase o campus virtual da USC para toda a docencia, publicación de material, guións de prácticas e entregas de traballos.
O idioma preferente de impartición das clases expositivas e interactivas é o galego/castelán.
Manuel Lama Penin
Coordinador/a- Departamento
- Electrónica e Computación
- Área
- Ciencia da Computación e Intelixencia Artificial
- Teléfono
- 881816427
- Correo electrónico
- manuel.lama [at] usc.es
- Categoría
- Profesor/a: Catedrático/a de Universidade
Juan Carlos Vidal Aguiar
- Departamento
- Electrónica e Computación
- Área
- Ciencia da Computación e Intelixencia Artificial
- Teléfono
- 881816388
- Categoría
- Profesor/a: Titular de Universidade
Marcos Fernandez Pichel
- Departamento
- Electrónica e Computación
- Área
- Ciencia da Computación e Intelixencia Artificial
- Correo electrónico
- marcosfernandez.pichel [at] usc.es
- Categoría
- Profesor/a: Axudante Doutor LOSU
| Martes | |||
|---|---|---|---|
| 18:30-20:00 | Grupo /CLIL_02 | Galego | IA.S2 |
| Mércores | |||
| 17:30-18:30 | Grupo /CLE_01 | Galego | IA.01 |
| 18:30-20:00 | Grupo /CLIL_01 | Galego | IA.01 |
| Xoves | |||
| 15:30-17:00 | Grupo /CLE_01 | Galego | IA.01 |
| 08.01.2026 16:00-20:00 | Grupo /CLE_01 | IA.S1 |
| 08.01.2026 16:00-20:00 | Grupo /CLIL_02 | IA.S1 |
| 08.01.2026 16:00-20:00 | Grupo /CLIL_01 | IA.S1 |
| 17.06.2026 16:00-20:30 | Grupo /CLIL_01 | IA.01 |
| 17.06.2026 16:00-20:30 | Grupo /CLE_01 | IA.01 |
| 17.06.2026 16:00-20:30 | Grupo /CLIL_02 | IA.01 |