ECTS credits ECTS credits: 6
ECTS Hours Rules/Memories Hours of tutorials: 1 Expository Class: 30 Interactive Classroom: 20 Total: 51
Use languages Spanish, Galician
Type: Ordinary Degree Subject RD 1393/2007 - 822/2021
Departments: Electronics and Computing
Areas: Computer Science and Artificial Intelligence
Center Higher Technical Engineering School
Call: First Semester
Teaching: With teaching
Enrolment: Enrollable
Esta materia persigue que el alumnado conozca la evolución del Procesamiento del Lenguaje Natural (PLN) y sus principios básicos, así como, la utilización e implementación de modelos estado del arte. Para ello, se definen los siguientes objetivos:
O1.- Entender la evolución del campo del Procesamiento del Lenguaje Natural (PLN).
O2.- Conocer y saber utilizar representaciones vectoriales clásicas (one-hot encoding y tf-idf), así como embeddings neuronales.
O3.- Entender la arquitectura de Transformers y el mecanismo de atención aplicados al PLN.
O4.- Saber aplicar modelos a diferentes casos de uso de minería de texto y búsqueda.
O5.- Saber entrenar (ajuste fino) de modelos de lenguaje pre-entrenados para diferentes subtareas.
La parte teórica de la asignatura se estructura en 3 bloques principales con sus respectivos temas:
Bloque 1.- Fundamentos de Modelos de Lenguaje:
Tema 0 - Introducción al Procesamiento del Lenguaje Natural (PLN). Se presentará una breve contextualización histórica de esta rama de la IA, así como de las dificultades y retos de esta tarea.
Tema 1 - Introducción a modelos de lenguaje. Explicación del funcionamiento de modelos clásicos (one-hot encoding y representaciones tf-idf), así como, de modelos más avanzados basados en embeddings.
Tema 2 - Transformers y mecanismo de atención. Explicación detallada del funcionamiento de los Transformers para el caso de uso de PLN.
Bloque 2.- Utilización de Modelos Pre-Entrenados:
Tema 3 - Aplicaciones de minería de textos. Utilización de modelos de lenguaje pre-entrenados para diferentes tareas de minería de textos: clasificación, clustering, prompt engineering, etc.
Tema 4 - Búsqueda semántica y Retrieval Augmented Generation (RAG). Modelos generativos pre-entrenados junto con tareas de búsqueda.
Bloque 3.- Ajuste Fino de Modelos de Lenguaje:
Tema 5 - Fine-tuning de Modelos de Lenguaje. Estrategias de entrenamiento (ajuste fino) de modelos de lenguaje para diferentes subtareas.
En cuanto a la parte práctica, consistirá en los siguientes entregables:
Entregable 1: Práctica de clasificación. Aproximadamente 2 sesiones de prácticas.
Entregable 2: Implementación de Transformers con Pytorch. Aproximadamente 1 sesión.
Entregable 3: Práctica de búsqueda. Aproximadamente 2 sesiones.
Entregable 4: Shared-task por equipos. Aproximadamente 4 sesiones + 1 sesión para presentación de soluciones.
Básica: Alammar, J., & Grootendorst, M. (2024). Hands-on large language models: language understanding and generation. " O'Reilly Media, Inc.".
Complementaria: Tunstall, L., Von Werra, L., & Wolf, T. (2022). Natural language processing with transformers. " O'Reilly Media, Inc.".
Complementaria: Lin, J., Nogueira, R., & Yates, A. (2022). Pretrained transformers for text ranking: Bert and beyond. Springer Nature.
Complementaria: Rao, D., & McMahan, B. (2019). Natural Language Processing with PyTorch: Building Intelligent Language Applications Using Deep Learning. "O'Reilly Media, Inc.".
De la memoria del título, se deriva que al finalizar esta asignatura el alumnado cubriría las siguientes competencias:
CG4 - Capacidad para seleccionar y justificar los métodos y técnicas adecuadas para resolver un problema concreto, o para desarrollar y proponer nuevos métodos basados en inteligencia artificial.
CB1 - Que los estudiantes hayan demostrado poseer y comprender conocimientos en un área de estudio que parte de la base de la educación secundaria general, y se suele encontrar a un nivel que, si bien se apoya en libros de texto avanzados, incluye también algunos aspectos que implican conocimientos procedentes de la vanguardia de su campo de estudio
CB4 - Que los estudiantes puedan transmitir información, ideas, problemas y soluciones a un público tanto especializado como no especializado.
Clases expositivas:
Se llevarán a cabo en el aula de teoría y en ellas el profesorado le dará a los/as alumnos/as las directrices necesarias para la resolución de las prácticas propuestas en la asignatura. Para ello, el profesorado se apoyará en diapositivas que fomenten la discusión grupal.
Clases interactivas:
Se llevarán a cabo en las aulas de informática y laboratorio. Las prácticas serán tanto individuales como grupales. Se valorará el grado de creatividad en las soluciones presentadas por el alumnado.
Tutorías:
Asimismo, en las tutorías se atenderá al alumnado para discutir, comentar, aclarar o resolver cuestiones concretas en relación con sus tareas dentro de la asignatura. Estas tutorías podrán ser tanto presenciales como virtuales a través de la plataforma Ms Teams. Por último, cabe mencionar que esta materia dispondrá de un curso virtual en el Campus virtual de la USC, usando además la herramienta colaborativa Ms Teams.
Primera oportunidad y no presentado
Los pesos para la evaluación de la nota final se reparten del siguiente modo:
Examen final: 40% de la nota final de la asignatura. Se necesita sacar un 5 sobre 10 como mínimo para superar la asignatura.
Prácticas: 50% de la nota final de la asignatura. Se necesita sacar un 5 sobre 10 como mínimo para superar la asignatura. La valoración de los entregables se divide del siguiente modo:
Entregable 1 y 3: 2 puntos cada uno.
Entregable 2: 1 punto.
Entregable 4: 5 puntos.
Ninguno de los entregables se considera obligatorio, pero como se indicó anteriormente, el alumno debe llegar a 5 puntos para superar la parte práctica.
Trabajos: 10% de la nota final de la asignatura. En esta parte no es necesaria nota mínima y la valoración se corresponderá con una presentación asociada a la solución presentada en el entregable 4.
Además, la asistencia a prácticas es obligatoria y cada falta no justificada debidamente, se descontarán 0,5 puntos en la nota final de la parte práctica. Para obtener un no presentado, el/la alumno/a no podrá presentar ningún elemento evaluable de la asignatura.
En caso de no superar la asignatura, la nota en actas se corresponderá con la nota de la parte no superada.
Segunda oportunidad y repetidores
El alumnado que concurra a la segunda oportunidad y tenga alguna de las partes aprobadas en primera convocatoria, se le guardará la nota recuperando lo que tenga pendiente. Si la parte pendiente es la de prácticas, se propondrá una práctica de recuperación. La calificación correspondiente al trabajo de la asignatura no es recuperable en la 2ª oportunidad.
En el caso de los/as repetidores/as, no se conservará ninguna nota.
Normativa de copia
Para los casos de realización fraudulenta de ejercicios o pruebas será de aplicación lo recogido en la Normativa de evaluación del rendimiento académico de los/as estudiantes y de revisión de calificaciones.
Esta materia consta de 6 créditos ECTS, correspondiendo a una carga de trabajo total de 150 horas. Este tiempo se puede desagregar en los siguientes apartados:
TRABAJO PRESENCIAL EN EL AULA:
*Clases magistrales: 30 horas
*Sesiones prácticas en grupos reducidos: 20 horas
*Tutorías en grupos reducidos: 1 horas
*Actividades de evaluación: 4 horas
Total horas trabajo presencial en el aula: 55 horas
TRABAJO PERSONAL DEL ALUMNADO:
* Estudio autónomo: 21 horas
* Resolución de casos prácticos/ejercicios, lecturas u otros trabajos: 55 horas
* Preparación trabajos: 3 horas
* Preparación exámenes: 20 horas
Total horas trabajo personal: 99 horas
Se recomienda haber cursado las asignaturas de Aprendizaje Automático Supervisado, Aprendizaje Automático no Supervisado, Redes Neuronales y Aprendizaje Profundo, Psicología Cognitiva, Neurofisiología, Neurociencia Cognitiva y Afectiva.
La materia se impartirá fundamentalmente en castellano. Todos los avisos oficiales se transmitirán a través del Campus Virtual.
Marcos Fernandez Pichel
Coordinador/a- Department
- Electronics and Computing
- Area
- Computer Science and Artificial Intelligence
- marcosfernandez.pichel [at] usc.es
- Category
- Professor: Intern Assistant LOSU
Juan Luis Filgueiras Rilo
- Department
- Electronics and Computing
- Area
- Computer Science and Artificial Intelligence
- juanluis.filgueiras [at] rai.usc.gal
- Category
- Xunta Pre-doctoral Contract
| Tuesday | |||
|---|---|---|---|
| 15:30-16:30 | Grupo /CLE_01 | Spanish | IA.01 |
| Wednesday | |||
| 09:00-11:00 | Grupo /CLIL_01 | Spanish | IA.14 |
| 11:00-13:00 | Grupo /CLIL_02 | Spanish | IA.14 |
| Thursday | |||
| 19:00-20:00 | Grupo /CLE_01 | Spanish | IA.01 |
| 01.19.2026 16:00-20:00 | Grupo /CLE_01 | IA.01 |
| 01.19.2026 16:00-20:00 | Grupo /CLIL_02 | IA.01 |
| 01.19.2026 16:00-20:00 | Grupo /CLIL_01 | IA.01 |
| 06.19.2026 09:30-14:00 | Grupo /CLE_01 | IA.11 |
| 06.19.2026 09:30-14:00 | Grupo /CLIL_02 | IA.11 |
| 06.19.2026 09:30-14:00 | Grupo /CLIL_01 | IA.11 |