Campañas de evaluación
Con el objetivo de publicar un catálogo de campañas de evaluación en el ámbito de TL, se ha realizado una recopilación exhaustiva de las campañas de evaluación más relevantes del sector, tanto nacionales como internacionales.
Para información más detallada del estudio desarrollado por Paolo Rosso, Francisco Rangel, Francisco Casacuberta y Carlos David Martínez, en el marco del cual que se ha realizado esta recopilación, puede consultar el apartado “Campañas de evaluación sobre infraestructuras lingüísticas”.
Las principales tareas identificadas se pueden agrupar en las siguientes categorías:
- Procesamiento del lenguaje Natural: Identificación de autores, perfilado de autores y de detección de plagio
- Procesamiento del lenguaje Natural: Análisis de sentimientos e identificación de emociones y de posicionamiento
- Procesamiento del lenguaje Natural: Otras tareas de PLN y lingüística computacional
- Traducción automática
- Sistemas conversacionales y reconocimiento del habla
La siguiente tabla resume las campañas y tareas principales de cada uno de los grupos mencionados:
|
Identificación de autores, perfilado de autores y de detección de plagio |
||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Identificación de autores | ||||||||||||||||||||||||
| Perfilado de autores | ||||||||||||||||||||||||
| Detección de plagio | ||||||||||||||||||||||||
|
Análisis de sentimientos e identificación de emociones y de posicionamiento |
||||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| Identificación de emociones | ||||||||||
| Análisis de sentimiento |
TASS 2013, TASS 2014, TASS 2015, TASS 2016, TASS 2017 SA Global Level |
|||||||||
|
TASS 2014, TASS 2015, TASS 2016, TASS 2017, TASS 2018 Aspect SA |
||||||||||
| Posicionamiento | ||||||||||
| Otras tareas de PLN y lingüística computacional | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Anotación | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Procesamiento de textos biomédicos | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Reconocimiento de entidades nombradas (Named Entity Recognition) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Reconocimiento | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Semántica, tareas sintácticas y segmentación | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Clasificación de textos |
Topic Classication |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Similitud textual | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Desambigüación lexicosemántica |
Lexical Sampling |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Tareas de traducción automática | ||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Pos-edición automática | ||||||||||||||||||||||||||||||
| Traducción en el dominio biomédico | ||||||||||||||||||||||||||||||
| Métricas de evaluación | ||||||||||||||||||||||||||||||
| Traducción automática en el dominio TIC | ||||||||||||||||||||||||||||||
| Estimación de calidad | ||||||||||||||||||||||||||||||
|
Traducción automática estadística y sistemas híbridos |
||||||||||||||||||||||||||||||
| Tareas de sistemas conversacionales y reconocimiento del habla | |||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Segmentación de audio | |||||||||||||||||||||||||||||
| Diarización multimodal | |||||||||||||||||||||||||||||
| Búsqueda en el habla | |||||||||||||||||||||||||||||
| Diarización de locutores | |||||||||||||||||||||||||||||
| Voz a texto | |||||||||||||||||||||||||||||
Para incluir nuevas campañas y tareas del ámbito de tecnologías del lenguaje al catálogo, se deberá remitir un mail a plantecnologiaslenguaje@mineco.es con asunto “Alta en Catálogo Campañas Evaluación TL”, rellenando la siguiente plantilla [PDF] [584.76 kB] con los metadatos principales de los que se disponga.