IberEval 2017 - Classification Of Spanish Election Tweets (COSET)

Campaña



Nombre de la campaña	Ibereval 2017 @ SEPLN
Nombre de la tarea	Classification Of Spanish Election Tweets (COSET)
Tipo de tarea	Clasificación de tweets.
Descripción de la tarea	El objetivo es clasificar un corpus de tweets políticos en 5 categorías: cuestiones políticas, cuestiones policiales, cuestiones personales, cuestiones de campaña y otras cuestiones.
Categoría de la tarea	Procesamiento del lenguaje natural
Fecha evento / edición	2017 - http://mediaflows.es/coset/
Organizadores	Maite Giménez, Universitat Politècnica de València, España Tomás Baviera, Valencian International University, España Germán Llorca, Universitat de València, España José Gámir, Universitat de València, España Dafne Calvo, Universidad de Valladolid, España Paolo Rosso, Universitat Politècnica de València, España Francisco Rangel, Autoritas, España
Grupos destinatarios	Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Ha participado el Spanish National Cancer Research Center.
Elegibilidad	Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).
Calendario	20/03/ 2017: Publicación de los datos de entrenamiento 24/04/2017: Publicación de datos de prueba 08/05/2017 :Envío de ejecuciones 15/05/2017: Resultados de la evaluación 29/05/2017: Envío de artículos 12/06/2017: Reseña a los autores 26/062017: Artículo final 19/09/2017: IberEval en la SEPLN
Número de participantes	17
Número de participantes de España	14
Dominio	Tweets relacionados con las elecciones en España
Idiomas	Español

Nombre de la campaña
- Ibereval 2017 @ SEPLN
Nombre de la tarea
- Classification Of Spanish Election Tweets (COSET)
Tipo de tarea
- Clasificación de tweets.
Descripción de la tarea
- El objetivo es clasificar un corpus de tweets políticos en 5 categorías: cuestiones políticas, cuestiones policiales, cuestiones personales, cuestiones de campaña y otras cuestiones.
Categoría de la tarea
- Procesamiento del lenguaje natural
Fecha evento / edición
- 2017 - http://mediaflows.es/coset/
Organizadores
- - Maite Giménez, Universitat Politècnica de València, España
  - Tomás Baviera, Valencian International University, España
  - Germán Llorca, Universitat de València, España
  - José Gámir, Universitat de València, España
  - Dafne Calvo, Universidad de Valladolid, España
  - Paolo Rosso, Universitat Politècnica de València, España
  - Francisco Rangel, Autoritas, España
Grupos destinatarios
- Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Ha participado el Spanish National Cancer Research Center.
Elegibilidad
- Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).
Calendario
- - 20/03/ 2017: Publicación de los datos de entrenamiento
  - 24/04/2017: Publicación de datos de prueba
  - 08/05/2017 :Envío de ejecuciones
  - 15/05/2017: Resultados de la evaluación
  - 29/05/2017: Envío de artículos
  - 12/06/2017: Reseña a los autores
  - 26/062017: Artículo final
  - 19/09/2017: IberEval en la SEPLN
Número de participantes
- 17
Número de participantes de España
- 14
Dominio
- Tweets relacionados con las elecciones en España
Idiomas
- Español

Datos



Datos de entrenamiento	Distribuido como CSV
Derecho de redistribución de datos	Sólo para investigación
Enlace a datasets	http://mediaflows.es/coset/ (15,8 millones de tweets)

Datos de entrenamiento
- Distribuido como CSV
Derecho de redistribución de datos
- Sólo para investigación
Enlace a datasets
- http://mediaflows.es/coset/ (15,8 millones de tweets)

Resultados



Métrica de evaluación	Macro F1
Rendimiento	0,65
Disponibilidad del código	No
Tipo de ejecución	Local
Número total de resultados enviados	39
Resultados con los rankings	Aaite Giménez, Tomás Baviera, Germán Llorca, José Gámir, Dafne Calvo, Paolo Rosso, Francisco Rangel. Overview of the 1st Classification of Spanish Election Tweets Task at IberEval 2017. Proceedings of the Second Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2017), Raquel Martínez, Julio Gonzalo, Paolo Rosso, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol. 1881, ceur-ws.org, pp. 1-14, co-located with 33th Conference of the Spanish Society for Natural Language Processing (SEPLN 2017), Murcia, Spain, September 19, 2017. http://ceur-ws.org/Vol-1881/Overview2.pdf [PDF]
Volumen de publicación	Vol. 1881, ceur-ws.org
Gestión web de usuarios	Sí
Atención a participantes	Email Google group

Métrica de evaluación
- Macro F1
Rendimiento
- 0,65
Disponibilidad del código
- No
Tipo de ejecución
- Local
Número total de resultados enviados
- 39
Resultados con los rankings
- Aaite Giménez, Tomás Baviera, Germán Llorca, José Gámir, Dafne Calvo, Paolo Rosso, Francisco Rangel. Overview of the 1st Classification of Spanish Election Tweets Task at IberEval 2017. Proceedings of the Second Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2017), Raquel Martínez, Julio Gonzalo, Paolo Rosso, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol. 1881, ceur-ws.org, pp. 1-14, co-located with 33th Conference of the Spanish Society for Natural Language Processing (SEPLN 2017), Murcia, Spain, September 19, 2017.
  
  http://ceur-ws.org/Vol-1881/Overview2.pdf [PDF]
Volumen de publicación
- Vol. 1881, ceur-ws.org
Gestión web de usuarios
- Sí
Atención a participantes
- Email
  
  Google group