Semseval 2018 - Affect in Tweets

Campaña

Nombre de la campaña

SemEval-2018: 12th International Workshop on Semantic Evaluation

Nombre de la tarea

Task 1: Affect in Tweets 

Tipo de tarea
  • emotion intensity regression task
  • emotion intensity ordinal classification task
  • sentiment intensity regression task
  • sentiment analysis, ordinal classification, task
  • emotion classification task
tarea

En esta tarea, los sistemas tienen que determinar automáticamente la intensidad de las emociones y la intensidad de los sentimientos de los tweeters a partir de sus tweets. Además, se incluye una tarea de clasificación de múltiples clases. 

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

2018

Organizadores
  • Saif M. Mohammad, National Research Council, Canadá
  • Felipe Bravo-Marquez, The University of Waikato, Canadá
  • Mohammad Salameh, Carnegie Mellon University, Catar
  • Svetlana Kiritchenko, National Research Council, Canadá
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: SAS Institute, Bloomberg y psyML (EE.UU.); VISR (Canadá); Microsoft Research Asia (China); Amobee (Israel); TCS Research (India); Gwangju Institute of Science and Technology (Korea). 

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 25/09/2017: Datos de entrenamiento disponibles.
  • 08/01/2018: Período de evaluación
  • 28/01/2018: Finaliza el período de evaluación
  • 05/02/2018: Resultados publicados
  • 05/03/2018: Fecha límite para el envío de artículos
  • 02/04/2018: Notificaciones
  • 16/04/2018: Artículos finales
Número de participantes

75

Número de participantes de España

3

Dominio Tweets generales  
Idiomas

Español, inglés, y árabe

Datos

Datos de entrenamiento

Distribuido como CSV.

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

https://competitions.codalab.org/competitions/17751#learn_the_details-datasets

Resultados

Métrica de evaluación

Coeficiente de correlación de Pearson con etiquetas de referencia.

Para la última tarea: Macro-F1

Rendimiento
  • Task1: 73.5%
  • Task2: 66%
  • Task3: 79.5%
  • Task4: 76.5%
  • Task5: 40.7%
Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

319

Resultados con los rankings

Saif M. Mohammad, Felipe Bravo-Marquez, Mohammad Salameh, and Svetlana Kiritchenko. Semeval-2018 Task 1: Affect in Tweets. Proceedings of the 12th International Workshop on Semantic Evaluation (SemEval-2018), June 2018, New Orleans, Louisiana, June 5–6, 2018

http://saifmohammad.com/WebDocs/semeval2018-task1.pdf

Volumen de publicación

Proceedings of The 12th International Workshop on Semantic Evaluation. Association for Computational Linguistics.

Gestión web de usuarios

Atención a participantes

Email y Google group