Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

Semseval 2018 - Affect in Tweets

Campaña

Nombre de la campaña

Nombre de la tarea

Task 1: Affect in Tweets

Tipo de tarea
  • emotion intensity regression task
  • emotion intensity ordinal classification task
  • sentiment intensity regression task
  • sentiment analysis, ordinal classification, task
  • emotion classification task

Descripción de la tarea

En esta tarea, los sistemas tienen que determinar automáticamente la intensidad de las emociones y la intensidad de los sentimientos de los tweeters a partir de sus tweets. Además, se incluye una tarea de clasificación de múltiples clases.

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

Organizadores
  • Saif M. Mohammad, National Research Council, Canadá
  • Felipe Bravo-Marquez, The University of Waikato, Canadá
  • Mohammad Salameh, Carnegie Mellon University, Catar
  • Svetlana Kiritchenko, National Research Council, Canadá

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: SAS Institute, Bloomberg y psyML (EE.UU.); VISR (Canadá); Microsoft Research Asia (China); Amobee (Israel); TCS Research (India); Gwangju Institute of Science and Technology (Korea).

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).

Calendario
  • 25/09/2017: Datos de entrenamiento disponibles.
  • 08/01/2018: Período de evaluación
  • 28/01/2018: Finaliza el período de evaluación
  • 05/02/2018: Resultados publicados
  • 05/03/2018: Fecha límite para el envío de artículos
  • 02/04/2018: Notificaciones
  • 16/04/2018: Artículos finales

Número de participantes

75

Número de participantes de España

3

Dominio

Tweets generales 

Idiomas

Español, inglés, y árabe

  • Nombre de la campaña

  • Nombre de la tarea

    • Task 1: Affect in Tweets

  • Tipo de tarea

      • emotion intensity regression task
      • emotion intensity ordinal classification task
      • sentiment intensity regression task
      • sentiment analysis, ordinal classification, task
      • emotion classification task

  • Descripción de la tarea

    • En esta tarea, los sistemas tienen que determinar automáticamente la intensidad de las emociones y la intensidad de los sentimientos de los tweeters a partir de sus tweets. Además, se incluye una tarea de clasificación de múltiples clases.

  • Categoría de la tarea

    • Procesamiento del lenguaje natural

  • Fecha evento / edición

  • Organizadores

      • Saif M. Mohammad, National Research Council, Canadá
      • Felipe Bravo-Marquez, The University of Waikato, Canadá
      • Mohammad Salameh, Carnegie Mellon University, Catar
      • Svetlana Kiritchenko, National Research Council, Canadá

  • Grupos destinatarios

    • Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: SAS Institute, Bloomberg y psyML (EE.UU.); VISR (Canadá); Microsoft Research Asia (China); Amobee (Israel); TCS Research (India); Gwangju Institute of Science and Technology (Korea).

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).

  • Calendario

      • 25/09/2017: Datos de entrenamiento disponibles.
      • 08/01/2018: Período de evaluación
      • 28/01/2018: Finaliza el período de evaluación
      • 05/02/2018: Resultados publicados
      • 05/03/2018: Fecha límite para el envío de artículos
      • 02/04/2018: Notificaciones
      • 16/04/2018: Artículos finales

  • Número de participantes

    • 75

  • Número de participantes de España

    • 3

  • Dominio

    • Tweets generales 

  • Idiomas

    • Español, inglés, y árabe

Datos

Datos de entrenamiento

Distribuido como CSV.

Derecho de redistribución de datos
Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación

Coeficiente de correlación de Pearson con etiquetas de referencia.

Para la última tarea: Macro-F1

Rendimiento
  • Task1: 73.5%
  • Task2: 66%
  • Task3: 79.5%
  • Task4: 76.5%
  • Task5: 40.7%

Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

319

Resultados con los rankings

Saif M. Mohammad, Felipe Bravo-Marquez, Mohammad Salameh, and Svetlana Kiritchenko. Semeval-2018 Task 1: Affect in Tweets. Proceedings of the 12th International Workshop on Semantic Evaluation (SemEval-2018), June 2018, New Orleans, Louisiana, June 5–6, 2018

http://saifmohammad.com/WebDocs/semeval2018-task1.pdf

Volumen de publicación

Proceedings of The 12th International Workshop on Semantic Evaluation. Association for Computational Linguistics.

Gestión web de usuarios

Sí

Atención a participantes

Email y Google group

  • Métrica de evaluación

    • Coeficiente de correlación de Pearson con etiquetas de referencia.

      Para la última tarea: Macro-F1

  • Rendimiento

      • Task1: 73.5%
      • Task2: 66%
      • Task3: 79.5%
      • Task4: 76.5%
      • Task5: 40.7%

  • Disponibilidad del código

    • No

  • Tipo de ejecución

    • Local

  • Número total de resultados enviados

    • 319

  • Resultados con los rankings

    • Saif M. Mohammad, Felipe Bravo-Marquez, Mohammad Salameh, and Svetlana Kiritchenko. Semeval-2018 Task 1: Affect in Tweets. Proceedings of the 12th International Workshop on Semantic Evaluation (SemEval-2018), June 2018, New Orleans, Louisiana, June 5–6, 2018

      http://saifmohammad.com/WebDocs/semeval2018-task1.pdf

  • Volumen de publicación

    • Proceedings of The 12th International Workshop on Semantic Evaluation. Association for Computational Linguistics.

  • Gestión web de usuarios

    • Sí

  • Atención a participantes

    • Email y Google group