Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

IberEval 2018 - Humor Analysis based on Human Annotation (HAHA)

Campaña

Nombre de la campaña

Nombre de la tarea

Humor Analysis based on Human Annotation (HAHA)

Tipo de tarea
  • Subtask 1: Humor detection
  • Subtask 2: Funniness Score Prediction

Descripción de la tarea

Algunos de los tweets contienen bromas y hay que predecir el valor de su puntuación.

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

Organizadores
  • Santiago Castro, Universidad de la República, Uruguay
  • Luis Chiruzzo, Universidad de la República, Uruguay
  • Aiala Rosá, Universidad de la República, Uruguay

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. 

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review)

Calendario
  • 26/03/2018: 16.000 tuits para entrenamiento
  • 23/04/2018: 4.000 tweets para prueba
  • 30/04 - 07/052018: Envío de resultados
  • 07/05 - 14/052018: Publicación de resultados
  • 21/05 - 28/05/2018: Envío de artículos
  • 18/06/2018: Notificación de aceptación
  • 27/06/2018: Envío artículo finackground and test corpora
  • 18/09/2018: IberEval en la SEPLN

Número de participantes

3

Número de participantes de España

4 investigadores en 2 equipos

Dominio

Twitter (tweets genéricos)

Idiomas

Español

  • Nombre de la campaña

  • Nombre de la tarea

    • Humor Analysis based on Human Annotation (HAHA)

  • Tipo de tarea

      • Subtask 1: Humor detection
      • Subtask 2: Funniness Score Prediction

  • Descripción de la tarea

    • Algunos de los tweets contienen bromas y hay que predecir el valor de su puntuación.

  • Categoría de la tarea

    • Procesamiento del lenguaje natural

  • Fecha evento / edición

  • Organizadores

      • Santiago Castro, Universidad de la República, Uruguay
      • Luis Chiruzzo, Universidad de la República, Uruguay
      • Aiala Rosá, Universidad de la República, Uruguay

  • Grupos destinatarios

    • Abierto a quien quiera participar: grupos de investigación académicos y de la industria. 

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review)

  • Calendario

      • 26/03/2018: 16.000 tuits para entrenamiento
      • 23/04/2018: 4.000 tweets para prueba
      • 30/04 - 07/052018: Envío de resultados
      • 07/05 - 14/052018: Publicación de resultados
      • 21/05 - 28/05/2018: Envío de artículos
      • 18/06/2018: Notificación de aceptación
      • 27/06/2018: Envío artículo finackground and test corpora
      • 18/09/2018: IberEval en la SEPLN

  • Número de participantes

    • 3

  • Número de participantes de España

    • 4 investigadores en 2 equipos

  • Dominio

    • Twitter (tweets genéricos)

  • Idiomas

    • Español

Datos

Datos de entrenamiento

Distribuido como CSV

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación
  • Humor detection: F1 score
  • Funniness Score Prediction: Mean Squared Error (RMSE)

Rendimiento
  • Tarea 1 (Humor detection): 0,79
  • Tarea 2 (Funniness Score Prediction): 0, 97

Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

9

Resultados con los rankings

Santiago Castro, Luis Chiruzzo, Aiala Rosá. Overview of the HAHA Task: Humor Analysis Based on Human Annotation at IberEval 2018. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018). Paolo Rosso, Julio Gonzalo, Raquel Martínez, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol.2150, ceur-ws.org, pp.187-194, co-located with 34th Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), Sevilla, Spain, September 18th, 2018.

http://ceur-ws.org/Vol-2150/overview-HAHA.pdf [PDF]

Volumen de publicación

Vol. 2150, ceur-ws.org

Gestión web de usuarios

Sí

Atención a participantes

Email

  • Métrica de evaluación

      • Humor detection: F1 score
      • Funniness Score Prediction: Mean Squared Error (RMSE)

  • Rendimiento

      • Tarea 1 (Humor detection): 0,79
      • Tarea 2 (Funniness Score Prediction): 0, 97

  • Disponibilidad del código

    • No

  • Tipo de ejecución

    • Local

  • Número total de resultados enviados

    • 9

  • Resultados con los rankings

    • Santiago Castro, Luis Chiruzzo, Aiala Rosá. Overview of the HAHA Task: Humor Analysis Based on Human Annotation at IberEval 2018. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018). Paolo Rosso, Julio Gonzalo, Raquel Martínez, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol.2150, ceur-ws.org, pp.187-194, co-located with 34th Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), Sevilla, Spain, September 18th, 2018.

      http://ceur-ws.org/Vol-2150/overview-HAHA.pdf [PDF]

  • Volumen de publicación

    • Vol. 2150, ceur-ws.org

  • Gestión web de usuarios

    • Sí

  • Atención a participantes

    • Email