Ibereval 2018 @ SEPLN

Humor Analysis based on Human Annotation (HAHA)

• Subtask 1: Humor detection
• Subtask 2: Funniness Score Prediction

Algunos de los tweets contienen bromas y hay que predecir el valor de su puntuación. 

Procesamiento del lenguaje natural

2018 - https://www.fing.edu.uy/inco/grupos/pln/haha/

• Santiago Castro, Universidad de la República, Uruguay
• Luis Chiruzzo, Universidad de la República, Uruguay
• Aiala Rosá, Universidad de la República, Uruguay

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

• 26/03/2018: 16.000 tuits para entrenamiento
• 23/04/2018: 4.000 tweets para prueba
• 30/04 - 07/052018: Envío de resultados
• 07/05 - 14/052018: Publicación de resultados
• 21/05 - 28/05/2018: Envío de artículos
• 18/06/2018: Notificación de aceptación
• 27/06/2018: Envío artículo finackground and test corpora
• 18/09/2018: IberEval en la SEPLN

3

4 investigadores en 2 equipos 

Twitter (tweets genéricos)

Español

Distribuido como CSV

Sólo para investigación

https://www.fing.edu.uy/inco/grupos/pln/haha/index.html#data

• Humor detection: F1 score
• Funniness Score Prediction: Mean Squared Error (RMSE)

• Tarea 1 (Humor detection): 0,79
• Tarea 2 (Funniness Score Prediction): 0, 97

No

Local

9

Santiago Castro, Luis Chiruzzo, Aiala Rosá. Overview of the HAHA Task: Humor Analysis Based on Human Annotation at IberEval 2018. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018). Paolo Rosso, Julio Gonzalo, Raquel Martínez, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol.2150, ceur-ws.org, pp.187-194, co-located with 34th Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), Sevilla, Spain, September 18th, 2018.

http://ceur-ws.org/Vol-2150/overview-HAHA.pdf [PDF] 

Vol. 2150, ceur-ws.org

Sí

Email