IberEval 2018 - Authorship and aggressiveness analysis in Twitter: case study in Mexican Spanish (MEX-A3T)

Compartir

Campaña

Nombre de la campaña

Ibereval 2018 @ SEPLN
Nombre de la tarea

Authorship and aggressiveness analysis in Twitter: case study in Mexican Spanish (MEX-A3T)
Tipo de tarea
  • Author profiling
  • Aggressiveness identification 
Descripción de la tarea

Dado un conjunto de tweets, una tarea consiste en clasificar cada tweet en agresivo o no. La otra tarea consiste en identificar de manera automática el sexo y la edad del autor de un texto dado 
Categoría de la tarea

Procesamiento del lenguaje natural
Fecha evento / edición

2018 - https://mexa3t.wixsite.com/home
Organizadores
  • Álvarez-Carmona Miguel, INAOE, México
  • Guzmán-Falcón Estefania, INAOE, México
  • Montes-y-Gómez Manuel, INAOE, México
  • Escalante Hugo Jair, INAOE, México
  • Villasenor-Pineda Luis, INAOE, México
  • Reyes-Meza Veronica, Universidad Autónoma de Tlaxcala, México
  • Rico-Sulayes Antonio, Universidad de las Américas Puebla, México
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 
Calendario
  • 05/03/2018: Publicación de los datos de entrenamiento
  • 23/04/2018: Publicación de datos de test
  • 30/04/2018: Resultados del sistema por parte de los organizadores
  • 11/05/2018: Evaluación de los participantes
  • 28/05/2018: Envío de artículos
  • 12/06/2018: Notificación a los autores
  • 26/06/2018: Envío de artículos finale
  • 18/09/2018: IberEval en la SEPLN
Número de participantes
  • Tarea author profiling: 4
  • Tarea agresividad: 7
Número de participantes de España

4 investigadores en 3 equipos
Dominio

Twitter (sin acotar a un dominio concreto)
Idiomas

Español (variante México)

Datos

Datos de entrenamiento

Distribuido como CSV
Derecho de redistribución de datos

Sólo para investigación
Enlace a datasets

https://mexa3t.wixsite.com/home/copia-de-description

Resultados

Métrica de evaluación
  • Tarea 1 (author profiling): Average Macro F1
  • Tarea 2 (agresividad): Macro F1
Rendimiento
  • Tarea 1 (author profiling): 0,67
  • Tarea 2 (agresividad): 0,62
Disponibilidad del código

No
Tipo de ejecución

Local
Número total de resultados enviados

16
Resultados con los rankings

Miguel Á. Álvarez-Carmona, Estefanía Guzmán-Falcón, Manuel Montes-y-Gómez, Hugo Jair Escalante, Luis Villaseñor-Pineda, Verónica Reyes-Meza, Antonio Rico-Sulayes. Overview of MEX-A3T at IberEval 2018: Authorship and Aggressiveness Analysis in Mexican Spanish Tweets. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018). Paolo Rosso, Julio Gonzalo, Raquel Martínez, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol.2150, ceur-ws.org, pp.74-96, co-located with 34th Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), Sevilla, Spain, September 18th,  2018.

http://ceur-ws.org/Vol-2150/overview-mex-a3t.pdf  
Volumen de publicación

Vol. 2150, ceur-ws.org
Gestión web de usuarios

Sí
Atención a participantes

Email