Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

IberEval 2018 - Authorship and aggressiveness analysis in Twitter: case study in Mexican Spanish (MEX-A3T)

Campaña

Nombre de la campaña

Nombre de la tarea

Authorship and aggressiveness analysis in Twitter: case study in Mexican Spanish (MEX-A3T)

Tipo de tarea
  • Author profiling
  • Aggressiveness identification 

Descripción de la tarea

Dado un conjunto de tweets, una tarea consiste en clasificar cada tweet en agresivo o no. La otra tarea consiste en identificar de manera automática el sexo y la edad del autor de un texto dado

Categoría de la tarea

Procesamiento del lenguaje natural.

Fecha evento / edición

Organizadores
  • Álvarez-Carmona Miguel, INAOE, México
  • Guzmán-Falcón Estefania, INAOE, México
  • Montes-y-Gómez Manuel, INAOE, México
  • Escalante Hugo Jair, INAOE, México
  • Villasenor-Pineda Luis, INAOE, México
  • Reyes-Meza Veronica, Universidad Autónoma de Tlaxcala, México
  • Rico-Sulayes Antonio, Universidad de las Américas Puebla, México

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).

Calendario
  • 05/03/2018: Publicación de los datos de entrenamiento
  • 23/04/2018: Publicación de datos de test
  • 30/04/2018: Resultados del sistema por parte de los organizadores
  • 11/05/2018: Evaluación de los participantes
  • 28/05/2018: Envío de artículos
  • 12/06/2018: Notificación a los autores
  • 26/06/2018: Envío de artículos finale
  • 18/09/2018: IberEval en la SEPLN

Número de participantes
  • Tarea author profiling: 4
  • Tarea agresividad: 7

Número de participantes de España

4 investigadores en 3 equipos

Dominio

Twitter (sin acotar a un dominio concreto)

Idiomas

Español (variante México)

  • Nombre de la campaña

  • Nombre de la tarea

    • Authorship and aggressiveness analysis in Twitter: case study in Mexican Spanish (MEX-A3T)

  • Tipo de tarea

      • Author profiling
      • Aggressiveness identification 

  • Descripción de la tarea

    • Dado un conjunto de tweets, una tarea consiste en clasificar cada tweet en agresivo o no. La otra tarea consiste en identificar de manera automática el sexo y la edad del autor de un texto dado

  • Categoría de la tarea

    • Procesamiento del lenguaje natural.

  • Fecha evento / edición

  • Organizadores

      • Álvarez-Carmona Miguel, INAOE, México
      • Guzmán-Falcón Estefania, INAOE, México
      • Montes-y-Gómez Manuel, INAOE, México
      • Escalante Hugo Jair, INAOE, México
      • Villasenor-Pineda Luis, INAOE, México
      • Reyes-Meza Veronica, Universidad Autónoma de Tlaxcala, México
      • Rico-Sulayes Antonio, Universidad de las Américas Puebla, México

  • Grupos destinatarios

    • Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).

  • Calendario

      • 05/03/2018: Publicación de los datos de entrenamiento
      • 23/04/2018: Publicación de datos de test
      • 30/04/2018: Resultados del sistema por parte de los organizadores
      • 11/05/2018: Evaluación de los participantes
      • 28/05/2018: Envío de artículos
      • 12/06/2018: Notificación a los autores
      • 26/06/2018: Envío de artículos finale
      • 18/09/2018: IberEval en la SEPLN

  • Número de participantes

      • Tarea author profiling: 4
      • Tarea agresividad: 7

  • Número de participantes de España

    • 4 investigadores en 3 equipos

  • Dominio

    • Twitter (sin acotar a un dominio concreto)

  • Idiomas

    • Español (variante México)

Datos

Datos de entrenamiento
Distribuido como CSV

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación
  • Tarea 1 (author profiling): Average Macro F1
  • Tarea 2 (agresividad): Macro F1

Rendimiento
  • Tarea 1 (author profiling): 0,67
  • Tarea 2 (agresividad): 0,62

Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

16

Resultados con los rankings

Miguel Á. Álvarez-Carmona, Estefanía Guzmán-Falcón, Manuel Montes-y-Gómez, Hugo Jair Escalante, Luis Villaseñor-Pineda, Verónica Reyes-Meza, Antonio Rico-Sulayes. Overview of MEX-A3T at IberEval 2018: Authorship and Aggressiveness Analysis in Mexican Spanish Tweets. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018). Paolo Rosso, Julio Gonzalo, Raquel Martínez, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol.2150, ceur-ws.org, pp.74-96, co-located with 34th Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), Sevilla, Spain, September 18th,  2018.

http://ceur-ws.org/Vol-2150/overview-mex-a3t.pdf

Volumen de publicación

Vol. 2150, ceur-ws.org

Gestión web de usuarios

Sí

Atención a participantes

Email

  • Métrica de evaluación

      • Tarea 1 (author profiling): Average Macro F1
      • Tarea 2 (agresividad): Macro F1

  • Rendimiento

      • Tarea 1 (author profiling): 0,67
      • Tarea 2 (agresividad): 0,62

  • Disponibilidad del código

    • No

  • Tipo de ejecución

    • Local

  • Número total de resultados enviados

    • 16

  • Resultados con los rankings

    • Miguel Á. Álvarez-Carmona, Estefanía Guzmán-Falcón, Manuel Montes-y-Gómez, Hugo Jair Escalante, Luis Villaseñor-Pineda, Verónica Reyes-Meza, Antonio Rico-Sulayes. Overview of MEX-A3T at IberEval 2018: Authorship and Aggressiveness Analysis in Mexican Spanish Tweets. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018). Paolo Rosso, Julio Gonzalo, Raquel Martínez, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol.2150, ceur-ws.org, pp.74-96, co-located with 34th Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), Sevilla, Spain, September 18th,  2018.

      http://ceur-ws.org/Vol-2150/overview-mex-a3t.pdf

  • Volumen de publicación

    • Vol. 2150, ceur-ws.org

  • Gestión web de usuarios

    • Sí

  • Atención a participantes

    • Email