Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

IberEval 2018 - Automatic Msogyny Identification (AMI)

Campaña

Nombre de la campaña

Nombre de la tarea

Automatic Msogyny Identification (AMI)

Tipo de tarea
  • Subtarea A: Misogyny Identification
  • Subtarea B: Misogynistic Behaviour and Target Classification

Descripción de la tarea

Detección de tweets misóginos.

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

Organizadores
  • Elisabetta Fersini, Università degli Studi di Milano-Bicocca, Italia
  • Paolo Rosso, Universitat Politècnica de València, España
  • Maria Anzovino, Università degli Studi di Milano-Bicocca, Italia

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. 

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 10/04/2018: Datos de entrenamiento disponibles
  • 24/04/2018: Datos de pruebas disponibles
  • 12/05/2018: Presentación de los resultados
  • 15/05/2018: Evaluación de los resultados
  • 31/05/2018: Presentación de los trabajos
  • 15/06/2018: Comentarios a los participantes (revisiones por pares)
  • 30/06/2018: Envío artículo final
  • 18/09/2018: IberEval en la SEPLN

Número de participantes

11

Número de participantes de España

6

Dominio

Twitter

Idiomas

Español e Inglés

  • Nombre de la campaña

  • Nombre de la tarea

    • Automatic Msogyny Identification (AMI)

  • Tipo de tarea

      • Subtarea A: Misogyny Identification
      • Subtarea B: Misogynistic Behaviour and Target Classification

  • Descripción de la tarea

    • Detección de tweets misóginos.

  • Categoría de la tarea

    • Procesamiento del lenguaje natural

  • Fecha evento / edición

  • Organizadores

      • Elisabetta Fersini, Università degli Studi di Milano-Bicocca, Italia
      • Paolo Rosso, Universitat Politècnica de València, España
      • Maria Anzovino, Università degli Studi di Milano-Bicocca, Italia

  • Grupos destinatarios

    • Abierto a quien quiera participar: grupos de investigación académicos y de la industria. 

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

  • Calendario

      • 10/04/2018: Datos de entrenamiento disponibles
      • 24/04/2018: Datos de pruebas disponibles
      • 12/05/2018: Presentación de los resultados
      • 15/05/2018: Evaluación de los resultados
      • 31/05/2018: Presentación de los trabajos
      • 15/06/2018: Comentarios a los participantes (revisiones por pares)
      • 30/06/2018: Envío artículo final
      • 18/09/2018: IberEval en la SEPLN

  • Número de participantes

    • 11

  • Número de participantes de España

    • 6

  • Dominio

    • Twitter

  • Idiomas

    • Español e Inglés

Datos

Datos de entrenamiento

Distribuido como CSV

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación
  • Tarea A: Accuracy
  • Tarea B: Average Macro-F1

Rendimiento
  • Tarea A: español (81,47%)  e inglés (91,32%)
  • Tarea B: español (0,45) e inglés (0,44)

Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

56

Resultados con los rankings

Elisabetta Fersini, Paolo Rosso, Maria Anzovino. Overview of the Task on Automatic Misogyny Identification at IberEval 2018. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018). Paolo Rosso, Julio Gonzalo, Raquel Martínez, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol.2150, ceur-ws.org, pp.214-228, co-located with 34th Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), Sevilla, Spain, September 18th, 2018.

http://ceur-ws.org/Vol-2150/overview-AMI.pdf

Volumen de publicación

Vol. 2150, ceur-ws.org

Gestión web de usuarios

Sí

Atención a participantes

Email y Google group

  • Métrica de evaluación

      • Tarea A: Accuracy
      • Tarea B: Average Macro-F1

  • Rendimiento

      • Tarea A: español (81,47%)  e inglés (91,32%)
      • Tarea B: español (0,45) e inglés (0,44)

  • Disponibilidad del código

    • No

  • Tipo de ejecución

    • Local

  • Número total de resultados enviados

    • 56

  • Resultados con los rankings

    • Elisabetta Fersini, Paolo Rosso, Maria Anzovino. Overview of the Task on Automatic Misogyny Identification at IberEval 2018. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018). Paolo Rosso, Julio Gonzalo, Raquel Martínez, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol.2150, ceur-ws.org, pp.214-228, co-located with 34th Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), Sevilla, Spain, September 18th, 2018.

      http://ceur-ws.org/Vol-2150/overview-AMI.pdf

  • Volumen de publicación

    • Vol. 2150, ceur-ws.org

  • Gestión web de usuarios

    • Sí

  • Atención a participantes

    • Email y Google group