Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

Ibereval 2017 - Stance and Gender Detection in Tweets on Catalan Independence (StanceCat)

Campaña

Nombre de la campaña

Nombre de la tarea

Stance and Gender Detection in Tweets on Catalan Independence (StanceCat)

Tipo de tarea

Detección de postura (stance); Identificación de sexo.

Descripción de la tarea

Dado un mensaje, decidir la postura adoptada hacia el objetivo "Independencia catalana" y determinar el sexo de su autor.

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

Organizadores
  • Mariona Taulé, Universitat de Barcelona, España
  • M. Antònia Martí, Universitat de Barcelona, España
  • Francisco Rangel, Autoritas, España
  • Paolo Rosso, Universitat Politècnica de València, España
  • Cristina Bosco, Università degli Studi di Torino, Italia
  • Viviana Patti, Università degli Studi di Torino, Italia

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. 

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 21/03/2017: Datos de entrenamiento disponibles
  • 24/04/2017: Datos de prueba disponibles
  • 19/09/2017: IberEval en la SEPLN

Número de participantes

10

Número de participantes de España

6

Dominio
  • Tweets sobre la independencia en Cataluña

Idiomas

Español y Catalán

  • Nombre de la campaña

  • Nombre de la tarea

    • Stance and Gender Detection in Tweets on Catalan Independence (StanceCat)

  • Tipo de tarea

    • Detección de postura (stance); Identificación de sexo.

  • Descripción de la tarea

    • Dado un mensaje, decidir la postura adoptada hacia el objetivo "Independencia catalana" y determinar el sexo de su autor.

  • Categoría de la tarea

    • Procesamiento del lenguaje natural

  • Fecha evento / edición

  • Organizadores

      • Mariona Taulé, Universitat de Barcelona, España
      • M. Antònia Martí, Universitat de Barcelona, España
      • Francisco Rangel, Autoritas, España
      • Paolo Rosso, Universitat Politècnica de València, España
      • Cristina Bosco, Università degli Studi di Torino, Italia
      • Viviana Patti, Università degli Studi di Torino, Italia

  • Grupos destinatarios

    • Abierto a quien quiera participar: grupos de investigación académicos y de la industria. 

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

  • Calendario

      • 21/03/2017: Datos de entrenamiento disponibles
      • 24/04/2017: Datos de prueba disponibles
      • 19/09/2017: IberEval en la SEPLN

  • Número de participantes

    • 10

  • Número de participantes de España

    • 6

  • Dominio

      • Tweets sobre la independencia en Cataluña

  • Idiomas

    • Español y Catalán

Datos

Datos de entrenamiento

Distribuido como CSV

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación

Macro F1-score (stance detection), accuracy (gender identification)

Rendimiento

Stance detection:

  • Catalán: 0,49
  • Español: 0,49

Gender identification:

  • Catalán: 60%
  • Español: 68%

Disponibilidad del código

No

Tipo de ejecución

Local

Número total de resultados enviados

31

Resultados con los rankings

Mariona Taulé, María Antònia Martí, Francisco Rangel, Paolo Rosso, Cristina Bosco, Viviana Patti. Overview of the Task on Stance and Gender Detection in Tweets on Catalan Independence. Proceedings of the Second Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2017), Raquel Martínez, Julio Gonzalo, Paolo Rosso, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol. 1881, ceur-ws.org, pp. 155-177, co-located with 33th Conference of the Spanish Society for Natural Language Processing (SEPLN 2017), Murcia, Spain, September 19, 2017.

http://ceur-ws.org/Vol-1881/Overview5.pdf

Volumen de publicación

Vol. 1881, ceur-ws.org

Gestión web de usuarios

Sí

Atención a participantes

Email: tass@daedalus.es

  • Métrica de evaluación

    • Macro F1-score (stance detection), accuracy (gender identification)

  • Rendimiento

    • Stance detection:

      • Catalán: 0,49
      • Español: 0,49

      Gender identification:

      • Catalán: 60%
      • Español: 68%

  • Disponibilidad del código

    • No

  • Tipo de ejecución

    • Local

  • Número total de resultados enviados

    • 31

  • Resultados con los rankings

    • Mariona Taulé, María Antònia Martí, Francisco Rangel, Paolo Rosso, Cristina Bosco, Viviana Patti. Overview of the Task on Stance and Gender Detection in Tweets on Catalan Independence. Proceedings of the Second Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2017), Raquel Martínez, Julio Gonzalo, Paolo Rosso, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol. 1881, ceur-ws.org, pp. 155-177, co-located with 33th Conference of the Spanish Society for Natural Language Processing (SEPLN 2017), Murcia, Spain, September 19, 2017.

      http://ceur-ws.org/Vol-1881/Overview5.pdf

  • Volumen de publicación

    • Vol. 1881, ceur-ws.org

  • Gestión web de usuarios

    • Sí

  • Atención a participantes

    • Email: tass@daedalus.es