IberEval 2018 - MultiModal Stance Detection in tweets on Catalan 1Oct Referendum (MultiStanceCat)

Compartir

Campaña

Nombre de la campaña

Ibereval 2018 @ SEPLN
Nombre de la tarea

MultiModal Stance Detection in tweets on Catalan 1Oct Referendum (MultiStanceCat)
Tipo de tarea

Detección de postura (stance).
Descripción de la tarea

El objetivo de la tarea MultiStanceCat es detectar la postura del autor con respecto al referéndum catalán # 1Oct (2017) en tweets escritos en español y/o catalán desde una perspectiva multimodal. 
Categoría de la tarea

Procesamiento del lenguaje natural
Fecha evento / edición

2018 - http://www.autoritas.net/MultiStanceCat-IberEval2018/
Organizadores
  • Mariona Taulé, Universitat de Barcelona, España
  • M. Antònia Martí, Universitat de Barcelona, España
  • Francisco Rangel, Autoritas, España
  • Paolo Rosso, Universitat Politècnica de València, España
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.
Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 
Calendario
  • 03/04/2018: Corpus de entrenamiento disponible
  • 30/04/2018: Corpus de test disponible
  • 11/05/2018: Envío resultados.
  • 25/05/2018: Evaluación de resultados
  • 11/06/2018: Envío de artículo
  • 22/06/2018: Artículo revisado (revisiones por pares)
  • 29/06/2018: Envío versión final del trabajo
  • 02/07/2018: Envío de las versiones finales a CEUR
  • 18/09/2018: IberEval en la SEPLN
Número de participantes

4
Número de participantes de España

4
Dominio

Tweetter (tweets sobreel eréndum catalán # 1Oct)
Idiomas

Español y Catalán

Datos

Datos de entrenamiento

Distribuido como CSV
Derecho de redistribución de datos

Sólo para investigación
Enlace a datasets

http://www.autoritas.net/MultiStanceCat-IberEval2018/corpus/

Resultados

Métrica de evaluación

Macro F1 score
Rendimiento
  • Español: 0,28
  • Catalán: 0,30
Disponibilidad del código

No
Tipo de ejecución

Local
Número total de resultados enviados

16
Resultados con los rankings

AMariona Taulé, Francisco Rangel, M. Antònia Martí, Paolo Rosso. Overview of the Task on Multimodal Stance Detection in Tweets on Catalan #1Oct Referendum. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018). Paolo Rosso, Julio Gonzalo, Raquel Martínez, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol.2150, ceur-ws.org, pp.149-166, co-located with 34th Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), Sevilla, Spain, September 18th, 2018.

http://ceur-ws.org/Vol-2150/overview-Multistance18.pdf [PDF] 
Volumen de publicación

Vol. 2150, ceur-ws.org
Gestión web de usuarios

Sí
Atención a participantes

Email y Google group