IberEval 2018 - MultiModal Stance Detection in tweets on Catalan 1Oct Referendum (MultiStanceCat)

Campaña



Nombre de la campaña	Ibereval 2018 @ SEPLN
Nombre de la tarea	MultiModal Stance Detection in tweets on Catalan 1Oct Referendum (MultiStanceCat)
Tipo de tarea	Detección de postura (stance).
Descripción de la tarea	El objetivo de la tarea MultiStanceCat es detectar la postura del autor con respecto al referéndum catalán # 1Oct (2017) en tweets escritos en español y/o catalán desde una perspectiva multimodal.
Categoría de la tarea	Procesamiento del lenguaje natural
Fecha evento / edición	2018 - http://www.autoritas.net/MultiStanceCat-IberEval2018/
Organizadores	Mariona Taulé, Universitat de Barcelona, España M. Antònia Martí, Universitat de Barcelona, España Francisco Rangel, Autoritas, España Paolo Rosso, Universitat Politècnica de València, España
Grupos destinatarios	Abierto a quien quiera participar: grupos de investigación académicos y de la industria.
Elegibilidad	Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).
Calendario	03/04/2018: Corpus de entrenamiento disponible 30/04/2018: Corpus de test disponible 11/05/2018: Envío resultados. 25/05/2018: Evaluación de resultados 11/06/2018: Envío de artículo 22/06/2018: Artículo revisado (revisiones por pares) 29/06/2018: Envío versión final del trabajo 02/07/2018: Envío de las versiones finales a CEUR 18/09/2018: IberEval en la SEPLN
Número de participantes	4
Número de participantes de España	4
Dominio	Tweetter (tweets sobreel eréndum catalán # 1Oct)
Idiomas	Español y Catalán

Nombre de la campaña
- Ibereval 2018 @ SEPLN
Nombre de la tarea
- MultiModal Stance Detection in tweets on Catalan 1Oct Referendum (MultiStanceCat)
Tipo de tarea
- Detección de postura (stance).
Descripción de la tarea
- El objetivo de la tarea MultiStanceCat es detectar la postura del autor con respecto al referéndum catalán # 1Oct (2017) en tweets escritos en español y/o catalán desde una perspectiva multimodal.
Categoría de la tarea
- Procesamiento del lenguaje natural
Fecha evento / edición
- 2018 - http://www.autoritas.net/MultiStanceCat-IberEval2018/
Organizadores
- - Mariona Taulé, Universitat de Barcelona, España
  - M. Antònia Martí, Universitat de Barcelona, España
  - Francisco Rangel, Autoritas, España
  - Paolo Rosso, Universitat Politècnica de València, España
Grupos destinatarios
- Abierto a quien quiera participar: grupos de investigación académicos y de la industria.
Elegibilidad
- Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).
Calendario
- - 03/04/2018: Corpus de entrenamiento disponible
  - 30/04/2018: Corpus de test disponible
  - 11/05/2018: Envío resultados.
  - 25/05/2018: Evaluación de resultados
  - 11/06/2018: Envío de artículo
  - 22/06/2018: Artículo revisado (revisiones por pares)
  - 29/06/2018: Envío versión final del trabajo
  - 02/07/2018: Envío de las versiones finales a CEUR
  - 18/09/2018: IberEval en la SEPLN
Número de participantes
- 4
Número de participantes de España
- 4
Dominio
- - Tweetter (tweets sobreel eréndum catalán # 1Oct)
Idiomas
- Español y Catalán

Datos



Datos de entrenamiento	Distribuido como CSV
Derecho de redistribución de datos	Sólo para investigación
Enlace a datasets	http://www.autoritas.net/MultiStanceCat-IberEval2018/corpus/

Datos de entrenamiento
- Distribuido como CSV
Derecho de redistribución de datos
- Sólo para investigación
Enlace a datasets
- http://www.autoritas.net/MultiStanceCat-IberEval2018/corpus/

Resultados



Métrica de evaluación	Macro F1 score
Rendimiento	Español: 0,28 Catalán: 0,30
Disponibilidad del código	No
Tipo de ejecución	Local
Número total de resultados enviados	16
Resultados con los rankings	AMariona Taulé, Francisco Rangel, M. Antònia Martí, Paolo Rosso. Overview of the Task on Multimodal Stance Detection in Tweets on Catalan #1Oct Referendum. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018). Paolo Rosso, Julio Gonzalo, Raquel Martínez, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol.2150, ceur-ws.org, pp.149-166, co-located with 34th Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), Sevilla, Spain, September 18th, 2018. http://ceur-ws.org/Vol-2150/overview-Multistance18.pdf [PDF]
Volumen de publicación	Vol. 2150, ceur-ws.org
Gestión web de usuarios	Sí
Atención a participantes	Email: tass@daedalus.es

Métrica de evaluación
- Macro F1 score
Rendimiento
- - Español: 0,28
  - Catalán: 0,30
Disponibilidad del código
- No
Tipo de ejecución
- Local
Número total de resultados enviados
- 16
Resultados con los rankings
- AMariona Taulé, Francisco Rangel, M. Antònia Martí, Paolo Rosso. Overview of the Task on Multimodal Stance Detection in Tweets on Catalan #1Oct Referendum. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018). Paolo Rosso, Julio Gonzalo, Raquel Martínez, Soto Montalvo, Jorge Carrillo-de-Albornoz (Eds), Vol.2150, ceur-ws.org, pp.149-166, co-located with 34th Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), Sevilla, Spain, September 18th, 2018.
  
  http://ceur-ws.org/Vol-2150/overview-Multistance18.pdf [PDF]
Volumen de publicación
- Vol. 2150, ceur-ws.org
Gestión web de usuarios
- Sí
Atención a participantes
- Email: tass@daedalus.es