TASS 2012 - Sentiment Analysis

Campaña



Nombre de la campaña	TASS 2012 @ SEPLN
Nombre de la tarea	Task 1: Sentiment Analysis
Tipo de tarea	Tarea de análisis de sentimiento
Descripción de la tarea	Esta tarea consiste en realizar un análisis automático de opiniones para determinar la polaridad de cada mensaje en el corpus de prueba.
Categoría de la tarea	Procesamiento del lenguaje natural
Fecha evento / edición	2012
Organizadores	Julio Villena-Román, Daedalus, España Cristina Moreno-García, Daedalus, España Janine García-Morera, Daedalus, España Linda Ferrer-Ureña, Daedalus, España Sara Lana-Serrano, Universidad Politécnica de Madrid, España José Carlos González-Cristóbal, Universidad Politécnica de Madrid, España Adam Westerski, Universidad Politécnica de Madrid, España L. Alfonso Ureña-López, Universidad de Jaén, España Miguel Ángel García-Cumbreras, Universidad de Jaén, España María-Teresa Martín-Valdivia, Universidad de Jaén, España Eugenio Martínez-Cámara, Universidad de Jaén, España
Grupos destinatarios	Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado Elhuyar Fundazioa e IMDEA.
Elegibilidad	Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).
Calendario	21/05/2012: Datos de entrenamiento 04/06/2012: Datos de prueba 01/07/ 2012: Registro a la tarea 20/07/2012: Envío sistemas 25/07/2012: Notificación de resultados 19/08/2012: Envío de artículos 07/09/2012: Taller
Número de participantes	8 equipos
Número de participantes de España	7
Dominio	Tweets escritos por celebridades del mundo de la política, la economía, la comunicación, los medios de comunicación y la cultura
Idiomas	Español

Nombre de la campaña
- TASS 2012 @ SEPLN
Nombre de la tarea
- Task 1: Sentiment Analysis
Tipo de tarea
- Tarea de análisis de sentimiento
Descripción de la tarea
- Esta tarea consiste en realizar un análisis automático de opiniones para determinar la polaridad de cada mensaje en el corpus de prueba.
Categoría de la tarea
- Procesamiento del lenguaje natural
Fecha evento / edición
- 2012
Organizadores
- - Julio Villena-Román, Daedalus, España
  - Cristina Moreno-García, Daedalus, España
  - Janine García-Morera, Daedalus, España
  - Linda Ferrer-Ureña, Daedalus, España
  - Sara Lana-Serrano, Universidad Politécnica de Madrid, España
  - José Carlos González-Cristóbal, Universidad Politécnica de Madrid, España
  - Adam Westerski, Universidad Politécnica de Madrid, España
  - L. Alfonso Ureña-López, Universidad de Jaén, España
  - Miguel Ángel García-Cumbreras, Universidad de Jaén, España
  - María-Teresa Martín-Valdivia, Universidad de Jaén, España
  - Eugenio Martínez-Cámara, Universidad de Jaén, España
Grupos destinatarios
- Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado Elhuyar Fundazioa e IMDEA.
Elegibilidad
- Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).
Calendario
- - 21/05/2012: Datos de entrenamiento
  - 04/06/2012: Datos de prueba
  - 01/07/ 2012: Registro a la tarea
  - 20/07/2012: Envío sistemas
  - 25/07/2012: Notificación de resultados
  - 19/08/2012: Envío de artículos
  - 07/09/2012: Taller
Número de participantes
- 8 equipos
Número de participantes de España
- 7
Dominio
- Tweets escritos por celebridades del mundo de la política, la economía, la comunicación, los medios de comunicación y la cultura
Idiomas
- Español

Datos



Datos de entrenamiento	Formato XML
Derecho de redistribución de datos	Sólo para investigación
Enlace a datasets	http://www.sepln.org/workshops/tass/2012/corpus.php

Datos de entrenamiento
- Formato XML
Derecho de redistribución de datos
- Sólo para investigación
Enlace a datasets
- http://www.sepln.org/workshops/tass/2012/corpus.php

Resultados



Métrica de evaluación	Plagdet: combinación entre precisión y recall (a nivel de caracteres) y granularidad.
Rendimiento	F1 (5 levels): 0,65 F1 (3 levels): 0,71
Disponibilidad del código	Los resultados detallados de cada ejecución, los archivos de evaluación de relevancia (las etiquetas correctas para el conjunto de prueba) y un script PHP para realizar su propia evaluación se pueden encontrar en la sección de Descargas de la página de descripción del corpus.
Tipo de ejecución	Local
Número total de resultados enviados	34
Resultados con los rankings	Villena-Román, Julio, García-Morera, Janine, Moreno-García, Cristina, Ferrer-Ureña, Linda, Serrano, Sara, Gonzalez-Cristobal, Jose, Westerski, Adam, Martínez-Cámara, Eugenio, García-Cumbreras, Miguel & Martín-Valdivia, Maria & López, L. (2012). TASS-Workshop on Sentiment Analysis at SEPLN. / Taller de Análisis de Sentimientos en la SEPLN. Rafael Berlanga, Ismael Sanz y María Pérez (Eds) "XVIII CONGRESO DE LA SOCIEDAD ESPAÑOLA PARA EL PROCESAMIENTO DEL LENGUAJE NATURAL", Col.lecció e-Treballs d’Informàtica i Tecnologia Núm. 12, Ed. Universitat Jaume I, ISBN: 978-84-8021-889-4. Villena Román, Julio, Lana Serrano, Sara, Martínez Cámara, Eugenio, González Cristóbal, José Carlos TASS - Workshop on Sentiment Analysis at SEPLN. Procesamiento del Lenguaje Natural. N. 50 (2013), pp. 37-44. http://journal.sepln.org/sepln/ojs/ojs/index.php/pln/article/view/4657/2759
Volumen de publicación	Procesamiento del Lenguaje Natural. N. 50 (2013). ISSN 1135-5948
Gestión web de usuarios	Sí
Atención a participantes	Email: tass@daedalus.es

Métrica de evaluación
- Plagdet: combinación entre precisión y recall (a nivel de caracteres) y granularidad.
Rendimiento
- - F1 (5 levels): 0,65
  - F1 (3 levels): 0,71
Disponibilidad del código
- Los resultados detallados de cada ejecución, los archivos de evaluación de relevancia (las etiquetas correctas para el conjunto de prueba) y un script PHP para realizar su propia evaluación se pueden encontrar en la sección de Descargas de la página de descripción del corpus.
Tipo de ejecución
- Local
Número total de resultados enviados
- 34
Resultados con los rankings
- Villena-Román, Julio, García-Morera, Janine, Moreno-García, Cristina, Ferrer-Ureña, Linda, Serrano, Sara, Gonzalez-Cristobal, Jose, Westerski, Adam, Martínez-Cámara, Eugenio, García-Cumbreras, Miguel & Martín-Valdivia, Maria & López, L. (2012). TASS-Workshop on Sentiment Analysis at SEPLN. / Taller de Análisis de Sentimientos en la SEPLN. Rafael Berlanga, Ismael Sanz y María Pérez (Eds) "XVIII CONGRESO DE LA SOCIEDAD ESPAÑOLA PARA EL PROCESAMIENTO DEL LENGUAJE NATURAL", Col.lecció e-Treballs d’Informàtica i Tecnologia Núm. 12, Ed. Universitat Jaume I, ISBN: 978-84-8021-889-4.
  
  Villena Román, Julio, Lana Serrano, Sara, Martínez Cámara, Eugenio, González Cristóbal, José Carlos TASS - Workshop on Sentiment Analysis at SEPLN. Procesamiento del Lenguaje Natural. N. 50 (2013), pp. 37-44.
  
  http://journal.sepln.org/sepln/ojs/ojs/index.php/pln/article/view/4657/2759
Volumen de publicación
- Procesamiento del Lenguaje Natural. N. 50 (2013). ISSN 1135-5948
Gestión web de usuarios
- Sí
Atención a participantes
- Email: tass@daedalus.es