TASS 2014 - Aspect detection

Campaña



Nombre de la campaña	TASS 2014 @ SEPLN
Nombre de la tarea	Task 3:Aspect detection
Tipo de tarea	Tarea de clasificación.
Descripción de la tarea	El objetivo es la identificación automática de los diferentes aspectos expresados por los usuarios, entre una lista predefinida, en sus opiniones en Twitter sobre un tema determinado.
Categoría de la tarea	Procesamiento del lenguaje natural
Fecha evento / edición	2014
Organizadores	Julio Villena-Román, Daedalus, España Janine García-Morera, Daedalus, España José Carlos González-Cristóbal, Universidad Politécnica de Madrid, España L. Alfonso Ureña-López, Universidad de Jaén, España Miguel Ángel García-Cumbreras, Universidad de Jaén, España María-Teresa Martín-Valdivia, Universidad de Jaén, España Eugenio Martínez-Cámara, Universidad de Jaén, España
Grupos destinatarios	Abierto a quien quiera participar: grupos de investigación académicos y de la industria.
Elegibilidad	Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).
Calendario	05/05/2014: Publicación del corpus general 17/06/2014: Publicación del corpus social-tv 27/06/ 2014: Envío de los resultados por los participantes 31/07/2014: Resultados de la evaluación 17/08/2014: Envío de trabajos 16/09/2014: Taller
Número de participantes	2
Número de participantes de España	2
Dominio	General Corpus: tweets escritos por celebridades del mundo de la política, la economía, la comunicación, los medios de comunicación y la cultura. Social-TV Corpus: este corpus fue recolectado durante la Final de la Copa del Rey entre Real Madrid y F.C. Barcelona, que se jugó el 16 de abril de 2014 en el estadio de Mestalla en Valencia.
Idiomas	Español

Nombre de la campaña
- TASS 2014 @ SEPLN
Nombre de la tarea
- Task 3:Aspect detection
Tipo de tarea
- Tarea de clasificación.
Descripción de la tarea
- El objetivo es la identificación automática de los diferentes aspectos expresados por los usuarios, entre una lista predefinida, en sus opiniones en Twitter sobre un tema determinado.
Categoría de la tarea
- Procesamiento del lenguaje natural
Fecha evento / edición
- 2014
Organizadores
- - Julio Villena-Román, Daedalus, España
  - Janine García-Morera, Daedalus, España
  - José Carlos González-Cristóbal, Universidad Politécnica de Madrid, España
  - L. Alfonso Ureña-López, Universidad de Jaén, España
  - Miguel Ángel García-Cumbreras, Universidad de Jaén, España
  - María-Teresa Martín-Valdivia, Universidad de Jaén, España
  - Eugenio Martínez-Cámara, Universidad de Jaén, España
Grupos destinatarios
- Abierto a quien quiera participar: grupos de investigación académicos y de la industria.
Elegibilidad
- Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).
Calendario
- - 05/05/2014: Publicación del corpus general
  - 17/06/2014: Publicación del corpus social-tv
  - 27/06/ 2014: Envío de los resultados por los participantes
  - 31/07/2014: Resultados de la evaluación
  - 17/08/2014: Envío de trabajos
  - 16/09/2014: Taller
Número de participantes
- 2
Número de participantes de España
- 2
Dominio
- - General Corpus: tweets escritos por celebridades del mundo de la política, la economía, la comunicación, los medios de comunicación y la cultura.
  - Social-TV Corpus: este corpus fue recolectado durante la Final de la Copa del Rey entre Real Madrid y F.C. Barcelona, que se jugó el 16 de abril de 2014 en el estadio de Mestalla en Valencia.
Idiomas
- Español

Datos



Datos de entrenamiento	Formato XML
Derecho de redistribución de datos	Sólo para investigación
Enlace a datasets	http://www.sepln.org/workshops/tass/2014/tass2014.php#corpus

Datos de entrenamiento
- Formato XML
Derecho de redistribución de datos
- Sólo para investigación
Enlace a datasets
- http://www.sepln.org/workshops/tass/2014/tass2014.php#corpus

Resultados



Métrica de evaluación	Las métricas de evaluación para evaluar y comparar los diferentes sistemas son las mediciones habituales de precisión, cobertura y medida F1 calculadas sobre el conjunto completo de pruebas.
Rendimiento	F1: 0,91
Disponibilidad del código	Los resultados detallados de cada ejecución, los archivos de evaluación de relevancia (las etiquetas correctas para el conjunto de prueba) y un script PHP para realizar su propia evaluación se pueden encontrar aquí.
Tipo de ejecución	Local
Número total de resultados enviados	2
Resultados con los rankings	Julio Villena Román Janine García Morera, César de Pablo Sánchez, Miguel Ángel García Cumbreras, Eugenio Martínez Cámara, Alfonso Ureña López, María Teresa Martín Valdivia. TASS 2014 - Workshop on Sentiment Analysis at SEPLN - Overview. In Proceedings of the TASS workshop at SEPLN. http://www.sepln.org/workshops/tass/2014/papers/1.Overview.pdf [PDF] Julio Villena Román, Eugenio Martínez Cámara, Janine García Morera, Salud M. Jiménez Zafra. TASS 2014 - The Challenge of Aspect-based Sentiment Analysis. Procesamiento del Lenguaje Natural. N. 54 (2015), pp. 61-68. http://journal.sepln.org/sepln/ojs/ojs/index.php/pln/article/view/5095/2976
Volumen de publicación	Procesamiento del Lenguaje Natural. N. 54 (2015). ISSN 1135-5948
Gestión web de usuarios	Sí
Atención a participantes	Email: tass@daedalus.es

Métrica de evaluación
- Las métricas de evaluación para evaluar y comparar los diferentes sistemas son las mediciones habituales de precisión, cobertura y medida F1 calculadas sobre el conjunto completo de pruebas.
Rendimiento
- - F1: 0,91
Disponibilidad del código
- Los resultados detallados de cada ejecución, los archivos de evaluación de relevancia (las etiquetas correctas para el conjunto de prueba) y un script PHP para realizar su propia evaluación se pueden encontrar aquí.
Tipo de ejecución
- Local
Número total de resultados enviados
- 2
Resultados con los rankings
- Julio Villena Román Janine García Morera, César de Pablo Sánchez, Miguel Ángel García Cumbreras, Eugenio Martínez Cámara, Alfonso Ureña López, María Teresa Martín Valdivia. TASS 2014 - Workshop on Sentiment Analysis at SEPLN - Overview. In Proceedings of the TASS workshop at SEPLN.
  
  http://www.sepln.org/workshops/tass/2014/papers/1.Overview.pdf [PDF]
  
  Julio Villena Román, Eugenio Martínez Cámara, Janine García Morera, Salud M. Jiménez Zafra. TASS 2014 - The Challenge of Aspect-based Sentiment Analysis. Procesamiento del Lenguaje Natural. N. 54 (2015), pp. 61-68.
  
  http://journal.sepln.org/sepln/ojs/ojs/index.php/pln/article/view/5095/2976
Volumen de publicación
- Procesamiento del Lenguaje Natural. N. 54 (2015). ISSN 1135-5948
Gestión web de usuarios
- Sí
Atención a participantes
- Email: tass@daedalus.es