Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

TASS 2013 - Sentiment Analysis at global level

Campaña

Nombre de la campaña

Nombre de la tarea

Task 1: Sentiment Analysis at global level

Tipo de tarea

Tarea de análisis de sentimiento

Descripción de la tarea

Esta tarea consiste en realizar un análisis automático de opiniones para determinar la polaridad global (utilizando 5 niveles) de cada mensaje en el conjunto de pruebas del corpus general. 

Categoría de la tarea

Procesamiento del lenguaje natural.

Fecha evento / edición

2013

Organizadores
  • Julio Villena-Román, Daedalus, España
  • Janine García-Morera, Daedalus, España
  • José Carlos González-Cristóbal, Universidad Politécnica de Madrid, España
  • L. Alfonso Ureña-López, Universidad de Jaén, España
  • Miguel Ángel García-Cumbreras, Universidad de Jaén, España
  • María-Teresa Martín-Valdivia, Universidad de Jaén, España
  • Eugenio Martínez-Cámara, Universidad de Jaén, España

Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: Tecnalia, CITIUS-Cilenis y Elhuyar Fundazioa.

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).

Calendario
  • 03/06/2013: Datos de entrenamiento
  • 15/06/2013: Datos de test
  • 01/07/2013: Fecha límite de inscripción para las tareas
  • 15/07/2013: Envío de los resultados
  • 02/08/2013: Resultados de la evaluación
  • 01/09/ 2013: Envío de los trabajos
  • 20/09/2013: Taller

Número de participantes

13 equipos

Número de participantes de España

11

Dominio

Tweets escritos por celebridades del mundo de la política, la economía, la comunicación, los medios de comunicación y la cultura.

Idiomas

Español

  • Nombre de la campaña

  • Nombre de la tarea

    • Task 1: Sentiment Analysis at global level

  • Tipo de tarea

    • Tarea de análisis de sentimiento

  • Descripción de la tarea

    • Esta tarea consiste en realizar un análisis automático de opiniones para determinar la polaridad global (utilizando 5 niveles) de cada mensaje en el conjunto de pruebas del corpus general. 

  • Categoría de la tarea

    • Procesamiento del lenguaje natural.

  • Fecha evento / edición

    • 2013

  • Organizadores

      • Julio Villena-Román, Daedalus, España
      • Janine García-Morera, Daedalus, España
      • José Carlos González-Cristóbal, Universidad Politécnica de Madrid, España
      • L. Alfonso Ureña-López, Universidad de Jaén, España
      • Miguel Ángel García-Cumbreras, Universidad de Jaén, España
      • María-Teresa Martín-Valdivia, Universidad de Jaén, España
      • Eugenio Martínez-Cámara, Universidad de Jaén, España

  • Grupos destinatarios

    • Abierto a quien quiera participar: grupos de investigación académicos y de la industria. Han participado: Tecnalia, CITIUS-Cilenis y Elhuyar Fundazioa.

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales).

  • Calendario

      • 03/06/2013: Datos de entrenamiento
      • 15/06/2013: Datos de test
      • 01/07/2013: Fecha límite de inscripción para las tareas
      • 15/07/2013: Envío de los resultados
      • 02/08/2013: Resultados de la evaluación
      • 01/09/ 2013: Envío de los trabajos
      • 20/09/2013: Taller

  • Número de participantes

    • 13 equipos

  • Número de participantes de España

    • 11

  • Dominio

    • Tweets escritos por celebridades del mundo de la política, la economía, la comunicación, los medios de comunicación y la cultura.

  • Idiomas

    • Español

Datos

Datos de entrenamiento
Formato XML

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación

Las métricas de evaluación para evaluar y comparar los diferentes sistemas son las mediciones habituales de precisión (1), cobertura (2) y medida F (3) calculadas sobre el conjunto completo de pruebas.

Rendimiento
  • F1 (5 levels): 0.62
  • F1 (3 levels): 0.69

Disponibilidad del código

Los resultados detallados de cada ejecución, los archivos de evaluación de relevancia (las etiquetas correctas para el conjunto de prueba) y un script PHP para realizar su propia evaluación se pueden encontrar aquí. 

Tipo de ejecución

Local

Número total de resultados enviados

56

Resultados con los rankings

Julio Villena-Román, Janine García-Morera. TASS 2013 - Workshop on Sentiment Analysis at SEPLN 2013: An overview. In Proceedings of the TASS workshop at SEPLN.

http://www.sepln.org/workshops/tass/2013/papers/tass2013-overview.pdf [PDF]

Julio Villena-Román, Janine García-Morera, Sara Lana-Serrano, José Carlos González-Cristóbal. TASS 2013 - A Second Step in Reputation Analysis in Spanish. Procesamiento del Lenguaje Natural. N. 52 (2014), pp. 37-44.

http://journal.sepln.org/sepln/ojs/ojs/index.php/pln/article/view/4657/2759

Volumen de publicación

Procesamiento del Lenguaje Natural. N. 52 (2014). ISSN 1135-5948

Gestión web de usuarios

Sí

Atención a participantes

Email: tass@daedalus.es

  • Métrica de evaluación

    • Las métricas de evaluación para evaluar y comparar los diferentes sistemas son las mediciones habituales de precisión (1), cobertura (2) y medida F (3) calculadas sobre el conjunto completo de pruebas.

  • Rendimiento

      • F1 (5 levels): 0.62
      • F1 (3 levels): 0.69

  • Disponibilidad del código

    • Los resultados detallados de cada ejecución, los archivos de evaluación de relevancia (las etiquetas correctas para el conjunto de prueba) y un script PHP para realizar su propia evaluación se pueden encontrar aquí. 

  • Tipo de ejecución

    • Local

  • Número total de resultados enviados

    • 56

  • Resultados con los rankings

  • Volumen de publicación

    • Procesamiento del Lenguaje Natural. N. 52 (2014). ISSN 1135-5948

  • Gestión web de usuarios

    • Sí

  • Atención a participantes

    • Email: tass@daedalus.es