Logo del Gobierno de España
Plan Digital Teleco

Plan de Impulso de las Tecnologías del Lenguaje

TASS 2017 - Aspect-based sentiment analysis

Campaña

Nombre de la campaña

Nombre de la tarea

Task 2: Aspect-based sentiment analysis

Tipo de tarea

Tarea de análisis de sentimiento

Descripción de la tarea

Esta segunda tarea propone el desarrollo de sistemas de clasificación de polaridad basados en aspectos. Se proporcionan dos datasets para evaluar los sistemas: Social-TV y STOMPOL. Los sistemas deben clasificar la opinión sobre el aspecto dado en un rango de opinión de nivel de tres intensidades: Positivo, Neutral y Negativo. 

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

Organizadores
  • Ondrej Bojar, Charles University in Prague, República Checa
  • Antonio Jimeno Yepes, IBM Research, Australia
  • Aurélie Névéol, LIMSI, CNRS, Francia
  • Mariana Neves, Federal Institute for Risk Assessment / Hasso Plattner Institute, Alemania
  • Pavel Pecina, Charles University in Prague, República Checa
  • Karin Verspoor, University of Melbourne, Australia

Grupos destinatarios

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario

 

31/01/2017: Publicación de los datos de entrenamiento

02/05/2017: Publicación de datos de test

12/05/2017: Fecha límite de envío de resultados

05/06/2016: Notificación de aceptación.

22/06/2016: Fecha límite para el envío de la versión final de los  artículos

Número de participantes

3

Número de participantes de España

-

Dominio

Salud (biomédicina)

 

Idiomas

Español, inglés y otros idiomas

  • Nombre de la campaña

  • Nombre de la tarea

    • Task 2: Aspect-based sentiment analysis

  • Tipo de tarea

    • Tarea de análisis de sentimiento

  • Descripción de la tarea

    • Esta segunda tarea propone el desarrollo de sistemas de clasificación de polaridad basados en aspectos. Se proporcionan dos datasets para evaluar los sistemas: Social-TV y STOMPOL. Los sistemas deben clasificar la opinión sobre el aspecto dado en un rango de opinión de nivel de tres intensidades: Positivo, Neutral y Negativo. 

  • Categoría de la tarea

    • Procesamiento del lenguaje natural

  • Fecha evento / edición

  • Organizadores

      • Ondrej Bojar, Charles University in Prague, República Checa
      • Antonio Jimeno Yepes, IBM Research, Australia
      • Aurélie Névéol, LIMSI, CNRS, Francia
      • Mariana Neves, Federal Institute for Risk Assessment / Hasso Plattner Institute, Alemania
      • Pavel Pecina, Charles University in Prague, República Checa
      • Karin Verspoor, University of Melbourne, Australia

  • Grupos destinatarios

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

  • Elegibilidad

    • Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

  • Calendario

    •  

      31/01/2017: Publicación de los datos de entrenamiento

      02/05/2017: Publicación de datos de test

      12/05/2017: Fecha límite de envío de resultados

      05/06/2016: Notificación de aceptación.

      22/06/2016: Fecha límite para el envío de la versión final de los  artículos

  • Número de participantes

    • 3

  • Número de participantes de España

    • -

  • Dominio

    • Salud (biomédicina)

       

  • Idiomas

    • Español, inglés y otros idiomas

Datos

Datos de entrenamiento

Distribuido como CSV

Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

Resultados

Métrica de evaluación

BLEU

Rendimiento

Scielo dataset:

  • EN-ES: 36,23
  • ES-EN: 37,49

Cochrane dataset: EN-ES:  48.99

NHS dataset: EN-ES: 41,22

http://www.statmt.org/wmt17/wmt-2017-biomedical.pdf

Disponibilidad del código

Evaluación
Participantes: no

Tipo de ejecución

Local

Número total de resultados enviados

82

Resultados con los rankings

Antonio Jimeno Yepes, Aurelie Neveol, Mariana Neves, Karin Verspoor, Ondrej Bojar, Arthur Boyer, Cristian Grozea, Barry Haddow, Madeleine Kittner, Yvonne Lichtblau, Pavel Pecina, Roland Roller, Rudolf Rosa, Amy Siu, Philippe Thomas, Saskia Trescher. Findings of the WMT 2017 Biomedical Translation Shared Task., Proceedings of the Conference on Machine Translation (WMT), Volume 2: Shared Task Papers, pp. 234–247, Co-located with EMNLP, Copenhagen, Denmark, September 711, 2017.

http://www.statmt.org/wmt17/pdf/WMT19.pdf

Volumen de publicación

Proceedings of the Conference on Statistical Machine Translation. Association for Computational Linguistics.

Gestión web de usuarios

Sí

Atención a participantes

Email

  • Métrica de evaluación

    • BLEU

  • Rendimiento

  • Disponibilidad del código

    • Evaluación
      Participantes: no

  • Tipo de ejecución

    • Local

  • Número total de resultados enviados

    • 82

  • Resultados con los rankings

    • Antonio Jimeno Yepes, Aurelie Neveol, Mariana Neves, Karin Verspoor, Ondrej Bojar, Arthur Boyer, Cristian Grozea, Barry Haddow, Madeleine Kittner, Yvonne Lichtblau, Pavel Pecina, Roland Roller, Rudolf Rosa, Amy Siu, Philippe Thomas, Saskia Trescher. Findings of the WMT 2017 Biomedical Translation Shared Task., Proceedings of the Conference on Machine Translation (WMT), Volume 2: Shared Task Papers, pp. 234–247, Co-located with EMNLP, Copenhagen, Denmark, September 711, 2017.

      http://www.statmt.org/wmt17/pdf/WMT19.pdf

  • Volumen de publicación

    • Proceedings of the Conference on Statistical Machine Translation. Association for Computational Linguistics.

  • Gestión web de usuarios

    • Sí

  • Atención a participantes

    • Email