IberSPEECH 2014

Compartir

Campaña

Nombre de la campaña

iberSPEECH 2014
Nombre de la tarea

Albazyn Evaluation Challanges
Tipo de tarea

Audio Segmentation

Search on Speech
Descripción de la tarea

Audio Segmentation. Esta tarea consiste en segmentar y etiquetar documentos de audio transmitidos para indicar qué segmentos contienen voz, música y / o ruido.

Search on Speech. Esta tarea  se centra en recuperar los archivos de audio apropiados que contengan cualquiera de esos términos / consultas. Consta de cuatro tareas diferentes:

  • Keyword Spotting
  • Spoken Term Detection (STD)
  • Query-by-Example Spoken Term Detection (QbE STD)
  • Query-by-Example Spoken Document Retrieval (QbE SDR)
Tema de la tarea

Sistemas conversacionales: segmentación de audio y búsqueda de términos.
Fecha evento / edición

2014
Organizadores
  • Juan L. Navarro-Mesa, Universidad de Las Palmas de Gran Canaria,  España
  • Alfonso Ortega Giménez, Universidad de Zaragoza, España
  • António Teixeira, University of Aveiro, Portugal
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 15/07/2014: Pubicacción datos de entranamiento y de development
  • 31/07/2014: Fecha límite inscripción
  • 01/09/2014: Publicación de los datos de test
  • 30/09/2014: Fecha límite para el envío de resultados y descripciones de sistemas
  • 15/10/2014: Distribución de resultados a los participantes.
  • 19-21/11/2014: Publicación oficial de los resultados a iberSPEECH
Número de participantes

7 equipos
Número de participantes de España

7
Dominio

Audio Segmentation: Noticias del canal 3/24 de la Televisión Catalana, Corporación Aragonesa de Radio y Televisión (CARTV) y noticias TV news en Euskera.

Search on Speech: IT (presentaciones en las jornadas MAVIR sobre recuperación de la información, procesamiento del lenguaje natural etc.) y noticias (euskera)
Idiomas Español (catalán y euskera para audio segmentation)

Datos

Datos de entrenamiento

Audio Segmentation: se proporciona la base de datos de transmisión de noticias del canal 3/24 de televisión catalana y base de datos de Aragón Radio (PCM format, mono, little endian 16 bit resolution, and 16 kHz sampling frequency).

Search on Speech: Corpus MAVIR 2006, 2007 and 2008 y noticias TV news en Euskera (QbE SDR)
Derecho de redistribución de datos

-
Enlace a datasets

Los dataset se han enviado a los participantes después del registro a las tareas

Resultados

Métrica de evaluación

Audio Segmentation: Segmentation Error Score (SER)

Search on Speech:

  • Keyword Spotting: Figure-of-Merit (FOM)
  • STD y  QbE STD: Actual Term Weighted Value (ATWV)
  • QbE SDR: score s
Rendimiento

STD (ATWV): 0.535

Análisis detallado de los resultados (STD)
Disponibilidad del código

No
Tipo de ejecución

Local
Número total de resultados enviados

8
Resultados con los rankings

http://iberspeech2014.ulpgc.es/images/Iberspeech2014_OnlineProceedings.pdf 
Volumen de publicación

Conference Proceedings iberSPEECH 2014.
Gestión web de usuarios

Email

Los grupos interesados deben registrarse para la evaluación, contactando al equipo organizador en os grupos interesados deben registrarse para la evaluación, contactando al equipo organizador en ortega@unizar.es con CC para el Comité Organizador de Evaluaciones de ALBAYZIN 2014. El contacto debe contener la siguiente información: Grupo de investigación (nombre y acrónimo) , Institución (universidad, centro de investigación, etc.), Nombre del Contacto con CC para el Comité Organizador de Evaluaciones de ALBAYZIN 2014. El contacto debe contener la siguiente información: Grupo de investigación (nombre y acrónimo) , Institución (universidad, centro de investigación, etc.), Nombre del Contacto
Atención a participantes

Email: ortega@unizar.es