Campañas de evaluación sobre Infraestructuras lingüísticas
Resumen del Estudio
El objetivo general de este estudio sobre metodologías de evaluación de infraestructuras lingüísticas permite fijar un marco de referencia para la evaluación comparativa de recursos y herramientas de procesamiento del lenguaje natural para el español y lenguas cooficiales.
Establece las bases para poder constituir y construir una infraestructura de evaluación que incluya los aspectos de organización, logística, recursos, métodos y métricas, herramientas, y agentes (comité científico, expertos, participante, etc).
El estudio describe el estado del arte en evaluación e incluye una recopilación exhaustiva de las campañas de evaluación más relevantes del sector de TL tanto nacionales como internacionales. Se definen los aspectos metodológicos para generar datos de referencia (datasets), se refieren las métricas de evaluación adecuadas y las herramientas a emplear para cada problema relevante y se establecen protocolos de evaluación. Incluye un apartado en el que se dan unas pautas para la organización de tareas de evaluación y otro apartado donde se resumen todas las tareas en varias figuras.
Se han generado además dos anexos para tratar en detalles dos temas de especial interés en el contexto de la organización de campañas: uno sobre reproducibilidad a nivel de componentes de sistemas para utilizar desarrollos anteriores y otro sobre la importancia de considerar las cuestiones del Reglamento General de Protección de datos (RGPD) y éticas en el momento de la organización de una tarea de evaluación.
Por último, se ofrecen recomendaciones para la organización de campañas de evaluación (nacionales e internacionales) en los casos más representativos de los ejes 1 y 4 del Plan TL y para el desarrollo de una Plataforma de Campañas de Evaluación en el Plan TL.
Autores
El presente estudio ha sido desarrollado por:
- Paolo Rosso, Centro de Investigación PRHLT, de la Universitat Politècnica de València
- Francisco Rangel, Centro de Investigación PRHLT, de la Universitat Politècnica de València
- Francisco Casacuberta, Centro de Investigación PRHLT, de la Universitat Politècnica de València
- Carlos David Martínez, Centro de Investigación PRHLT, de la Universitat Politècnica de València