O Open ASR Leaderboard acaba de receber dados inéditos de inglês falado no Egito e na Nigéria. A novidade é fruto de uma parceria com a empresa Liva AI e visa tornar as avaliações de sistemas de reconhecimento automático de fala mais representativas.
Com essa atualização, a plataforma amplia seu conjunto de testes privados, garantindo medições mais confiáveis para a comunidade global. Os novos sotaques ajudam a refletir melhor a diversidade do idioma falado em diferentes regiões do mundo.
Como os novos dados de sotaques foram coletados
Diferente de testes criados em ambientes laboratoriais ou baseados em tarefas artificiais, os dados da Liva AI são obtidos por meio de produtos de consumo reais. A empresa desenvolve e distribui suas próprias ferramentas interativas para capturar comportamentos naturais.
Esse modelo de coleta permite identificar lacunas específicas dos modelos de inteligência artificial em diversos domínios e idiomas. Como resultado, o benchmark passa a contar com interações de alto contexto e mais próximas do uso do dia a dia.
Nova organização baseada nos Três Círculos de Kachru
Para exibir o desempenho dos modelos com mais precisão na aba privada, o Open ASR Leaderboard adotou uma divisão inspirada na teoria dos Três Círculos de Kachru. A estrutura categoriza o inglês em diferentes grupos geográficos e culturais:
- EUA versus Não-EUA: compara o desempenho nos Estados Unidos contra Reino Unido, Austrália, Canadá, Índia, Nigéria e Egito.
- Círculo Interno versus Círculos Externo e em Expansão: separa países com o inglês como língua primária (EUA, Reino Unido, Austrália e Canadá) daqueles onde o idioma tem uso institucional ou em expansão (Índia, Nigéria e Egito).
Segundo os responsáveis, a intenção é separar os Círculos Externo e em Expansão em categorias próprias à medida que novos sotaques forem adicionados ao sistema.
Evolução contínua dos testes privados na plataforma
A adição dos sotaques egípcio e nigeriano dá sequência a uma série de expansões recentes no Open ASR Leaderboard. Há poucos meses, a ferramenta já havia recebido 11 divisões de dados privados fornecidos pela Appen e DataOceanAI, cobrindo fala roteirizada e conversacional em cinco sotaques.
Posteriormente, o benchmark incluiu um conjunto privado de inglês com sotaque indiano, em parceria com a Voice Arena. A estratégia de usar dados não públicos serve para minimizar o “benchmaxxing”, prática em que modelos são otimizados apenas para tirar notas altas em testes conhecidos.
O que esperar do futuro das avaliações de voz
O esforço para aumentar a representatividade inclui a busca por mais idiomas, sotaques e provedores de dados independentes. A iniciativa busca incentivar o avanço contínuo das tecnologias de reconhecimento de fala em todo o mundo.
Além das atualizações no reconhecimento de fala, o projeto também abrange o Open TTS Leaderboard, voltado para a avaliação escalável de conversão de texto em fala multilíngue e clonagem de voz.
Fonte original: huggingface.co. Consulte a publicação original para contexto e atualizações.
