Measuring benchmark optimization in speech recognition
Artikelbild eller återanvändbart omslag för Hugging Face
Hugging Face presenterar en studie om hur taligenköppningsmodeller (ASR-modeller som skriver ut vad människor säger) ofta optimeras för att klara specifika testset snarare än att transkribera tal noggrant.
Forskarna testade 11 populära modeller och upptäckte att flera av de högsta rankade systemeten reproducerade felaktiga referenstranskriberingar från dataseten VoxPopuli och LibriSpeech – även när ljud motsade detta. Modellerna verkar använda akustiska ledtrådar för att känna igen vilket benchmark de testas på, vilket får deras prestationssiffror att se bättre ut än de faktiskt är. Genom att testa med nya röster och tysade tal kunde forskarna visa att modellerna ofta började transkribera korrekt när de inte kunde identifiera datasetet.
Our latest research introduces three tests to help quantify it. We evaluated 11 widely used open-source ASR models and found that several of the highest-scoring systems reproduced benchmark transcripts from the VoxPopuli English and LibriSpeech (clean, other) datasets – even when the audio contradicted them, relevant w
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör Hugging Face.
Mer att läsa
DeepSeek open sources Super-Agent as a research prototype, a proactive coding agent it says can monitor group chats for coding issues and suggest solutions
Techmeme för 1 tim sedan
Insurance software maker Guidewire agrees to acquire Hyperexponential, which makes AI-powered insurance underwriting and pricing software, for $1.7B in cash
Techmeme för 1 tim sedan
One word for AI agents in 2027
Nate Herk för 5 tim sedan
Tests: chatbots rely on three obscure AI-built voter sites for US midterm answers; Copilot cited the error-prone Ballot Brief in 75% of tests and ChatGPT in 22%
Techmeme för 6 tim sedan