Piloting the world's first double-blind AI evaluations
Artikelbild eller återanvändbart omslag för Google DeepMind
Google DeepMind introducerar världens första "dubbelblind" utvärdering av AI-modeller — en metod där utvärderare och modellskapare använder kryptografisk teknik för att testa modeller utan att någon part kan se den andras känsliga data.
Problemet de löser är att AI-modeller kan ha tränat på samma testfrågor som används för att bedöma dem, vilket gör resultaten opålitliga. Genom att använda Googles Confidential Computing kan utvärderare testa Gemini Flash Lite-modellen utan att Google ser testfrågorna och utan att modellen kan optimera sig baserat på dem i förväg.
If a model has already seen the test questions - a problem known as benchmark contamination - the results can only be trusted to an extent.
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör Google DeepMind.
Mer att läsa
DeepSeek open sources Super-Agent as a research prototype, a proactive coding agent it says can monitor group chats for coding issues and suggest solutions
Techmeme för 1 tim sedan
Insurance software maker Guidewire agrees to acquire Hyperexponential, which makes AI-powered insurance underwriting and pricing software, for $1.7B in cash
Techmeme för 1 tim sedan
One word for AI agents in 2027
Nate Herk för 5 tim sedan
Tests: chatbots rely on three obscure AI-built voter sites for US midterm answers; Copilot cited the error-prone Ballot Brief in 75% of tests and ChatGPT in 22%
Techmeme för 6 tim sedan