Vals, backed by Andreessen Horowitz, is looking to become the gold standard for AI benchmarking
Artikelbild eller återanvändbart omslag för TechCrunch AI
Vals är ett startup från 2024 som vill förbättra hur AI-modeller testas och utvärderas.
Företaget fick nyligen 40 miljoner dollar i finansiering från Andreessen Horowitz. Medan många gamla test går att fuska på genom att träna modeller mot dem, håller Vals sina testuppgifter hemliga och testar istället om modeller kan utföra verkliga arbetsuppgifter inom områden som juridik, finans och kodning. Vals tjänar pengar genom att ta betalt från företag för att utvärdera deras modeller, ett system som liknas vid SAT-proven. Bolaget växer snabbt — intäkterna är åtta gånger högre än förra året och antalet anställda har tredubblats till 25 personer.
Benchmarking has become the industry norm for how AI companies validate their models' capabilities and, when the metrics swing in their favor, stand out from competitors and advertise their superiority.
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör TechCrunch AI.
Mer från TechCrunch AI
Apple CEO says the company doesn’t ‘want to ship AI for AI’s sake’
TechCrunch AI för 9 tim sedan
4 days left: How TechCrunch Founder Summit helps you make more useful connections to scale
TechCrunch AI för 9 tim sedan
Judge allows NAACP lawsuit over xAI data center pollution to move forward
TechCrunch AI för 9 tim sedan
OpenAI reportedly lowers funding target for new round
TechCrunch AI för 14 tim sedan