The State of Model Routing — NVIDIA, Cognition, OpenRouter
Videon diskuterar hur man väljer mellan stora och små AI-modeller för olika uppgifter.
Det visar sig att det inte alltid lönar sig att välja den billigaste modellen för varje enskild uppgift — en liten modell som hamnar utanför sitt kompetensområde kan bli väldigt dyr genom att kalla hjälpfunktioner om och om igen. Cognition löser det genom att låta en stor modell planera och delegera arbetet till mindre modeller, vilket sparade 40 procent på kostnader. En annan upptäckt är att det är värdefullt att hålla samma modell vid liv under en hel konversation — då sparas pengar eftersom redan processad information kan återanvändas istället för att bearbetas på nytt.
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör AI Engineer.
Mer att läsa
One word for AI agents in 2027
Nate Herk för 3 tim sedan
Tests: chatbots rely on three obscure AI-built voter sites for US midterm answers; Copilot cited the error-prone Ballot Brief in 75% of tests and ChatGPT in 22%
Techmeme för 4 tim sedan
Build an AI Code Reviewer with OpenRouter
OpenRouter för 4 tim sedan
AI:AM: Carbon in the Arena, Mistral's Le Chonk, the Agent-Run Economy, Ferroelectric RAM + New Hacks
The Cognitive Revolution för 6 tim sedan