KV Cache-Aware Routing and P/D Disaggregation on Kubernetes — Yuchen Fama & Ashish Kamra, Red Hat
Red Hat-ingenjörerna Yuchen Fama och Ashish Kamra presenterar två sätt att göra AI-modeller snabbare när man kör dem på servrar.
Det första är smart routing — när en användare ställer följdfrågor återanvänds tidigare beräkningar på samma server, vilket gör svaret 3 gånger snabbare. Det andra är att dela upp arbetet mellan två typer av servrar: en som förbereder texten och en som genererar ord. I ett praktiskt test föll väntetiden mellan ord från 900 millisekunder till 100 millisekunder. Men disaggregation fungerar bara bra vid medelhög belastning och kräver särskild nätverkshårdvara — annars är det bättre att hålla allt på en server.
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör AI Engineer.
Mer att läsa
Lumaril, which develops AI software for optimizing industrial production by connecting to existing control systems, raised a $66M Series A at a $400M valuation
Techmeme för 2 tim sedan
DeepSeek open sources Super-Agent as a research prototype, a proactive coding agent it says can monitor group chats for coding issues and suggest solutions
Techmeme för 2 tim sedan
Insurance software maker Guidewire agrees to acquire Hyperexponential, which makes AI-powered insurance underwriting and pricing software, for $1.7B in cash
Techmeme för 2 tim sedan
One word for AI agents in 2027
Nate Herk för 6 tim sedan