Benchmarking Coding Agents on New vs Legacy Codebases — Denys Linkov, Wisedocs
Wisedocs processade medicinska anspråk genom tio olika kodrepon som ingen ville röra vid.
Denys Linkovs team spenderade sex månader på att slå ihop det till ett enda repo, och han benchmarkade om de borde ha väntat på bättre AI-modeller istället. En refaktoringsuppgift tog tre timmar med o3-modellen och resulterade i tio stora fel, medan nyare modeller som Sonnet 4.6 och Opus 4.8 klarade det snabbare och med färre misstag. Men när man gav GPT 5.5 hela jobbet på en gång skrev den 2 000 rader kod på 10 minuter som mest var skalet utan själva funktionerna — något modellen själv erkände. Linkov drar slutsatsen att att göra jobbet direkt var värt det: kodroller öppnades för commits, arbete som tog månader tar nu en vecka, och utvecklare från andra delar av företaget hjälper till frivilligt nu.
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör AI Engineer.
Mer att läsa
Lumaril, which develops AI software for optimizing industrial production by connecting to existing control systems, raised a $66M Series A at a $400M valuation
Techmeme för 2 tim sedan
DeepSeek open sources Super-Agent as a research prototype, a proactive coding agent it says can monitor group chats for coding issues and suggest solutions
Techmeme för 2 tim sedan
Insurance software maker Guidewire agrees to acquire Hyperexponential, which makes AI-powered insurance underwriting and pricing software, for $1.7B in cash
Techmeme för 2 tim sedan
One word for AI agents in 2027
Nate Herk för 6 tim sedan