Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original
Artikelbild eller återanvändbart omslag för Hugging Face
Hugging Face presenterar en ny metod kallad Quantization-Aware Healing (QAH) som kan återhämta prestanda i AI-modeller som har både komprimerat sin struktur och konverterats till låg precision (4-bit).
Istället för vanliga metoder som QAT eller QAD, distillerar QAH direkt från den ursprungliga, fullstor modellen snarare än från en redan skadad återhämtad version. När de tillämpade metoden på en 120B-modell komprimerad till 60B och kvantiserad till MXFP4, slog den 4-bit-versionen sin egen 16-bit-motsvarighet på 7 av 9 benchmarks — en overkslig omvändning av hur dessa modeller normalt presterar.
The 4-bit model ends up smaller, cheaper to run, and more accurate than the checkpoint it was quantized from.
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör Hugging Face.
Mer att läsa
DeepSeek open sources Super-Agent as a research prototype, a proactive coding agent it says can monitor group chats for coding issues and suggest solutions
Techmeme för 1 tim sedan
Insurance software maker Guidewire agrees to acquire Hyperexponential, which makes AI-powered insurance underwriting and pricing software, for $1.7B in cash
Techmeme för 1 tim sedan
One word for AI agents in 2027
Nate Herk för 5 tim sedan
Tests: chatbots rely on three obscure AI-built voter sites for US midterm answers; Copilot cited the error-prone Ballot Brief in 75% of tests and ChatGPT in 22%
Techmeme för 6 tim sedan