Async GRPO with LoRA across HF Jobs: a bucket, a proxy, and no NCCL
Artikelbild eller återanvändbart omslag för Hugging Face
Hugging Face har uppdaterat sitt AsyncGRPOTrainer-verktyg (i version 1.14) så att det kan träna adaptrar — små tillägg till AI-modeller — istället för att träna hela modellen.
De nya adaptrar är bara några megabyte stora och kan synkroniseras genom en lagringsbucket istället för mellan maskiner. En träningsjobb och två inference-servrar (vLLM) kan nu köra på helt separata maskiner. En liten proxyserver dirigerar varje begäran till rätt server och uppdaterar alla servrar när det finns nya adaptrar. I praktiken blev träningen fem gånger snabbare: från 3 timmar 27 minuter ned till 53 minuter för 500 steg.
AsyncGRPOTrainer can now train a LoRA adapter and sync only that adapter to vLLM (TRL v1.14).
Sammanfattningen har tagits fram med AI av Vibekollen utifrån källans publicering. Innehållet tillhör Hugging Face.
Mer att läsa
DeepSeek open sources Super-Agent as a research prototype, a proactive coding agent it says can monitor group chats for coding issues and suggest solutions
Techmeme för 1 tim sedan
Insurance software maker Guidewire agrees to acquire Hyperexponential, which makes AI-powered insurance underwriting and pricing software, for $1.7B in cash
Techmeme för 1 tim sedan
One word for AI agents in 2027
Nate Herk för 5 tim sedan
Tests: chatbots rely on three obscure AI-built voter sites for US midterm answers; Copilot cited the error-prone Ballot Brief in 75% of tests and ChatGPT in 22%
Techmeme för 6 tim sedan