VideoAI Engineer
Stop Chunking Like It's 2022 — Yuval Belfer, AI21 Labs
Yuval Belfer från AI21 Labs visar att det inte finns en universell rätt storlek för hur man delar upp text när man indexerar data för AI-sökning. Ett exempel: en fråga om Jerrys favoritkyrka i Seinfeld-avsnitt hittas bäst med små textbitar, medan en fråga om hans ärkefiende kräver större sammanhang. Hans lösning är att indexera samma data sex gånger med olika storlekar, söka i alla samtidigt, och sedan rangordna de träffade dokumenten tillsammans istället för att välja en fast storlek. Metoden kostar två till fem gånger mer minne men ger 20-40 procent bättre sökresultat.
16 sep. youtube.com