Qualcomm tahab jooksutada telefonis 30 miljardi parameetriga tehisaru
Uue Hexagon NPU keskmes on Mixture-of-Experts ehk MoE arhitektuur. See võimaldab hoida mudelis kümneid miljardeid parameetreid, kuid aktiveerida konkreetse ülesande täitmiseks neist ainult vajaliku osa.
Qualcommi näites kasutab 30 miljardi parameetriga mudel ühe tokeni genereerimiseks ligikaudu 3 miljardit aktiivset parameetrit. Nii vähenevad arvutuskoormus, mäluliiklus ja energiakulu, mis on akutoitel nutitelefonis kriitilise tähtsusega.
Uus kiirendi vähendab sõltuvust telefoni muutmälust
Hexagon NPU saab spetsiaalse Element Acceleratori, mis kiirendab transformer-arhitektuuriga mudelite tööd. Qualcomm suurendas ka NPU jagatud mälu mahtu 50 protsenti.
Rohkem andmeid saab seetõttu hoida arvutusüksuste lähedal, vähendamaks pidevat pöördumist telefoni muutmälu poole. Sellest peaks eriti kasu olema pikkade kontekstide ja mitut ülesannet korraga täitvate tehisaruagentide puhul.
NPU toetab INT2, INT4, INT8, FP8 ja FP16 arvutustäpsust. INT4 mudelite puhul lubab Qualcomm kuni 50 protsenti kiiremat sisendi eeltöötlust. See ei tähenda, et kogu tehisaru töötab 50 protsenti kiiremini, vaid puudutab konkreetset inference'i etappi.
Telefonis töötav tehisaru muudab privaatsuse kõrval ka kiirust
Kohaliku tehisaru suurim praktiline eelis on väiksem sõltuvus pilvest. Mudel saab töödelda kasutaja fotosid, sõnumeid, dokumente ja muid andmeid neid pidevalt serverisse saatmata. Samuti väheneb võrguühendusest tulenev viivitus.
Agentse tehisaru puhul muutub see eriti tähtsaks. Qualcomm näeb ette süsteeme, mis suudavad ülesande mitmeks etapiks jagada, kasutada erinevaid rakendusi ning arvestada varasema kontekstiga.
Selle saavutamiseks peab NPU olema piisavalt kiire, kuid veel olulisemalt piisavalt energiatõhus. Lauaarvuti või andmekeskuse meetod, kus jõudlusprobleem lahendatakse lihtsalt suurema energiatarbega, telefonis ei tööta.
30 miljardit parameetrit ei tähenda lauaarvuti jõudlust taskus
Qualcommi 30 miljardi parameetri väidet tasub siiski õigesti lugeda. MoE-mudeli kogumaht ja korraga aktiivsete parameetrite arv on kaks eri asja. 30 miljardist aktiveerub Qualcommi näites umbes kümnendik.
Samuti kasutab ettevõte mudelite tihendamiseks väiksema täpsusega INT4 ja isegi INT2 formaate. See vähendab märgatavalt mälumahtu ja arvutuskoormust, kuid võib sõltuvalt mudelist mõjutada ka tulemuse kvaliteeti.
Seega pole uus Snapdragon taskusse surutud andmekeskus. Olulisem muutus on see, et ülesanded, mille jaoks veel hiljuti oli vaja pilveserverit, võivad järjest sagedamini toimida otse telefonis.
Qualcomm avalikustab järgmise põlvkonna Snapdragon-platvormi täielikult 22. septembril Snapdragon Summitil. Ettevõte on juba tutvustanud selle uut Adreno graafikaarhitektuuri, mis saab tehisarvutusteks spetsiaalsed maatrikstuumad ja 18 MB kiiret kohalikku mälu.
Kui Qualcommi lubadused päris seadmetes peavad, ei käi järgmise põlvkonna telefonikiipide võistlus enam ainult protsessori taktsageduse ja graafikajõudluse üle. Järgmine suur küsimus on, kui palju tehisaru suudab telefon ise jooksutada, ilma et aku selle pärast kiiresti tühjeneks.
