SG.hu
Nem kell GPU a Microsoft új, hiperhatékony MI-modelljéhez
A Microsoft kutatói bejelentették, hogy kifejlesztették az eddigi legnagyobb léptékű 1-bites mesterséges intelligenciamodellt, más néven „bitnetet”. A BitNet b1.58 2B4T nevű modell MIT licenc alatt nyíltan elérhető, és képes CPU-kon, köztük az Apple M2-n is futni.
A bitnetek lényegében tömörített modellek, amelyeket gyenge hardvereken való futtatásra terveztek. A szabványos modellekben a súlyok, vagyis a modell belső szerkezetét meghatározó értékek gyakran kvantáltak, így a modellek a gépek széles skáláján jól teljesítenek. A súlyok kvantálása csökkenti a súlyok ábrázolásához szükséges bitek - a számítógép által feldolgozható legkisebb egységek - számát, így a modellek kevesebb memóriával rendelkező chipeken gyorsabban futtathatók. A bitnetek a súlyokat mindössze három értékre kvantálják, ami memória- és számítási szempontból elméletileg hatékonyabbá teszi őket, mint a legtöbb mai modell.
A Microsoft kutatói szerint a BitNet b1.58 2B4T az első olyan bitnet, amelynek 2 milliárd paramétere van - a „paraméterek” nagyrészt a „súlyok” szinonimája. A kutatók szerint a 4 trillió tokenből álló adathalmazon - amely egy becslés szerint körülbelül 33 millió könyvnek felel meg - képzett BitNet b1.58 2B4T felülmúlja a hasonló méretű hagyományos modelleket.
A BitNet b1.58 2B4T nem söpri fel a padlót a rivális 2 milliárd paraméteres modellekkel szemben, de látszólag megállja a helyét. A kutatók tesztjei szerint a modell felülmúlja a Meta Llama 3.2 1B, a Google Gemma 3 1B és az Alibaba Qwen 2.5 1.5B modelljét olyan benchmarkokon, mint a GSM8K (általános iskolai szintű matematikai feladatok gyűjteménye) és a PIQA (amely a fizikai, józan gondolkodás képességét teszteli). Talán még lenyűgözőbb, hogy a BitNet b1.58 2B4T gyorsabb, mint más, hasonló méretű modellek - egyes esetekben kétszer gyorsabb -, miközben a memória töredékét használja.
Van azonban egy bökkenő. Ezen teljesítmény eléréséhez a Microsoft egyedi keretrendszerének, a bitnet.cpp-nek a használata szükséges, amely jelenleg csak bizonyos hardverekkel működik. A támogatott chipek listájáról hiányoznak a GPU-k, amelyek uralják a mesterséges intelligencia infrastruktúrát. Mindez azt jelenti, hogy a bitnetek ígéretesek lehetnek, különösen az erőforrás-korlátozott eszközök esetében. A kompatibilitás azonban egy nagy akadály - és valószínűleg az is marad.
A bitnetek lényegében tömörített modellek, amelyeket gyenge hardvereken való futtatásra terveztek. A szabványos modellekben a súlyok, vagyis a modell belső szerkezetét meghatározó értékek gyakran kvantáltak, így a modellek a gépek széles skáláján jól teljesítenek. A súlyok kvantálása csökkenti a súlyok ábrázolásához szükséges bitek - a számítógép által feldolgozható legkisebb egységek - számát, így a modellek kevesebb memóriával rendelkező chipeken gyorsabban futtathatók. A bitnetek a súlyokat mindössze három értékre kvantálják, ami memória- és számítási szempontból elméletileg hatékonyabbá teszi őket, mint a legtöbb mai modell.
A Microsoft kutatói szerint a BitNet b1.58 2B4T az első olyan bitnet, amelynek 2 milliárd paramétere van - a „paraméterek” nagyrészt a „súlyok” szinonimája. A kutatók szerint a 4 trillió tokenből álló adathalmazon - amely egy becslés szerint körülbelül 33 millió könyvnek felel meg - képzett BitNet b1.58 2B4T felülmúlja a hasonló méretű hagyományos modelleket.
A BitNet b1.58 2B4T nem söpri fel a padlót a rivális 2 milliárd paraméteres modellekkel szemben, de látszólag megállja a helyét. A kutatók tesztjei szerint a modell felülmúlja a Meta Llama 3.2 1B, a Google Gemma 3 1B és az Alibaba Qwen 2.5 1.5B modelljét olyan benchmarkokon, mint a GSM8K (általános iskolai szintű matematikai feladatok gyűjteménye) és a PIQA (amely a fizikai, józan gondolkodás képességét teszteli). Talán még lenyűgözőbb, hogy a BitNet b1.58 2B4T gyorsabb, mint más, hasonló méretű modellek - egyes esetekben kétszer gyorsabb -, miközben a memória töredékét használja.
Van azonban egy bökkenő. Ezen teljesítmény eléréséhez a Microsoft egyedi keretrendszerének, a bitnet.cpp-nek a használata szükséges, amely jelenleg csak bizonyos hardverekkel működik. A támogatott chipek listájáról hiányoznak a GPU-k, amelyek uralják a mesterséges intelligencia infrastruktúrát. Mindez azt jelenti, hogy a bitnetek ígéretesek lehetnek, különösen az erőforrás-korlátozott eszközök esetében. A kompatibilitás azonban egy nagy akadály - és valószínűleg az is marad.