Санта-Круздаги Калифорния университети тадқиқотчилари миллиардлаб параметрларга эга йирик сунъий интеллект тил моделларини (LLM) бошқара оладиган, айни пайтда ҳозирги тизимларга қараганда анча кам қувват сарфлайдиган усулни ишлаб чиқдилар.

Янги усул атиги 13 Вт тизим қувватини истеъмол қилган ҳолда миллиардлаб параметрларга эга LLVни ишга туширишга имкон берди, бу эса маиший LED чироқ истеъмолига тенг. Ушбу ютуқ, айниқса, сунъий интеллект тезлатгичларининг ҳозирги қувват истеъмолини ҳисобга олган ҳолда жуда таъсирли. Nvidiaнинг H100 ва H200 каби жорий маълумотлар маркази GPUлари тахминан 700 ватт истеъмол қилади. 

Шундай қилиб, янги усул бугунги машҳур ечимлардан 50 баробар самаралироқ бўлиб чиқди, деб ёзади Tom's Hardware.

Муваффақият калити ўқув жараёнларидан матрицаларни кўпайтиришни (MatMul) йўқ қилиш эди. Тадқиқотчилар иккита усулдан фойдаланганлар. Биринчиси -1, 0 ва 1 қийматларидан фойдаланган ҳолда саноқ тизимини учлик тизимга ўтказиш, бу кўпайтиришни рақамларнинг оддий йиғиндиси билан алмаштиришга имкон берди. Иккинчи усул вақтинчалик ҳисоблашни жорий этишга асосланган бўлиб, унда тармоқ тезроқ ишлашга имкон берадиган, аммо камроқ операцияларни бажаришга имкон берувчи самарали "хотира" ни олди. Иш махсус FPGA тизимида олиб борилди, бироқ тадқиқотчилар таъкидлашларича, уларнинг кўп самарали усуллари очиқ кодли дастурий таъминот ва бугунги кунда мавжуд тизимларни созлаш ёрдамида қўлланилиши мумкин.

Олимлар Олимлар Meta, OpenAl Google, Nvidia ва бошқалар каби асосий СИ бозор ўйинчиларига иш юкларини қайта ишлаш, тезроқ ва кўпроқ энергия яратиш учун янги ютуқлардан эркин фойдаланишга имкон берадиган ривожланишнинг манба кодини очишлари муҳимдир. Охир оқибат, бу сунъий интеллект шахсий компютерлар ва мобил қурилмаларда тўлиқ ишлай олишига ва инсон миясининг функционаллик даражасига яқинлашишига олиб келади.