Kirilas Solodskihas, PhD, yra „Thestage AI“ įkūrėjas ir generalinis direktorius, taip pat patyręs AI tyrėjas ir verslininkas, turintis daugiau nei dešimtmetį patirtį optimizuojant neuroninių tinklų realaus pasaulio verslo programas. 2024 m. Jis įkūrė AI, kuris užtikrino 4,5 mln. USD finansavimą, kad būtų galima visiškai automatizuoti nervų tinklo pagreitį bet kurioje aparatūros platformoje.
Anksčiau, būdamas „Huawei“ komandos vadovu, Kirill paskatino AI fotoaparatų programų pagreitį „Qualcomm NPU“, prisidedant prie P50 ir P60 išmaniųjų telefonų veikimo bei uždirbant kelis patentus už savo naujoves. Jo tyrimai buvo rodomi tokiose pirmaujančiose konferencijose kaip CVPR ir ECCV, kur ji gavo apdovanojimus ir visos pramonės pripažinimą. Jis taip pat rengia podcast'ą apie AI optimizavimą ir išvadą.
Kas paskatino jus kartu įkurti „Theestage AI“ ir kaip jūs perėjote iš akademinės bendruomenės ir tyrimų prie išvadų optimizavimo, kaip startuolio įkūrėjo, sprendimo?
Fondai to, kas galiausiai tapo „Testage AI“, prasidėjo nuo mano darbo Huawei mieste, kur aš giliai automatiau diegimą ir optimizavau nervų tinklus. Šios iniciatyvos tapo kai kurių mūsų novatoriškų naujovių pagrindu, ir štai kur aš pamačiau tikrąjį iššūkį. Modelio mokymas yra vienas dalykas, tačiau tai, kad jis veiksmingai veikia realiame pasaulyje, ir padaryti jį prieinamą vartotojams. Diegimas yra kliūtis, kuri sulaiko daugybę puikių idėjų, susijusių su atgaivinimu. Kad kažkas būtų lengvai naudojamas kaip „ChatGpt“, yra daugybė pagrindinių iššūkių. Žvelgiant iš techninės perspektyvos, neuroninio tinklo optimizavimas yra skirtas sumažinti parametrus, išlaikant aukštą našumą. Tai sunki matematikos problema, turinti daug vietos naujovėms.
Rankinio išvadų optimizavimas ilgą laiką buvo kliūtis AI. Ar galite paaiškinti, kaip „Thestage AI“ automatizuoja šį procesą ir kodėl tai žaidimų keitiklis?
AI testage susiduria su didele AI kliūtimi: neuroninių tinklų rankinis suspaudimas ir pagreitis. Neuroniniai tinklai turi milijardus parametrų, ir išsiaiškinti, kuriuos iš jų pašalinti, kad būtų geresnis našumas, rankomis yra beveik neįmanoma. Anna (automatizuotas neuroninių tinklų analizatorius) automatizuoja šį procesą, nustatant, kuriuos sluoksnius pašalinti iš optimizavimo, panašiai kaip ZIP glaudinimas pirmiausia buvo automatizuotas.
Tai keičia žaidimą, padarydamas AI įvaikinimą greičiau ir prieinamesne. Užuot pasikliaudami brangiais rankiniais procesais, pradedantys įrenginiai gali automatiškai optimizuoti modelius. Ši technologija suteikia įmonėms aiškų vaizdą apie našumą ir sąnaudas, užtikrinant efektyvumą ir mastelį be spėlionių.
AI teigia, kad sumažina išvadų sąnaudas iki 5x – kas daro jūsų optimizavimo technologiją tokią efektyvią, palyginti su tradiciniais metodais?
AI mažinimas sumažina išvesties sąnaudas iki 5x, o optimizavimo metodas, viršijantis tradicinius metodus. Užuot pritaikęs tą patį algoritmą visam nervų tinklui, Anna suskaido jį į mažesnius sluoksnius ir nusprendžia, kurį algoritmą reikia naudoti kiekvienai daliai, kad būtų galima pateikti norimą glaudinimą, tuo pačiu padidindama modelio kokybę. Derinant intelektualią matematinę euristiką su veiksmingais apytiksliais, mūsų požiūris yra labai keičiamas ir palengvina AI pritaikymą bet kokio dydžio įmonėms. Mes taip pat integruojame lanksčius kompiliatorių parametrus, kad optimizuotume tinklus konkrečiai aparatinei įrangai, tokioms kaip „iPhone“ ar „NVIDIA GPU“. Tai suteikia mums daugiau kontrolės, kad būtų galima suderinti efektyvumą, padidinant greitį neprarandant kokybės.
Kaip „Thestage AI“ išvados pagreitis palyginamas su „Pytorch“ vietiniu kompiliatoriumi, ir kokius pranašumus jis siūlo AI kūrėjams?
AI greitėja išėjimas toli už vietinio „Pytorch“ kompiliatoriaus. „Pytorch“ naudoja „teisingo laiko“ kompiliavimo metodą, kuris kaupia modelį kiekvieną kartą, kai jis veikia. Tai lemia ilgą paleidimo laiką, kartais užtrunka minučių ar net ilgiau. Keičiamojoje aplinkoje tai gali sukelti neveiksmingumą, ypač kai reikia atsinešti naujų GPU internete, kad būtų galima valdyti padidėjusį vartotojo apkrovą, todėl vėlavimai, darantys įtaką vartotojo patirčiai.
Priešingai, „The Extage AI“ leidžia iš anksto kompiliuoti modelius, taigi, kai modelis bus paruoštas, jį galima akimirksniu panaudoti. Tai lemia greitesnį įdiegimą, pagerintą paslaugų efektyvumą ir sutaupytą išlaidų. Kūrėjai gali greičiau diegti ir išplėsti AI modelius, be tradicinio kompiliavimo kliūčių, todėl jis bus efektyvesnis ir reaguoja į didelės paklausos naudojimo atvejus.
Ar galite pasidalyti daugiau apie „QLIP“ įrankių rinkinį „Theestage AI“ ir kaip jis pagerina modelio našumą išlaikant kokybę?
„QLIP“, „Thestage AI“ įrankių rinkinys, yra „Python“ biblioteka, kuri pateikia svarbų primityvų rinkinį greitai sukurti naujus optimizavimo algoritmus, pritaikytus skirtingai aparatinei įrangai, pavyzdžiui, GPU ir APU. Įrankių rinkinį sudaro komponentai, tokie kaip kiekybinis, genėjimas, specifikacija, kompiliacija ir aptarnavimas, visi labai svarbūs kuriant efektyvias, keičiamas AI sistemas.
Tai, kas išskiria „Qlip“, yra jo lankstumas. Tai leidžia AI inžinierių prototipui ir įgyvendinti naujus algoritmus, turinčius tik keletą kodo eilučių. Pavyzdžiui, neseniai atliktą AI konferencijos dokumentą apie kvantizavimo neuroninius tinklus galima paversti darbiniu algoritmu, naudojant QLIP primityvus per kelias minutes. Tai leidžia kūrėjams lengvai integruoti naujausius savo modelių tyrimus, nesulaikant griežtų sistemų.
Skirtingai nuo tradicinių atvirojo kodo sistemų, kurios apsiriboja fiksuotu algoritmų rinkiniu, „QLIP“ leidžia kiekvienam pridėti naujų optimizavimo metodų. Šis prisitaikymas padeda komandoms išlikti greitai besikeičiančiai AI kraštovaizdžiui, gerinant rezultatus, užtikrinant lankstumą būsimoms naujovėms.
Jūs prisidėjote prie AI kiekybinio rėmų, naudojamų „Huawei“ P50 ir P60 kamerose. Kaip ši patirtis formavo jūsų požiūrį į AI optimizavimą?
Mano patirtis, dirbanti su Huawei „P50“ ir „P60“ AI kvantų sistemomis, suteikė man vertingų įžvalgų apie tai, kaip optimizavimą galima supaprastinti ir pakeisti. Kai pirmą kartą pradėjau nuo „Pytorch“, darbas su visa neuroninių tinklų vykdymo grafiku buvo griežtas, o kvantizavimo algoritmai turėjo būti įgyvendinti rankiniu būdu, sluoksniu. „Huawei“ sukūriau sistemą, kuri automatizavo procesą. Jūs tiesiog įvedate modelį, ir jis automatiškai sugeneruos kvantizavimo kodą, pašalindami rankinį darbą.
Tai paskatino mane suvokti, kad AI optimizavimo automatizavimas yra susijęs su greičio įgalinimu neprarandant kokybės. Vienas iš mano sukurtų ir patentuotų algoritmų tapo būtinu Huawei, ypač kai jie turėjo pereiti nuo „Kirin“ procesorių prie „Qualcomm“ dėl sankcijų. Tai leido komandai greitai pritaikyti nervų tinklus prie „Qualcomm“ architektūros neprarandant našumo ar tikslumo.
Supaprastindami ir automatizuodami procesą, mes sumažinome vystymosi laiką nuo daugiau nei metų iki tik kelių mėnesių. Tai padarė didžiulį poveikį milijonams naudojamų produktų ir suformavo mano požiūrį į optimizavimą, daugiausia dėmesio skiriant greičiui, efektyvumui ir minimaliam kokybės praradimui. Tai yra mąstysena, kurią šiandien pateikiu Anai.
Jūsų tyrimas buvo rodomas CVPR ir ECCV – kokie yra pagrindiniai AI efektyvumo proveržiai, kuriais jūs labiausiai didžiuojatės?
Kai manęs klausia apie savo pasiekimus dėl AI efektyvumo, aš visada galvoju apie mūsų dokumentą, kuris buvo pasirinktas žodiniam pristatymui CVPR 2023 m. Būdamas pasirenkamas žodiniam pristatymui tokioje konferencijoje, yra reta, nes pasirinkta tik 12 dokumentų. Tai padidina tai, kad generacinė AI paprastai dominuoja prožektoriuje, o mūsų dokumente laikėsi kitokio požiūrio, daugiausia dėmesio skiriant matematinei pusei, ypač neuroninių tinklų analizę ir suspaudimą.
Mes sukūrėme metodą, kuris padėjo mums suprasti, kiek parametrų nervų tinklui iš tikrųjų reikia efektyviai veikti. Taikydami funkcinės analizės metodus ir pereinant iš diskreto prie nuolatinės kompozicijos, mes sugebėjome pasiekti gerus suspaudimo rezultatus, išlaikydami galimybę integruoti šiuos pokyčius atgal į modelį. Straipsnyje taip pat buvo pristatomi keli nauji algoritmai, kurių bendruomenė nenaudojo, ir rado tolesnį pritaikymą.
Tai buvo vienas iš pirmųjų mano dokumentų AI srityje, ir, svarbiausia, tai buvo mūsų komandos kolektyvinių pastangų, įskaitant mano įkūrėjus, rezultatas. Tai buvo reikšmingas etapas mums visiems.
Ar galite paaiškinti, kaip neatsiejami neuroniniai tinklai (užeigos) veikia ir kodėl jie yra svarbi giluminio mokymosi naujovė?
Tradiciniuose nervų tinkluose naudojamos fiksuotos matricos, panašios į „Excel“ lenteles, kur iš anksto nustatytas dydis ir parametrai. Tačiau „Inns“ tinklus apibūdina kaip ištisines funkcijas, siūlančias daug daugiau lankstumo. Pagalvokite apie tai kaip antklodė su kaiščiais skirtingais aukščiais, ir tai rodo ištisinę bangą.
„Inns“ jaudina jų sugebėjimas dinamiškai „suspausti“ arba „išplėsti“ remiantis turimais ištekliais, panašiai kaip analoginis signalas skaitmeninamas į garsą. Galite susitraukti tinklą, neprarandant kokybės, ir prireikus išplėsti jį atgal, nekreipdami dėmesio.
Mes tai išbandėme, ir nors tradiciniai suspaudimo metodai lemia didelį kokybės praradimą, užeigos nuostoliai išlaiko artimą originalią kokybę net esant ekstremaliam suspaudimui. Matematika už IT yra netradiciškesnė AI bendruomenei, tačiau tikroji vertė yra jos sugebėjimas pateikti tvirtus, praktinius rezultatus su minimaliomis pastangomis.
„The Extage AI“ dirbo su kvantinių atkaitinimo algoritmais – kaip, jūsų manymu, artimiausiu metu AI optimizuojant vaidmenį vaidina „Quantum Computing“?
Kalbant apie kvantinį skaičiavimą ir jo vaidmenį Optimizuojant AI, pagrindinis pasirodymas yra tas, kad kvantinės sistemos siūlo visiškai kitokį požiūrį į problemas, tokias kaip optimizavimas. Nors mes neišradome kvantinių atkaitinimo algoritmų nuo nulio, tokios įmonės kaip „D-Wave“ teikia „Python“ bibliotekas, kad sukurtų kvantinius algoritmus, specialiai skirtas atskiroms optimizavimo užduotims, kurios idealiai tinka kvantiniams kompiuteriams.
Idėja yra ta, kad mes tiesiogiai nekraujame nervų tinklo į kvantinį kompiuterį. Tai neįmanoma naudojant dabartinę architektūrą. Vietoj to, mes apytiksliai susiję su tuo, kaip nerviniai tinklai elgiasi esant įvairių rūšių degradacijai, todėl jie tinka sistemai, kurią gali apdoroti kvantinis lustas.
Ateityje „Quantum Systems“ galėtų tiksliai ir optimizuoti tinklus tiksliai, kad tradicinės sistemos stengiasi suderinti. Kvantinių sistemų pranašumas yra jų įmontuotas paralelizmas, kažkas klasikinių sistemų gali modeliuoti tik naudojant papildomus išteklius. Tai reiškia, kad kvantinis skaičiavimas galėtų žymiai pagreitinti optimizavimo procesą, ypač kai mes išsiaiškiname, kaip efektyviai modeliuoti didesnius ir sudėtingesnius tinklus.
Tikrasis potencialas yra naudojant kvantinį skaičiavimą, kad būtų galima išspręsti masines, sudėtingas optimizavimo užduotis ir suskaidyti parametrus į mažesnes, labiau valdomas grupes. Naudojant tokias technologijas kaip kvantinis ir optinis skaičiavimas, yra didžiulės galimybės optimizuoti AI, kurios peržengia tai, ką gali pasiūlyti tradicinis skaičiavimas.
Kokia yra jūsų ilgalaikė AI vizija? Kur matote išvadų optimizavimą per ateinančius 5–10 metų?
Ilgainiui „Thestage AI“ siekia tapti pasauliniu modelio centru, kuriame kiekvienas gali lengvai pasiekti optimizuotą neuroninį tinklą su norimomis charakteristikomis, tiek išmaniajam telefonui, tiek bet kuriam kitam įrenginiui. Tikslas yra pasiūlyti vilkimo ir lašo patirtį, kai vartotojai įveda savo parametrus, o sistema automatiškai sukuria tinklą. Jei tinklo dar nėra, jis bus sukurtas automatiškai naudojant „Anna“.
Mūsų tikslas yra priversti neuroninius tinklus veikti tiesiogiai vartotojų įrenginiuose, o išlaidos sumažina 20–30 kartų. Ateityje tai galėtų beveik visiškai panaikinti išlaidas, nes vartotojo įrenginys tvarkytų skaičiavimą, o ne pasikliauti debesų serveriais. Tai, kartu su modelio suspaudimo ir aparatūros pagreičio pažanga, galėtų padaryti AI diegimą žymiai efektyvesnį.
Mes taip pat planuojame savo technologiją integruoti į aparatinės įrangos sprendimus, tokius kaip jutikliai, lustai ir robotika, kad būtų galima pritaikyti tokiose srityse kaip autonominis vairavimas ir robotika. Pavyzdžiui, mes siekiame pastatyti AI kameras, galinčias veikti bet kurioje aplinkoje, tiek erdvėje, tiek ekstremaliomis sąlygomis, tokiomis kaip tamsa ar dulkės. Dėl to AI būtų naudojama įvairiausiomis programomis ir leistų mums kurti pasirinktinius sprendimus konkrečiai aparatinei įrangai ir naudoti atvejus.
Dėkojame už puikų interviu, skaitytojai, norintys sužinoti daugiau, turėtų apsilankyti AI.
Source link
