Dirbtiniam intelektui (AI) toliau tobulėjant, gebėjimas apdoroti ir suprasti ilgas informacijos sekas tampa vis svarbesnis. Dirbtinio intelekto sistemos dabar naudojamos sudėtingoms užduotims, tokioms kaip ilgų dokumentų analizavimas, ilgų pokalbių stebėjimas ir didelio duomenų kiekio apdorojimas. Tačiau daugelis dabartinių modelių kovoja su ilgo konteksto samprotavimais. Kai įvestis ilgėja, jos dažnai praranda svarbias detales, todėl gaunami ne tokie tikslūs ar nuoseklūs rezultatai.
Ši problema ypač aktuali sveikatos priežiūros, teisinių paslaugų ir finansų sektoriuose, kur dirbtinio intelekto įrankiai turi tvarkyti išsamius dokumentus arba ilgas diskusijas ir pateikti tikslius, kontekstą suprantančius atsakymus. Dažnas iššūkis yra konteksto poslinkis, kai modeliai, apdorodami naują įvestį, pamiršta ankstesnę informaciją, todėl rezultatai yra mažiau svarbūs.
Siekdama pašalinti šiuos apribojimus, DeepMind sukūrė Michelangelo etaloną. Šis įrankis griežtai tikrina, kaip AI modeliai valdo ilgo konteksto samprotavimus. Įkvėptas menininko Mikelandželo, žinomo dėl sudėtingų skulptūrų iš marmuro blokų atskleidimo, etalonas padeda išsiaiškinti, kaip AI modeliai gali išgauti reikšmingus modelius iš didelių duomenų rinkinių. Nustatydamas, kur dabartiniai modeliai neatitinka, Michelangelo etalonas leidžia ateityje pagerinti AI gebėjimą mąstyti ilguose kontekstuose.
Ilgo konteksto samprotavimo supratimas naudojant AI
Ilgo konteksto samprotavimai yra susiję su AI modelio gebėjimu išlikti nuosekliems ir tikslūs ilgoms teksto, kodo ar pokalbių sekoms. Tokie modeliai kaip GPT-4 ir PaLM-2 gerai veikia su trumpo ar vidutinio ilgio įvestimis. Tačiau jiems reikia pagalbos su ilgesniais kontekstais. Didėjant įvesties ilgiui, šie modeliai dažnai praranda esmines detales iš ankstesnių dalių. Tai veda prie klaidų suprantant, apibendrinant ar priimant sprendimus. Ši problema žinoma kaip kontekstinio lango apribojimas. Ilgėjant kontekstui modelio gebėjimas išlaikyti ir apdoroti informaciją mažėja.
Ši problema yra svarbi realaus pasaulio programose. Pavyzdžiui, teisinėse paslaugose AI modeliai analizuoja sutartis, atvejų tyrimus ar reglamentus, kurie gali būti šimtų puslapių ilgio. Jei šie modeliai negali veiksmingai išlaikyti ir pagrįsti tokių ilgų dokumentų, jie gali praleisti esmines sąlygas arba neteisingai interpretuoti teisines sąlygas. Tai gali lemti netikslius patarimus ar analizę. Sveikatos priežiūros srityje AI sistemos turi apibendrinti pacientų įrašus, ligos istorijas ir gydymo planus, apimančius metus ar net dešimtmečius. Jei modelis negali tiksliai prisiminti svarbios informacijos iš ankstesnių įrašų, jis gali rekomenduoti netinkamą gydymą arba klaidingai diagnozuoti pacientus.
Nors buvo dedamos pastangos pagerinti modelių žetonų ribas (pvz., GPT-4 tvarko iki 32 000 žetonų, apie 50 puslapių teksto), ilgo konteksto samprotavimas vis dar yra iššūkis. Konteksto lango problema riboja įvesties, kurią modelis gali apdoroti, kiekį ir paveikia jo gebėjimą išlaikyti tikslų supratimą visoje įvesties sekoje. Tai veda prie konteksto dreifo, kai modelis palaipsniui forgetus ankstesnės informacijos, kai pateikiama nauja informacija. Tai sumažina jo gebėjimą generuoti nuoseklius ir tinkamus rezultatus.
Mikelandželo etalonas: koncepcija ir požiūris
Michelangelo etalonas sprendžia ilgo konteksto samprotavimo iššūkius, išbandydamas LLM užduotis, kurioms reikia išsaugoti ir apdoroti informaciją ilgomis sekomis. Skirtingai nuo ankstesnių etalonų, kuriuose pagrindinis dėmesys skiriamas trumpo konteksto užduotims, pvz., sakinio užbaigimui arba atsakymui į pagrindinius klausimus, Michelangelo etalonas pabrėžia užduotis, kurios verčia modelius mąstyti ilgose duomenų sekose, dažnai apimančiose blaškymąsi ar nereikšmingą informaciją.
Michelangelo etalonas meta iššūkį AI modeliams naudojant latentinės struktūros užklausų (LSQ) sistemą. Šis metodas reikalauja, kad modeliai rastų reikšmingus modelius dideliuose duomenų rinkiniuose, tuo pačiu išfiltruodami nesvarbią informaciją, panašiai kaip žmonės sijoja sudėtingus duomenis, kad sutelktų dėmesį į tai, kas svarbu. Etalonas orientuotas į dvi pagrindines sritis: natūralią kalbą ir kodą, pristatant užduotis, kurios tikrina ne tik duomenų gavimą.
Viena svarbi užduotis yra latentinio sąrašo užduotis. Šioje užduotyje modeliui pateikiama Python sąrašo operacijų seka, pvz., elementų pridėjimas, pašalinimas arba rūšiavimas, tada jis turi sudaryti teisingą galutinį sąrašą. Kad būtų sunkiau, į užduotį įtrauktos nesusijusios operacijos, pvz., sąrašo atšaukimas arba ankstesnių veiksmų atšaukimas. Tai išbando modelio gebėjimą sutelkti dėmesį į svarbias operacijas, imituojant, kaip AI sistemos turi tvarkyti didelius duomenų rinkinius, turinčius įvairią reikšmę.
Kita svarbi užduotis yra kelių raundų bendros nuorodos skiriamoji geba (MRCR). Ši užduotis įvertina, kaip gerai modelis gali sekti nuorodas ilguose pokalbiuose su persidengiančiomis arba neaiškiomis temomis. Iššūkis yra modeliui susieti nuorodas, padarytas pokalbio pabaigoje, su ankstesniais punktais, net jei tos nuorodos yra paslėptos po nereikšmingomis detalėmis. Ši užduotis atspindi realaus pasaulio diskusijas, kuriose temos dažnai keičiasi, o dirbtinis intelektas turi tiksliai sekti ir išspręsti nuorodas, kad būtų palaikomas nuoseklus bendravimas.
Be to, Mikelandželas turi IDK užduotį, kuri tikrina modelio gebėjimą atpažinti, kai neturi pakankamai informacijos atsakyti į klausimą. Šioje užduotyje modelis pateikiamas su tekstu, kuriame gali nebūti reikiamos informacijos, kad būtų galima atsakyti į konkrečią užklausą. Iššūkis yra modeliui nustatyti atvejus, kai teisingas atsakymas yra „aš nežinau“, o ne pateikti patikimą, bet neteisingą atsakymą. Ši užduotis atspindi esminį AI patikimumo aspektą – netikrumo pripažinimą.
Vykdydamas tokias užduotis, Mikelandželas ne tik paprasčiausiai ieško, bet ir išbando modelio gebėjimą samprotauti, sintezuoti ir valdyti ilgo konteksto įvestis. Jame pristatomas keičiamo dydžio, sintetinis ir nenutekinamas ilgo konteksto samprotavimo etalonas, suteikiantis tikslesnį LLM dabartinės būklės ir ateities potencialo matą.
Poveikis AI tyrimams ir plėtrai
Michelangelo etalono rezultatai turi didelę įtaką tam, kaip vystome AI. Etalonas rodo, kad dabartiniams LLM reikia geresnės architektūros, ypač dėmesio mechanizmuose ir atminties sistemose. Šiuo metu dauguma LLM remiasi dėmesio į save mechanizmais. Jie yra veiksmingi atliekant trumpas užduotis, tačiau sunku, kai kontekstas didėja. Čia matome konteksto dreifo problemą, kai modeliai pamiršta arba sumaišo ankstesnes detales. Norėdami tai išspręsti, mokslininkai tiria atminties papildytus modelius. Šie modeliai gali saugoti svarbią informaciją iš ankstesnių pokalbio ar dokumento dalių, todėl AI gali ją prisiminti ir prireikus naudoti.
Kitas perspektyvus metodas yra hierarchinis apdorojimas. Šis metodas leidžia AI suskirstyti ilgas įvestis į mažesnes, valdomas dalis, o tai padeda sutelkti dėmesį į svarbiausias detales kiekviename žingsnyje. Tokiu būdu modelis gali geriau susidoroti su sudėtingomis užduotimis, nepersistengdamas vienu metu per daug informacijos.
Ilgo konteksto samprotavimo tobulinimas turės didelį poveikį. Sveikatos priežiūros srityje tai gali reikšti geresnę pacientų įrašų analizę, kai AI gali sekti paciento istoriją laikui bėgant ir pasiūlyti tikslesnes gydymo rekomendacijas. Teisinių paslaugų srityje ši pažanga gali paskatinti dirbtinio intelekto sistemas, kurios gali tiksliau analizuoti ilgas sutartis arba teismų praktiką, o tai suteiks daugiau patikimų įžvalgų teisininkams ir teisės specialistams.
Tačiau dėl šios pažangos kyla kritinių etinių problemų. Kadangi dirbtinis intelektas vis geriau išlaiko ir argumentuoja ilgą kontekstą, kyla pavojus atskleisti neskelbtiną ar privačią informaciją. Tai yra tikras susirūpinimas tokioms pramonės šakoms kaip sveikatos priežiūra ir klientų aptarnavimas, kur konfidencialumas yra labai svarbus.
Jei AI modeliai išsaugo per daug informacijos iš ankstesnių sąveikų, būsimuose pokalbiuose jie gali netyčia atskleisti asmeninę informaciją. Be to, kai dirbtinis intelektas vis geriau sukuria įtikinamą ilgos formos turinį, kyla pavojus, kad jis gali būti panaudotas kuriant sudėtingesnę dezinformaciją ar dezinformaciją, o tai dar labiau apsunkins su AI reglamentavimu susijusius iššūkius.
Esmė
Michelangelo etalonas atskleidė įžvalgų apie tai, kaip AI modeliai valdo sudėtingas, ilgo konteksto užduotis, pabrėždami jų stipriąsias ir ribotas puses. Šis etalonas skatina inovacijas tobulėjant AI, skatina geresnę modelių architektūrą ir patobulintas atminties sistemas. Galimybė pertvarkyti tokias pramonės šakas kaip sveikatos priežiūra ir teisinės paslaugos yra įdomi, tačiau susijusi su etine atsakomybe.
Privatumo, dezinformacijos ir sąžiningumo problemos turi būti sprendžiamos, nes dirbtinis intelektas tampa įgudęs tvarkyti didžiulius informacijos kiekius. AI augimas turi ir toliau būti orientuotas į tai, kad visuomenė būtų naudinga apgalvotai ir atsakingai.
