Fizinių AI sistemų, tokių kaip robotai gamyklos grindys ir autonominės transporto priemonės gatvėse, kūrimas, labai priklauso nuo didelių, aukštos kokybės duomenų rinkinių, skirtų treniruotėms. Tačiau realaus pasaulio duomenų rinkimas yra brangus, daug laiko reikalaujantis ir dažnai apsiriboja keliomis pagrindinėmis technologijų įmonėmis. „NVIDIA“ „Cosmos“ platforma sprendžia šį iššūkį naudodama pažangias fizikos modeliavimas, kad būtų galima generuoti realius sintetinius duomenis skalėje. Tai leidžia inžinieriams mokyti AI modelius be išlaidų ir vėlavimo, susijusio su realaus pasaulio duomenų rinkimu. Šiame straipsnyje aptariama, kaip „Cosmos“ gerina prieigą prie esminių mokymo duomenų ir pagreitina saugios, patikimos AI plėtrą realaus pasaulio programoms.
Suprasti fizinę AI
Fizinė PG reiškia dirbtinio intelekto sistemas, kurios gali suvokti, suprasti ir veikti fiziniame pasaulyje. Skirtingai nuo tradicinės AI, galinti analizuoti tekstą ar vaizdus, fizinė PG turi susidurti su realaus pasaulio sudėtingumais, tokiais kaip erdviniai santykiai, fizinės jėgos ir dinamiška aplinka. Pvz., Savarankiškai važiuojantis automobilis turi atpažinti pėsčiuosius, numatyti savo judesius ir pakoreguoti jo kelią realiuoju laiku, tuo pačiu atsižvelgiant į tokius veiksnius kaip orai ir kelio sąlygos. Panašiai robotas sandėlyje turi naršyti kliūtis ir tiksliai manipuliuoti objektais.
Kurti fizinę AI yra sudėtinga, nes norint treniruotis modeliais, reikia daugybės duomenų, kad būtų galima išmokyti įvairius realaus pasaulio scenarijus. Šių duomenų rinkimas, nesvarbu, ar tai valandos vairavimo filmuotos medžiagos, ar robotų užduočių demonstracijos, gali būti reikalaujama daug laiko ir brangiai. Be to, bandymas AI realiame pasaulyje gali būti rizikingas, nes klaidos gali sukelti avarijas. „Nvidia Cosmos“ sprendžia šiuos iššūkius naudodama fiziką pagrįstus modeliavimus, kad būtų galima generuoti realius sintetinius duomenis. Šis požiūris supaprastina ir pagreitina fizinių AI sistemų plėtrą.
Kas yra „World Foundation“ modeliai?
„Nvidia Cosmos“ esmė yra AI modelių, vadinamų „World Foundation Models“ (WFMS), kolekcija. Šie AI modeliai yra specialiai sukurti taip, kad imituotų virtualią aplinką, kuri glaudžiai imituoja fizinį pasaulį. Sukurdami fiziką suvokiančius vaizdo įrašus ar scenarijus, WFMS imituoja, kaip objektai sąveikauja remdamiesi erdviniais ryšiais ir fiziniais įstatymais. Pavyzdžiui, WFM galėtų modeliuoti automobilį, važiuojantį per liūtį, parodydamas, kaip vanduo veikia trauką ar kaip priekiniai žibintai atspindi šlapius paviršius.
WFM yra labai svarbi fizinei AI, nes jie suteikia saugią, kontroliuojamą erdvę treniruotis ir išbandyti AI sistemas. Užuot rinkę realaus pasaulio duomenis, kūrėjai gali naudoti WFMS sintetiniams duomenims generuoti-realistiškai modeliuoti aplinka ir sąveika. Šis požiūris ne tik sumažina sąnaudas, bet ir pagreitina kūrimo procesą ir leidžia išbandyti sudėtingus, retus scenarijus (tokius kaip neįprastos eismo situacijos) be rizikos, susijusios su realaus pasaulio bandymais. WFMS yra bendrosios paskirties modeliai, kurie gali būti tiksliai suderinti su konkrečiomis programomis, panašiai kaip ir tai, kaip dideli kalbų modeliai yra pritaikyti tokioms užduotims kaip vertimas ar pokalbių programos.
Nvidijos kosmoso atidengimas
„Nvidia Cosmos“ yra platforma, skirta kūrėjams sukurti ir pritaikyti WFMS fizinėms AI programoms, ypač autonominėse transporto priemonėse (AVS) ir robotikoje. „Cosmos“ integruoja pažangius generatyvinius modelius, duomenų apdorojimo įrankius ir saugos funkcijas, kad sukurtų AI sistemas, sąveikaujančias su fiziniu pasauliu. Platforma yra atvirojo kodo, su modeliais galima įsigyti pagal leistinas licencijas.
Pagrindiniai platformos komponentai yra::
- Generaciniai pasaulio pamatų modeliai (WFMS): Iš anksto apmokyti modeliai, imituojantys fizinę aplinką ir sąveiką.
- Pažangūs žetonai: Įrankiai, kurie efektyviai suspaudžia ir apdoroja duomenis greitesniam modelio mokymui.
- Pagreitintas duomenų apdorojimo vamzdynas: Didelių duomenų rinkinių tvarkymo sistema, maitinama „NVIDIA“ skaičiavimo infrastruktūra.
Pagrindinė „Cosmos“ naujovė yra fizinio AI samprotavimo modelis. Šis modelis suteikia kūrėjams galimybę kurti ir modifikuoti virtualius pasaulius. Jie gali pritaikyti modeliavimus pagal konkrečius poreikius, pavyzdžiui, išbandyti roboto sugebėjimą pasiimti objektus arba įvertinti AV reakciją į staigią kliūtį.
Pagrindinės „Nvidia Cosmos“ bruožai
„Nvidia Cosmos“ pateikia įvairius komponentus, skirtus spręsti konkrečius fizinio AI kūrimo iššūkius:
- Kosmoso perdavimo WFMS: Šie modeliai imasi struktūrizuotų vaizdo įrašų, tokių kaip segmentavimo žemėlapiai, gylio žemėlapiai ar lidaro nuskaitymai ir generuoti kontroliuojamus, fotorealistinius vaizdo įrašus. Ši galimybė yra ypač naudinga kuriant sintetinius duomenis mokyti suvokimo AI, pavyzdžiui, sistemos, padedančios AV nustatyti objektus ar robotus atpažįsta jų aplinką.
- „Cosmos“ prognozuoja WFMS: „Cosmos“ prognozuoja modelius, generuojančius virtualias pasaulio būsenas, pagrįstas multimodaliniais įėjimais, įskaitant tekstą, vaizdus ir vaizdo įrašus. Jie gali numatyti ateities scenarijus, pavyzdžiui, kaip scena gali vystytis bėgant laikui, ir palaikyti daugialypės kadro generavimą sudėtingoms sekoms. Kūrėjai gali pritaikyti šiuos modelius naudodami „NVIDIA“ fizinį AI duomenų rinkinį, kad patenkintų jų specifinius poreikius, pavyzdžiui, numatyti pėsčiųjų judėjimą ar robotų veiksmus.
- Kosmoso priežastis WFM: „Cosmos Prie“ modelis yra visiškai pritaikomas WFM, turint omenyje spatiotemporalinį supratimą. Jos samprotavimo galimybės leidžia suprasti tiek erdvinius ryšius, tiek tai, kaip jie keičiasi laikui bėgant. Modelis naudoja minčių pagrindus, kad būtų galima analizuoti vaizdo duomenis ir numatyti rezultatus, pavyzdžiui, ar asmuo žengs į perėją, ar dėžutė nukris nuo lentynos.
Paraiškos ir naudojimo atvejai
„Nvidia Cosmos“ jau daro didelę įtaką pramonei, o kelios pirmaujančios įmonės priima savo fizinių AI projektų platformą. Šie ankstyvieji įvaikintojai pabrėžia „Cosmos“ universalumą ir praktinį poveikį įvairiuose sektoriuose:
- 1x: Kosmoso naudojimas pažengusiems robotikoms, siekiant pagerinti jų sugebėjimą sukurti AI varomus robotus.
- Judrumo robotika: Išplėsti savo partnerystę su NVIDIA, kad būtų galima naudoti kosmosą humanoidų robotų sistemoms.
- AI paveikslas: Kosmoso panaudojimas humanoidinei robotikai skatinti, daugiausia dėmesio skiriant AI, galinčiam atlikti sudėtingas užduotis.
- „ForeTellix“: Kosmoso pritaikymas autonominiame transporto priemonės modeliavime, kad būtų sukurta daugybė testavimo scenarijų.
- Slidinėjimas AI: „Cosmos“ naudojimas kurti AI pagrįstus sprendimus įvairioms programoms.
- Uber: Kosmoso integravimas į jų autonominę transporto priemonių kūrimą, siekiant pagerinti savarankiško vairavimo sistemų mokymo duomenis.
- OXA: „Cosmos“ naudojimas norint pagreitinti pramoninio mobilumo automatizavimą.
- Virtualus pjūvis: Chirurginės robotikos kosmoso tyrimas siekiant pagerinti tikslumą sveikatos priežiūros srityje.
Šie naudojimo atvejai parodo, kaip „Cosmos“ gali patenkinti įvairius poreikius, pradedant nuo transportavimo iki sveikatos priežiūros, pateikdami sintetinius duomenis šioms fizinėms AI sistemoms mokyti.
Ateities pasekmės
NVIDIA kosmoso paleidimas yra svarbus kuriant fizines AI sistemas. Siūlydama atvirojo kodo platformą su galingais įrankiais ir modeliais, „Nvidia“ daro fizinę AI kūrimą prieinamą platesniam kūrėjų ir organizacijų asortimentui. Tai gali sukelti reikšmingą pažangą keliose srityse.
Atliekant autonominį transportavimą, patobulintos mokymo duomenys ir modeliavimas gali sukelti saugesnius ir patikimesnius savarankiškus automobilius. Robotikoje greitesnis robotų, galinčių atlikti sudėtingas užduotis, plėtra galėtų pakeisti tokias pramonės šakas kaip gamyba, logistika ir sveikatos priežiūra. Sveikatos priežiūros srityje tokios technologijos kaip chirurginė robotika, kaip tiriama virtualiais pjūviais, galėtų pagerinti medicininių procedūrų tikslumą ir rezultatus.
Esmė
„Nvidia Cosmos“ vaidina gyvybiškai svarbų vaidmenį plėtojant fizinę AI. Ši platforma leidžia kūrėjams generuoti aukštos kokybės sintetinius duomenis, pateikiant iš anksto išmokytus, fiziką pagrįstus pasaulio fondo modelius (WFMS), kad būtų galima sukurti realius modeliavimus. Turėdamas prieigą prie atviro kodo, pažangių funkcijų ir etinių apsaugos priemonių, „Cosmos“ įgalina greitesnį, efektyvesnį AI plėtrą. Platforma jau skatina didelę pažangą tokiose pramonės šakose kaip transportas, robotika ir sveikatos priežiūra, teikdama sintetinius duomenis intelektualiųjų sistemų kūrimui, sąveikaujančiam su fiziniu pasauliu.
