„NVIDIA“ spartina robotikos tyrimus ir plėtrą naudodama naujus atvirų modelių ir modeliavimo bibliotekas. Kreditas: NVIDIA
Šiandien „Nvidia Corp.“ paskelbė apie „Newton“, atvirojo kodo, GPU pagreitinto fizikos variklio, kurį valdo „Linux“ fondas, beta versiją. Sukurtas ant „NVIDIA Warp“ ir „OpenUSD“ sistemų, o kartu sukurta „Google Deepmind“, „Disney Research“ ir „NVIDIA“, „Newton“ beta versija dabar prieinama visiems robotikos kūrėjams.
Šią savaitę Seule, Pietų Korėjoje, vyks 2025 m. Robotų mokymosi konferencija (CORL) 2025 m. Renginys suburia robotikos ir mašinų mokymosi ekspertus, kad būtų galima aptarti pažangiausius tyrimus ir programas. „Nvidia“ teigė, kad „Newton Fizikos variklio“ beta versijoje yra naujausias „Open Isaac GR00T N1.6“ robotų fondo modelio, kurį netrukus bus galima įsigyti „Hugning Face“, išleidimą.
Ši naujausios kartos GR00T integruos „Nvidia Cosmos“ priežastį, atvirą, pritaikomą samprotavimo vizijos kalbos modelį (VLM), sukurtą fiziniam AI. „Vykdydamas gilias roboto smegenis,„ Cosmos Prie “neaiškios instrukcijos paverčia žingsnis po žingsnio planais, naudodama ankstesnes žinias, sveiką protą ir fiziką, kad galėtų tvarkyti naujas situacijas ir apibendrinti daugelį užduočių“,-sakė Nvidia.
Niutonas imituoti kūnus fiziniame AI
„Jetson Thor“, varomas „Nvidia Blackwell GPU“, palaiko realiojo laiko samprotavimus. Kosmoso priežastis padidina roboto sugebėjimą tvarkyti dviprasmiškas ar naujas instrukcijas, naudodamasi daugiapakopiais išvadomis ir AI samprotavimais, tvirtino bendrovė.
Kai robotas susiduria su nauja scena ar užduotimi, „Cosmos“ priežastis padeda jai ekstrapoliuoti ankstesnę patirtį, suskaidyti sudėtingas instrukcijas ir sudaryti planą, naudojant ankstesnes žinias ir sveiką protą. Panašiai kaip kalbų modelių priežastis dėl teksto, kosmoso priežastis taiko samprotavimo metodus fiziniams scenarijams, leidžiant robotams suprasti ir prisitaikyti prie nepažįstamų situacijų, naudojant samprotavimus kaip įrankį, kad būtų galima peržengti savo pradinius mokymo duomenis.
„Humanoidai yra kita fizinės AI siena, reikalaujanti galimybės pagrįsti, prisitaikyti ir saugiai elgtis nenuspėjamame pasaulyje“, – sakė Rev Lebaredian, „Omniverse“ ir „Nvidia“ modeliavimo technologijos viceprezidentas. „Atlikdami šiuos naujausius atnaujinimus, kūrėjai dabar turi tris kompiuterius, kad galėtų atsinešti robotus iš kasdienio gyvenimo – Isaac Gr00t tarnauja kaip roboto smegenys, Niutonas imituoja jų kūną, o„ Nvidia Omniverse “ – kaip jų mokymo vieta“.
„Cosmos World Foundation“ modeliai sumažina sudėtingumą
Pagrindiniai robotų gamintojai, tokie kaip „Aeirobot“, „Franka Robotics“, „LG Electronics“, „Lightwheel“, „Mentee Robotics“, „Neura Robotics“, „Solomon“, „Techman“ robotas ir UCR, vertina ISAAC GR00T N modelius, skirtus kurti bendrosios paskirties robotus.
„Corl“ „Nvidia“ taip pat paskelbė apie naujus savo „Open Cosmos World Foundation“ modelių (WFMS) atnaujinimus, kurie leido kūrėjams generuoti įvairius duomenis, kad paspartintų robotų mokymą mastu, naudojant tekstą, vaizdą ir vaizdo įrašus.
„Cosmos“ prognozuoja, kad netrukus pasirodys „2.5“, sujungia trijų „Cosmos WFM“ galią į vieną galingą modelį, mažinant sudėtingumą, taupant laiką ir padidinant efektyvumą. Tai palaiko ilgesnį vaizdo įrašų generavimą-gali sukurti iki 30 sekundžių vaizdo įrašų-taip pat daugialypės vaizdo kameros išėjimus turtingesniam pasaulio modeliavimui.
„NVIDIA“ duomenimis, „Cosmos Transfer 2,5“ pateiks greitesnius, aukštesnės kokybės rezultatus nei ankstesni modeliai, tuo tarpu 3,5x mažesnis. Tai gali generuoti fotorealistinius sintetinius duomenis iš „Ground-Truth 3D“ modeliavimo scenų arba erdvinio valdymo įėjimų, tokių kaip gylis, segmentacija, kraštai ir aukštos raiškos žemėlapiai.
Nauja darbo eiga padeda išmokyti roboto suvokimo
Roboto mokymas suvokti objektą yra vienas iš sunkiausių robotikos iššūkių. Nvidia sakė ne tik apie rankos perkėlimą, bet ir minties pavertimas tiksliu veiksmu – įgūdžių robotai turi išmokti bandymų ir klaidų.
Nauja „Dexterous“ suvokimo darbo eiga „Isaac Lab 2.3“ kūrėjo peržiūra, pastatyta ant „NVIDIA Omniverse“ platformos, treniruoja daugialypius rankų ir rankos robotus virtualiame pasaulyje, naudodamas automatizuotą mokymo programą. Tai prasideda nuo paprastų užduočių ir palaipsniui padidina sudėtingumą. Darbo eiga keičia tokius aspektus kaip gravitacija, trintis ir objekto svoris, robotai moko išmokti įgūdžių net nenuspėjamoje aplinkoje.
„Boston Dynamics“ „Atlas Humanoid“ išmoko suvokti naudodamas šią darbo eigą, kad žymiai pagerintų jo manipuliavimo galimybes. Scott Kuindersma, „Boston Dynamics“ robotikos tyrimų viceprezidentas, buvo svečias neseniai paskelbtame epizode „Episode“ Roboto ataskaita Podcast'as ir aptarė didelių elgesio modelių (LBMS) kūrimą ir testavimą atlasui.
Bendrovės komanda surinko 20 valandų teleoperacijos duomenų, kad išmokytų LBMS, o tai gali apibendrinti manipuliavimo užduotis. Komanda pademonstravo LBM, atlikdama „Atlas“, atlikdama dvikovos manipuliavimo užduotis, pavyzdžiui, pasirinkti ir įdėti dalis bendrovės vietoje keturkojus. Procesas apėmė duomenų rinkimą, anotaciją, modelio mokymą ir vertinimą.
https://www.youtube.com/watch?v=dfobux6mftc
Modeliavimas padeda įvertinti išmoktus robotų įgūdžius
Įgyti robotą įvaldyti naujų įgūdžių – pavyzdžiui, paimti puodelį ar vaikščioti per kambarį – yra nepaprastai sunku, o išbandyti šiuos įgūdžius fiziniame robote yra lėtas ir brangus.
Sprendimas slypi modeliavime, kuris, pasak NVIDIA, siūlo būdą išbandyti roboto išmoktus įgūdžius prieš daugybę scenarijų, užduočių ir aplinkos. Tačiau net modeliavimo metu kūrėjai linkę kurti fragmentiškus, supaprastintus testus, kurie neatspindi realaus pasaulio. Robotas, išmoksta naršyti tobulą, paprastą modeliavimą, nepavyks tada, kai jis susidurs su realaus pasaulio sudėtingumu.
Norėdami leisti kūrėjams atlikti sudėtingus, didelio masto vertinimus imituojamoje aplinkoje, nereikia kurti sistemos nuo nulio, NVIDIA ir „Lightwheel“ yra kartu kuria „Isaac Lab“-areną, atvirojo kodo politikos įvertinimo sistemą, skirtą keičiamam eksperimentavimui ir standartizuotam testavimui. Greitai bus galima įsigyti.
„Humanoid“ robotika bus rodoma trasa artėjančiame „Robobusiness“ renginyje spalio 15 ir 16 dienomis Santa Klaroje, Kalifornijoje. Deepu Talla, robotikos ir krašto AI viceprezidentas Nvidijoje, pradės renginį pavadinimu pavadinimu „Fizinė AI naujajai robotikos erai“.
Jim Fan, AI direktorius ir žymus „NVIDIA“ mokslininkas, ir Amit Goel, „NVIDIA“ produktų valdymo direktorius, renginyje taip pat rodomi pagrindiniai pranešėjai. Dar yra laiko registruotis ir dalyvauti renginyje.
