NVIDIA išleidžia naujus fizinius AI modelius ir autonominius transporto priemonių įrankius

LAS VEGAS – Kad suprastų ir veiktų dinamiškoje aplinkoje, fizinis AI turi mokėti mokytis, mąstyti ir planuoti, teigia NVIDIA Corp. Bendrovė vakar paskelbė apie naujus atvirus modelius, sistemas, modeliavimo įrankius, duomenų rinkinius ir dirbtinio intelekto infrastruktūrą, skirtą robotikos ir savarankiškai vairuojančių transporto priemonių kūrėjams.

„Robotikos ChatGPT momentas jau čia“, – sakė Jensenas Huangas, NVIDIA įkūrėjas ir generalinis direktorius. „Fizinio AI proveržiai – modeliai, kurie supranta realų pasaulį, mąsto ir planuoja veiksmus – atveria visiškai naujas programas.

„Visa NVIDIA „Jetson“ robotikos procesorių, CUDA, „Omniverse“ ir atvirų fizinių dirbtinio intelekto modelių krūva įgalina mūsų pasaulinę partnerių ekosistemą pakeisti pramonės šakas dirbtinio intelekto valdoma robotika“, – pridūrė jis.

NVIDA siūlo „generalistų-specialistų“ robotų modelius

“Šiandien dauguma robotų yra specialistai. Jie puikiai atlieka vieną užduotį, bet negali prisitaikyti prie nieko kito”, – sakė NVIDIA Omniverse ir modeliavimo technologijų viceprezidentas Revas Lebaredianas. “Dabar matome bendruosius robotus. Kaip ir bakalauro laipsnį turintys žmonės, jie gali susidoroti su įvairiomis situacijomis. Tačiau jiems trūksta ekspertinių įgūdžių sudėtingiems darbams atlikti.”

„Ateitis priklauso generalistui specialistui“, – tvirtino jis. „Galvokite apie juos kaip apie robotų pasaulio mokslų daktarus. Jie sujungia plačias žinias su gilia patirtimi, todėl yra universalūs ir patikimi. Šių pažangių robotų kūrimui reikalinga atvira kūrimo platforma. Vien suvokimo neužtenka, todėl siūlome naujus Cosmos modelius, skirtus samprotavimui, ir pažangius pagrindo modelius su pasauliu karta ir supratimu.

NVIDIA teigė, kad šiandienos mašinos yra vienos užduotys ir sunkiai programuojamos. Norint, kad jie būtų pajėgesni, paprastai reikia didžiulio kapitalo ir žinių, kad būtų sukurti pamatų modeliai, tačiau Santa Klaroje, Kalifornijoje, įsikūrusi įmonė teigė, kad jos atvirieji modeliai leidžia kūrėjams apeiti daug išteklių reikalaujantį išankstinį mokymą.

Visi nauji modeliai, kuriuos galima rasti Hugging Face, apima:

• NVIDIA Cosmos Transfer 2.5 ir NVIDIA Cosmos Predict 2.5: Visiškai pritaikomi pasaulio modeliai, leidžiantys fiziškai pagrįstą sintetinių duomenų generavimą ir roboto politikos įvertinimą imituojant fizinį AI
• NVIDIA Cosmos 2 priežastis: NVIDIA teigimu, samprotavimo vizijos kalbos modelis (VLM) leidžia mašinoms matyti, suprasti ir veikti fiziniame pasaulyje kaip žmonėms.
• NVIDIA Isaac GR00T N1.6: Mąstymo vizijos-kalbos-veiksmo (VLA) modelis, sukurtas atrakinti viso kūno valdymą humanoidams, kad jie galėtų judėti ir valdyti objektus vienu metu; samprotavimui ir kontekstiniam supratimui naudoja NVIDIA Cosmos Reason

Modeliavimas, skaičiavimo sistemos, sukurtos robotikai

NVIDIA teigė, kad keičiamas modeliavimas yra būtinas treniruojant ir vertinant robotus, tačiau dabartinės darbo eigos išlieka fragmentiškos ir sunkiai valdomos. Lyginamoji analizė dažnai atliekama rankiniu būdu ir ją sunku pakeisti, o galutiniams vamzdynams reikalingas sudėtingas skirtingų skaičiavimo išteklių orkestravimas.

Šiandien bendrovė „GitHub“ išleido naujas atvirojo kodo sistemas, kad supaprastintų šiuos dujotiekius ir paspartintų perėjimą nuo tyrimų prie realaus naudojimo atvejų.

„NVIDIA Isaac Lab-Arena“ suteikia robotų politikos vertinimo ir lyginamosios analizės sistemą modeliuojant, o įvertinimo ir užduočių lygiai sukurti naudojant „Lightwheel“. Bendrovė teigė, kad standartizuoja testavimą ir užtikrina, kad roboto įgūdžiai būtų tvirti ir patikimi prieš juos panaudojant fizinėje aparatinėje įrangoje.

„Isaac Lab-Arena yra pirmoji pasaulyje bendradarbiaujanti sistema, skirta didelio masto robotų politikos vertinimui ir lyginamajai analizei, siekiant pašalinti šią kritinę spragą“, – sakė Lebaredianas. “Jis suvienija išteklius, užduotis, mokymo scenarijus ir svarbiausius robotikos bendruomenės etalonus, pvz., Libero ir Robocasa. Kaip vienintelis bendruomenės tiesos šaltinis, Isaac Lab-Arena siūlo pastolius, reikalingus įgūdžiams įvertinti prieš išleidžiant realų pasaulį.”

NVIDIA OSMO yra debesyje sukurta orkestravimo sistema, kuri sujungia robotų kūrimą į vieną komandų centrą. Bendrovė teigė, kad tai leidžia kūrėjams apibrėžti ir vykdyti darbo eigą, pvz., sintetinių duomenų generavimą, modelių mokymą ir programinės įrangos testavimą.

OSMO veikia įvairiose skaičiavimo aplinkose – nuo darbo stočių iki mišrių debesies atvejų – pagreitina kūrimo ciklus, teigė NVIDIA. OSMO dabar yra prieinama ir naudojama robotų kūrėjų, tokių kaip „Hexagon“, ir ji yra integruota į „Microsoft Azure Robotics Accelerator“ įrankių grandinę.

Nauji NVIDIA atviri modeliai, įskaitant „Nemotron“ šeimą, skirtą agentiniam AI, „Cosmos“ platformą fiziniam AI, „Alpamayo“ šeimą, skirtą AV plėtrai, Isaac GR00T, skirtą robotikai ir Clara, skirtus biomedicinai, yra skirti kaip įrankiai, padedantys kurti realias AI sistemas. Šaltinis: NVIDIA

NVIDIA, Hugging Face komanda, kuri paspartins fizinį AI vystymąsi

„NVIDIA ir Hugging Face susivienija, kad suvienytų mūsų bendruomenes, sujungdamos 2 milijonus NVIDIA robotų ekspertų su 13 milijonų Hugging Face AI kūrėjų“, – sakė Lebaredianas. „NVIDIA Isaac ir GR00T technologijos dabar yra įtrauktos į Hugging Face LeRobot biblioteką. Tai suteikia kūrėjams tiesioginę prieigą prie modelių, tokių kaip GR00T N1.6, ir modeliavimo sistemų, tokių kaip Isaac Labyrinth, kad įvertintų roboto įgūdžius.

„Aparatūros pusėje viskas tiesiog veikia“, – sakė jis. „Atvirojo kodo „Reachy 2“ humanoidas sklandžiai veiks „NVIDIA Jetson Thor“, leisdamas kūrėjams įdiegti pažangius AI modelius tiesiai ant roboto. O staliniams kompiuteriams skirtiems projektams „Reachy Mini“ suporuojamas su DGX Spark, kad būtų galima paleisti tinkintus AI, balso ir vizijos modelius vietoje.

Įmonės įvairiose pramonės šakose naudoja GR00T

Kelios įmonės jau naudoja GR00T įgalintas darbo eigas, kad imituotų, mokytų ir patvirtintų naujus savo robotų veiksmus. „LEM Surgical“ naudoja „NVIDIA Isaac for Healthcare“ ir „Cosmos Transfer“, kad treniruotų autonomines savo chirurginio roboto „Dynamis“, maitinamo NVIDIA Jetson AGX Thor ir Holoscan, rankas.

Keletas CES parodos dalyvių šią savaitę naudoja Jetson Thor, kad motyvuotai patenkintų humanoidinių robotų poreikį. „Richtech Robotics“ pristato mobilųjį manipuliatorių „Dex“, skirtą sudėtingoms pramoninėms aplinkoms, o RLWRLD integravo „Thor“ patobulintą navigaciją ir savo buitinio roboto valdymą.

„Boston Dynamics paleidžia naują Atlas humanoidą, veikiantį Jetson Thor ir treniruojamą Isaac Lab arenoje“, – sakė Lebaredianas. „Franka Robotics naudoja GR00T N modelį, kad galėtų valdyti savo dviejų rankų manipuliatorių robotą.

„LG Electronics pristato naują robotą, kuris atlieka įvairius namų ruošos darbus“, – pridūrė jis. „NEURA pristato „Porsche“ sukurtą humanoidą, varomą GR00T N ir sukurtą kartu su Isaac Lab.

Be to, „Humanoid“ naudoja GR00T, o „XRlabs“ naudoja „Thor“ ir „Isaac for Healthcare“, kad chirurgai galėtų padėti chirurgams atlikti realiojo laiko AI analizę. AGIBOT pristato sistemas tiek pramonės, tiek vartotojų sektoriams, taip pat Genie Sim 3.0 – robotų modeliavimo platformą, integruotą su Isaac Sim.

„Salesforce“ vaizdo įrašų paieškai ir apibendrinimui naudoja „Agentforce“, „Cosmos Reason“ ir „NVIDIA Blueprint“, kad galėtų analizuoti jos robotų užfiksuotą vaizdo medžiagą ir perpus sumažinti incidentų sprendimo laiką.

NVIDIA pristato Blackwell architektūrą į pramonės pranašumą

NVIDIA teigė, kad jos naujasis Jetson T4000 modulis sukurtas taip, kad būtų prieinamas, didelio našumo naujinimas Orin klientams, todėl Blackwell architektūra robotikoje bus 1 999 USD už 1 000 vienetų. Jis užtikrina keturis kartus didesnį našumą nei ankstesnės kartos integruoti procesoriai su 2 070 FP4 TFLOPS (trilijonai slankiojo kablelio operacijų per sekundę) ir 64 GB atminties, visa tai yra konfigūruojamame 70 vatų apvalkale, idealiai tinkančiam autonomijai suvaržyta energija.

„Jis tinka tam pačiam lizdui kaip ir T5000, todėl jį pakeisti į gamybą yra labai paprasta“, – sakė Lebaredianas. „Įsivaizduojame, kad šie moduliai gali maitinti daugelio tipų robotus – nuo ​​manipuliatorių iki Marso iki humanoidų.

NVIDIA teigė, kad IGX Thor, kuris bus prieinamas vėliau šį mėnesį, „išplečia robotiką iki pramonės krašto, siūlydamas didelio našumo AI skaičiavimą su įmonės programinės įrangos palaikymu ir funkcine sauga“. Archer naudoja IGX Thor, kad pagerintų orlaivių saugos, oro erdvės integravimo ir autonomijai paruoštų sistemų galimybes.

Partneriai, įskaitant AAEON, Advantech, ADLINK, Aetina, AVerMediaConnect Tech, EverFocus, ForeCR, LannerRealTimes, Syslogic, Vecowir JENAS siūlome Thor varomas sistemas, pritaikytas kraštutiniams AI, robotams ir įterptoms programoms.

Be to, „Caterpillar“ plečia bendradarbiavimą su NVIDIA dėl įrangos, naudojančios dirbtinį intelektą statybose ir kasyboje.

„Jetson T4000“ sukurtas pagreitinti AI išvadas robotikams ir kraštiniams įrenginiams. Šaltinis: NVIDIA

Alpamayo modeliai ir įrankiai, skirti samprotavimu pagrįstiems AV

NVIDIA šiandien taip pat išleido pagrindinį VLA modelį, skirtą „ilgo uodegos“ vairavimo iššūkiams, kurie tradiciškai buvo sprendžiami atskirai suvokiant ir planuojant. Jo naujoje „Aplamayo“ šeimoje yra modeliavimo įrankiai ir duomenų rinkiniai, skirti autonominių transporto priemonių (AV) kūrimui.

„Alpamayo 1“, „AlpaSim“ ir fiziniai dirbtinio intelekto atvirieji duomenų rinkiniai leidžia kurti modelius ir transporto priemones, kurios suvokia, samprotauja ir veikia žmogiškai, siekiant didesnio saugumo, tvirtumo ir mastelio, tvirtino NVIDIA.

„Autonominis vairavimas yra pirmasis tikras fizinio dirbtinio intelekto pavyzdys“, – sakė Ali Kani, „NVIDIA Automotive“ viceprezidentas ir generalinis direktorius. “Per pastaruosius 15 metų automobilių programinė įranga labai pasikeitė. Pirmoji AV karta buvo skirta tik suvokimui. Automobilis galėjo pamatyti pasaulį, tačiau vairavimo logika dažniausiai buvo užkoduota rankomis arba taisyklėmis.”

„1.5 veiksmas papildė modeliu pagrįstą planavimą, o ne suvokimą, suteikiant patirčiai labiau struktūrizuotą elgesį“, – paaiškino jis. „2 veiksmas naudojo generatyvųjį visapusį AI, kuris išmoko vairavimo elgsenos tiesiogiai iš duomenų. Dabar pereiname prie AV3, agentinio fizinio AI, kur transporto priemonės motyvai, planai ir važiavimai yra tarsi pajėgus padėjėjas realiame pasaulyje.

Su „Alpamayo“ mobilumo įmonės, tokios kaip „Jaguar Land Rover“, „Lucid“ ir „Uber“, taip pat mokslininkai, tokie kaip „Berkeley DeepDrive“, gali paspartinti samprotavimais pagrįstus SAE 4 lygio diegimo planus. sakė NVIDIA.