Kaip robotai mokosi valdyti šilumą naudodami sintetinius duomenis

Robotikos komandoms paprastai reikia didžiulio duomenų kiekio, kad galėtų apmokyti ir įvertinti savo sistemas. Augant paklausai, sistemos tapo sudėtingesnės, o realaus pasaulio ir sintetinių duomenų kokybės juosta tik pakilo.

Problema ta, kad dauguma realaus pasaulio duomenų pasikartoja. Laivynai užfiksuoja tas pačias tuščias gatves, tuos pačius ramius vandenynus, tuos pačius patrulius be įvykių. Naudingų akimirkų pasitaiko retai, o komandos ištisus mėnesius jų ieško.

Iššūkis yra ne tik pažangių bylų rinkimas. Jis taip pat visiškai aprėpia sezonus, apšvietimą, orą ir dabar įvairius jutiklius, įskaitant šiluminį, kuris tampa būtinas, kai matomumas prastėja.

Nė viena komanda negali metų laukti tinkamo sezono ar sukurti tūkstančius tikrų susidūrimų vien tam, kad surinktų duomenis. Net didžiausi laivynai negali užfiksuoti visų jiems reikalingų scenarijų. Realybė tiesiog nesukuria pakankamai įvairovės pakankamai greitai.

Taigi komandos kreipiasi į sintetinius duomenis. Pagal poreikį jie gali sukurti tikslius scenarijus, kurių jiems reikia – nuo ​​ledo dengtų kelių iki retų pavojų, atsirandančių kartą per metus. Jie taip pat gali sukurti šilumines šių scenų versijas, pateikdami robotams pavyzdžius, kurių jiems reikia išmokti pamatyti, kada šviesa dingsta.

Sintetiniai duomenys suteikia robotikos komandoms tokios aprėpties, kurios tikrovė neduos tokiu greičiu, kokio reikalauja šiuolaikinė autonomija.

Sintetiniai duomenys atskleidžia robotams realaus pasaulio scenarijus

Savarankiškų sistemų mokymas apie sintetinius duomenis – kompiuterinius scenarijus, atkartojančius realias sąlygas – suteikia robotams galimybę sužinoti apie pasaulį prieš jiems susiduriant. Lygiai taip pat, kaip vaikas gali išmokti atpažinti dinozaurus žiūrėdamas Juros periodo parkaskompiuterinio matymo modeliai gali išmokti atpažinti naujus objektus, aplinką ir elgesį, mokydamiesi imituoti pavyzdžius.

Sintetiniai duomenų rinkiniai gali pateikti turtingas, įvairias ir labai kontroliuojamas scenas, kurios padeda robotams suprasti, kaip pasaulis atrodo ir elgiasi įvairiose situacijose, su kuriomis jie gali susidurti.

Matyti anapus spalvų

Robotai, kaip ir žmonės, pasauliui suprasti naudoja daugiau nei standartines kameras. Jie naudojasi lidaru, radaru ir sonaru, kad suvoktų gylį arba aptiktų objektus. Kai matomumas sumažėja naktį arba rūke, jie persijungia į infraraudonųjų spindulių.

Labiausiai paplitęs infraraudonųjų spindulių jutiklis yra šiluminė kamera. Jis paverčia šilumą vaizdais, leisdamas robotams matyti žmones, transporto priemones, variklius ir gyvūnus net visiškoje tamsoje.

Norint gerai apmokyti šias sistemas, komandoms reikia sintetinių šiluminių duomenų, kurie fiksuotų visą spektrą karščio modelių, su kuriais susidurs robotai.

Sintetiniai šiluminiai duomenys šviečia didelės rizikos programose

Sintetiniai šiluminiai duomenys yra svarbiausi tose vietose, kur realaus pasaulio šilumos filmuotos medžiagos rinkimas yra per pavojingas arba per retas. Gynybos ir pramonės sistemos veikia netvarkingoje, nenuspėjamoje aplinkoje ir joms reikia tokios aprėpties, kurios tikrovė negali patikimai suteikti.

• Autonominiai laivai jūroje: Rūkas, purslai ir tamsa jūroje yra normalu. Dėl šiluminės energijos žmonės, valtys ir pakrantės išsiskiria, kai RGB kameros apakina.
• Dronai naktį: Šiluminių duomenų rinkimas avariniams nakties skrydžiams arba susidūrimo išvengimui netvarkingoje vietovėje yra rizikingas ir brangus. Sintetinė šiluminė medžiaga leidžia dronams išmokti naršyti be šviesos, per dūmus, rūką ir tankią augmeniją, kur sugenda tradicinės kameros.
• Palydovai, sekantys šilumos signalus: Atmosferos triukšmo ir jutiklių ribos reiškia, kad palydovai negali užfiksuoti kiekvieno šiluminio scenarijaus Žemėje. Sintetinė šiluminė medžiaga užpildo orų prognozavimo, klimato stebėjimo ir reagavimo į nelaimes spragas, sustiprindama modelius, kuriais remiasi šie palydovai.

Sintetiniai šiluminiai duomenys leidžia komandoms sukurti robotus 100 kartų greičiau

Komandos jau generuoja sintetinius duomenų rinkinius retiems ar sunkiai fiksuojamiems scenarijams pagal poreikį, užuot laukę kelių mėnesių lauko duomenų. Dėl šio poslinkio iteracijos greitis kai kuriais atvejais padidėjo iki 100 kartų, o duomenų gavimo išlaidos sumažėjo net 70 %, kai suporuotas su realaus pasaulio duomenų rinkiniais.

Pridėjus sintetinių šiluminių duomenų šie rezultatai gali būti dar didesni. Dirbdami su geriausiais pasaulio modeliavimo partneriais, mums pavyko sukurti aukštos kokybės šiluminį vamzdyną, kuris užtikrintų šiuos greičio ir sąnaudų pranašumus komandos, kuriančios naujos kartos fizinį AI.

Kuri ateitis – sintetiniai ar tikri duomenys?

Komandoms reikia ir tikrų, ir sintetinių duomenų, kaip matėme dirbdami su kai kuriomis pažangiausiomis robotikos grupėmis pasaulyje, nuo NASA Mėnulio rover komandų iki Andurilo lauko autonomijos komandų. Jie renka didžiulius kiekius realaus pasaulio duomenų, tačiau daugelis jų kartojasi.

Problema yra ne kiekybė; tai aprėptis. Tikslas yra rasti tų tikrų duomenų rinkinių spragas ir paklaidas ir užpildyti juos tiksliniais sintetiniais duomenimis.

Šis hibridinis metodas suteikia komandoms stipresnę ir išsamesnę duomenų strategiją. Derindamos tikrų misijų niuansus su sintetinės generacijos tikslumu ir mastu, robotų komandos gali sukurti sistemas, paruoštas sunkiausioms sąlygoms ir mažos tikimybės scenarijams, su kuriais galiausiai susidurs kiekvienas robotas.

Apie autorę

Charlesas Wongas yra „Bifrost AI“ – sintetinių duomenų platformos fizinėms AI ir robotikos komandoms – įkūrėjas ir generalinis direktorius. Bifrost generuoja didelio tikslumo 3D modeliavimo duomenų rinkinius, kurie padeda klientams mokyti, išbandyti ir patvirtinti autonomines sistemas sudėtingomis realaus pasaulio sąlygomis.

Wongas ir jo komanda bendradarbiauja su tokiomis organizacijomis kaip NASA Jet Propulsion Laboratory ir JAV oro pajėgos, kad sukurtų turtingą virtualią aplinką, skirtą nusileisti planetoje, pažinti jūrų sritį ir autonomiją bekelėje.