Išgirdusi raginimą „noriu paprastos taburetės“, roboto ranka pastato grotelių pavidalo taburetę, paverčiančią kalbą į surinkimą realiuoju laiku. | Šaltinis: Alexander Kyaw, MIT
Masačusetso technologijos instituto tyrėjai šią savaitę paskelbė sukūrę „kalbos į tikrovę“ sistemą. Ši dirbtinio intelekto valdoma darbo eiga leidžia MIT komandai įvesti roboto ranką ir „įkalbėti objektus“ sukurti daiktus, pavyzdžiui, baldus, vos per penkias minutes.
Sistema naudoja ant stalo pritvirtintą roboto ranką, kuri gali suprasti žmogaus žodinę įvestį. Pavyzdžiui, žmogus gali pasakyti robotui: „Noriu paprastos taburetės“, o tada robotas sukonstruos taburetę iš modulinių komponentų.
Iki šiol universiteto mokslininkai naudojo kalbėjimo į realybę sistemą kurdami taburetes, lentynas, kėdes, nedidelį stalą ir net dekoratyvinius daiktus, tokius kaip šuns statula.
MIT projektas orientuotas į bitus ir atomus
„Mes sujungiame natūralios kalbos apdorojimą, 3D generuojamąjį AI ir robotų surinkimą“, – paaiškino Aleksandras Htetas Kyaw, MIT magistrantas ir „Morningside Academy for Design“ (MAD) bendradarbis. “Tai yra sparčiai besivystančios tyrimų sritys, kurios anksčiau nebuvo sujungtos taip, kad iš tikrųjų galėtumėte sukurti fizinius objektus tiesiog iš paprastos kalbos raginimo.”
Idėja kilo, kai Kyaw, architektūros ir elektros inžinerijos bei informatikos katedrų magistrantas, išklausė prof. Neilo Gershenfeldo kursą „Kaip pasidaryti beveik bet ką“.
Toje klasėje jis sukūrė kalbėjimo į tikrovę sistemą. Po pamokos Kyaw toliau dirbo su projektu MIT Bitų ir atomų centre (CBA), kuriam vadovavo Gershenfeld. Jis bendradarbiavo su magistrantais Se Hwan Jeon iš Mechanikos inžinerijos katedros ir Miana Smith iš CBA.
Kaip veikia sistema?
Kalbos pakeitimo realybe sistema prasideda kalbos atpažinimu, kuris apdoroja vartotojo užklausą naudodamas didelės kalbos modelį (LLM). Tada 3D generatyvus AI sukuria objekto skaitmeninį tinklelio vaizdą, o vokselizacijos algoritmas suskaido 3D tinklelį į surinkimo komponentus.
Po to geometrinis apdorojimas modifikuoja AI sukurtą agregatą, kad būtų atsižvelgta į gamybą ir fizinius apribojimus, susijusius su realiu pasauliu. Tai apima komponentų skaičių, iškyšas ir geometrijos jungiamumą.
Po to sukuriama įmanoma surinkimo seka ir automatizuotas kelio planavimas robotinei rankai surinkti fizinius objektus pagal vartotojo raginimus.
MIT komanda tvirtino, kad naudojant natūralią kalbą, sistema daro dizainą ir gamybą labiau prieinamą žmonėms, neturintiems 3D modeliavimo ar robotų programavimo patirties. Ir, skirtingai nei 3D spausdinimas, kuris gali užtrukti valandas ar dienas, ši sistema gali surinkti objektus per kelias minutes.
„Šis projektas yra sąsaja tarp žmonių, dirbtinio intelekto ir robotų, siekiant kartu kurti mus supantį pasaulį“, – sakė Kyaw. „Įsivaizduokite scenarijų, kai sakote „noriu kėdės“ ir per penkias minutes prieš jus atsidurs fizinė kėdė.
„Kyaw“ planuoja patobulinti sistemą
Objektų, kuriuos sukonstruoja roboto ranka, reaguojant į balso komandas, pvz., „dviejų pakopų lentyna“ ir „noriu aukšto šuns“, pavyzdžiai. | Šaltinis: Alexander Kyaw, MIT
MIT komanda teigė, kad turi neatidėliotinų planų pagerinti baldų atsparumą svoriui, keisdama kubelių sujungimo priemones iš magnetų į tvirtesnes jungtis.
„Mes taip pat sukūrėme vamzdynus, skirtus vokselių struktūroms paversti įmanomas mažų, paskirstytų mobiliųjų robotų surinkimo sekas, kurios galėtų padėti paversti šį darbą bet kokio dydžio struktūromis“, – sakė Smithas.
Komanda naudojo modulinius komponentus, kad pašalintų atliekas, kurios patenka į fizinių objektų kūrimą, išardydami ir vėl surinkdami juos į kažką kitokio. Pavyzdžiui, jie gali paversti sofą lova, kai vartotojui jos nebereikia.
Kadangi Kyaw taip pat turi patirties naudojant gestų atpažinimą ir papildytąją realybę sąveikaujant su robotais gamybos procese, šiuo metu jis dirba, kad kalbos ir gestų valdymas būtų įtrauktas į kalbos perkėlimo į realybę sistemą. Kyaw sakė, kad jį įkvėpė replikatoriai Žvaigždžių kelias franšizė ir robotai animaciniame filme Didysis herojus 6.
„Noriu, kad žmonės galėtų greitai, prieinamai ir tvariai kurti fizinius objektus“, – sakė jis. „Dirbu siekdamas ateities, kurioje pati materijos esmė iš tikrųjų yra jūsų kontrolė. Tokią, kurioje tikrovė gali būti sukurta pagal poreikį.
Lapkričio 21 d. MIT vykusiame Kompiuterinių mašinų asociacijos (ACM) simpoziume dėl skaičiavimo gamybos komanda pristatė savo pranešimą „Speech to Reality: Gamyba pagal poreikį naudojant natūralią kalbą, 3D generuojantį AI ir atskirą robotų surinkimą“.
