Vid den nu pågående konferensen SIGGRAPH meddelade Nvidia att företaget öppnar portaler till robotvärlden med nya Omniverse-bibliotek, fysiska Cosmos AI-modeller och AI-beräkningsinfrastruktur.
Nvidia lanserar nu nya Nvidia Omniverse-bibliotek och Nvidia Cosmos World Foundation-modeller (WFM) som skall underlätta utvecklingen och driftsättningen av robotlösningar. Med nya Nvidia RTX PRO-servrar och Nvidia DGX Cloud och med bibliotek och modeller kan utvecklare utveckla fysiskt digitala tvillingar, fånga och rekonstruera den verkliga världen i simulering, generera syntetiska data för att träna fysiska AI-modeller och bygga AI-agenter som enligt Nvidia kan ”förstå” den fysiska världen.
– Datorgrafik och AI sammanstrålar för att fundamentalt förändra robottekniken. Genom att kombinera AI-resonemang med skalbar, fysiskt noggrann simulering gör vi det möjligt för utvecklare att bygga morgondagens robotar och autonoma fordon som kommer att transformera biljoner dollar i industrier, säger Rev Lebaredian, vice vd för Omniverse och simulation technologies hos Nvidia.
Nya Nvidia Omniverse-bibliotek
Nya Nvidia Omniverse-programvaruutvecklingspaket (SDK:er) och bibliotek finns nu tillgängliga för att bygga och driftsätta industriella AI- och robotsimuleringsapplikationer.
- Nya Omniverse programvaruutvecklingspaket (SDK:er) introducerar datainteroperabilitet mellan MuJoCo (MJCF) och Universal Scene Description (OpenUSD), vilket gör det möjligt för MJCF-robotinlärningsutvecklare att sömlöst simulera robotar över plattformar.
- Nya Omniverse NuRec-bibliotek och AI-modeller introducerar Omniverse RTX-strålspårad 3D Gaussisk splatting, en renderingsteknik som låter utvecklare fånga, rekonstruera och simulera den verkliga världen i 3D med hjälp av sensordata.
- Nvidia Isaac Sim 5.0 och Nvidia Isaac Lab 2.2 ramverk för öppen källkodsrobotsimulering och inlärning finns tillgängliga på GitHub. Isaac Sim inkluderar nu NuRec neural rendering och nya OpenUSD-baserade robot- och sensorscheman som avser hjälpa robotutvecklare att minska gapet mellan simulering och verklighet.
Omniverse NuRec-rendering är nu integrerad i CARLA, en simulator med öppen källkod som enligt Nvidia används av över 150 000 utvecklare. Verktygskedjan för autonoma fordon (AV) Foretellix integrerar NuRec, Nvidia Omniverse Sensor RTX och Cosmos Transfer för att förbättra sin skalbara syntetiska datagenerering med fysiskt noggranna scenarier. Voxel51:s datamotor för visuell och multimodal AI, FiftyOne, stöder NuRec för att underlätta dataförberedelser för rekonstruktioner.
Cosmos för omvärldsgenerering till robotik
Cosmos WFM:er kan användas för att generera olika data för att träna robotar i stor skala med hjälp av text-, bild- och videoprompter
Nya modeller som tillkännagavs på SIGGRAPH ger enligt Nvidia stora framsteg inom hastighet, noggrannhet, språkstöd och kontroll för generering av syntetisk data:
- Cosmos Transfer-2, som kommer snart, skall förenkla promptgenerering och accelererar fotorealistisk syntetisk datagenerering från ” ground-truth” 3D-simuleringsscener eller rumsliga kontrollingångar som djup, segmentering, kanter och HD-kartor.
- En destillerad version av Cosmos Transfer minskar 70-stegsdestillationsprocessen till en, så att utvecklare kan köra modellen på Nvidia RTX PRO-servrar med hög hastighet.
Introduktionen av OpenAI:s CLIP-modell och visionspråksmodeller (VLM) har förändrat datorseendeuppgifter som objekt- och mönsterigenkänning. Enligt Nvidia har de dock ännu inte kunnat lösa flerstegsuppgifter eller hantera tvetydighet eller nya upplevelser.
Nvidia Cosmos Reason — en ny öppen, anpassningsbar VLM med 7 miljarder parametrar för fysisk AI och robotik — uppges låta robotar och visions-AI-agenter resonera som människor, med hjälp av förkunskaper, fysikförståelse och ”sunt förnuft” för att förstå och agera i den verkliga världen.
Cosmos Reason kan användas för robotik- och fysiska AI-applikationer, inklusive:
- Datakurering och annotering, vilket gör det möjligt för utvecklare att automatisera högkvalitativ kurering och annotering av massiva, olika träningsdataset.
- Robotplanering och resonemang, som fungerar som hjärnan för avsiktligt, metodiskt beslutsfattande i en VLA-modell (Robot Vision Language Action). Cosmos Reason låter robotar tolka miljöer och, givet komplexa kommandon, bryta ner dem i uppgifter och utföra dem med ”sunt förnuft”, även i okända miljöer.
- Videoanalys AI-agenter byggda på NVIDIA Blueprint för videosökning och sammanfattning som kan extrahera värdefulla insikter och utföra rotorsaksanalys på enorma volymer videodata.
Nvidias robotik- och Nvidia DRIVE-team använder Cosmos Reason för datakurering och filtrering, annotering och VLA-efterträning.
Ny Nvidia AI-infrastruktur
För att göra det möjligt att dra full nytta av dessa avancerade tekniker och programvarubibliotek har Nvidia tillkännagivit AI-infrastruktur utformad för krävande arbetsbelastningar.
Nvidia RTX PRO Blackwell-servrar erbjuder en enda arkitektur för varje arbetsbelastning vid robotutveckling inom utbildning, syntetisk datagenerering, robotinlärning och simulering. Nvidia DGX Cloud, tillgängligt på Microsoft Azure Marketplace, erbjuder nu Omniverse-utvecklare en plattform för att förenkla strömning av OpenUSD- och Nvidia RTX-baserade applikationer i stor skala från molnet, vilket skall minimera så kallad infrastrukturorkestrering och hantering.
Accelererar utvecklarnas ekosystem
Till stöd för robot- och fysisk AI-utvecklare att främja implementeringen av 3D- och simuleringsteknik har Nvidia också tillkännagivit:
- OpenUSD-läroplan och certifiering, som tillgodoser efterfrågan på USD-expertis, med stöd från AOUSD-medlemmarna Adobe, Amazon Robotics, Ansys – en del av Synopsys, Autodesk, Pixar, PTC, Rockwell Automation, SideFX, Siemens, TCS och Trimble, samt branschledare som Hexagon.
- Öppen källkodssamarbete med Lightwheel för att integrera utbildnings- och utvärderingsramverk för robotpolicy i Nvidia Isaac Lab, med parallella förstärkningsinlärningsfunktioner, riktmärken och simuleringsklara resurser för robotmanipulation och förflyttning.
