Al GTC Taipei e al Computex di oggi, NVIDIA Corp. ha rivelato diverse competenze e strumenti di IA fisica open-source per aiutare gli sviluppatori di robotica, veicoli autonomi, IA visiva e gemelli digitali industriali. L’azienda ha affermato che possono contribuire a ridurre i costi, i tempi e la complessità della creazione di flussi di lavoro fisici basati sull’intelligenza artificiale su larga scala.
Disponibile come parte delKit degli strumenti dell'agente NVIDIA, le nuove competenze consentiranno agli agenti di intelligenza artificiale di accelerare i processi di generazione, simulazione, formazione, valutazione e implementazione dei dati dietro robot, veicoli autonomi (AV), fabbriche e laboratori, ha affermato la società.
"Gli agenti IA stanno rivoluzionando lo sviluppo del software e questo cambiamento si sta ora estendendo all'IA fisica, estendendosi ai sistemi che trasformeranno i trasporti, la produzione, l'assistenza sanitaria e la robotica", ha affermato Jensen Huang, fondatore e CEO di NVIDIA, presso GTC Taipei. "Quando gli agenti potranno utilizzare direttamente le librerie, i modelli e i framework NVIDIA, lo sviluppo dell'intelligenza artificiale fisica si muoverà più velocemente, consentendo agli sviluppatori di costruire robot, veicoli autonomi e sistemi industriali del futuro a un ritmo incredibile."
"L'intelligenza artificiale fisica richiede enormi quantità di dati di addestramento in ambienti diversi", ha osservato Rev Lebaredian, vicepresidente per la simulazione dell'intelligenza artificiale fisica presso NVIDIA. "I dati su scala di teleoperazione, simulazione e Internet-portano a modelli di base mondiali per un'infinita varietà di casi d'uso."
NVIDIA rende pronto l'agente dello stack AI fisico-
NVIDIA ha affermato che sta ottimizzando l'intero stack fisico di IA per gli agenti trasformando librerie, modelli e framework in strumenti richiamabili dagli agenti-. Ciò include:
NVIDIA Cosmos3 modelli di fondazione mondiale per il ragionamento e la generazione del mondo fisico
NVIDIA Omniversolibrerie per simulazione e gemelli digitali
NVIDIA Isaccoper la simulazione robotica e l'apprendimento dei robot
NVIDIA Metropolisper l'intelligenza artificiale visiva
NVIDIA Alpamayoperguida autonoma
NVIDIA Jetsonpiattaforma per lo sviluppo dell'intelligenza artificiale edge
"Cosmos 3 è il modello di base di frontiera per l'intelligenza artificiale fisica", ha affermato Lebaredian. "Capisce video e testi e può segnalare ciò che conta. Cosmos è una simulazione fisicamente accurata ed è in grado di prevedere cosa accadrà dopo e generare azioni."
Per aiutare ad applicare questi strumenti, NVIDIA sta lanciandonuove competenzeper trasformare i processi fisici di sviluppo dell’intelligenza artificiale in istruzioni ripetibili che gli agenti di codifica possono seguire. Ciò include quali strumenti chiamare, quali output produrre e come gli sviluppatori possono convalidare i risultati.
Gli sviluppatori possono anche creare e distribuire in sicurezza agenti autonomi utilizzando queste competenze conNVIDIA NemoClawprogetto e ilNVIDIAOpenShellruntime, che fornisce sicurezza basata su policy-e governance della privacy su hardware locale o cloud. Gli agenti funzioneranno all'avanguardia in Jetson e hanno già dimostrato miglioramenti nei tempi di attività, ha affermato Lebaredian.
NVIDIA ha affermato che le sue competenze e i suoi strumenti di intelligenza artificiale fisica stanno accelerando lo sviluppo degli agenti in:
Robotica e IA edge:Gli sviluppatori di robot possono utilizzare le competenze per accelerare l'intera pipeline di sviluppo della robotica, dalla generazione di dati sull'addestramento alla percezione e sulla mobilità alla simulazione, all'automazione dell'addestramento alla navigazione, all'avanzamento dell'apprendimento dei robot e all'ottimizzazione dei sistemi edge basati su Jetson-per l'implementazione.
Veicoli autonomi:Per gli sviluppatori AV, le competenze possono indirizzare gli agenti a ricostruire i dati acquisiti dalle flotte in ambienti di simulazione, generare scenari di guida fotorealistici su larga scala ed eseguire l'apprendimento di rinforzo a ciclo chiuso-per espandere la copertura della formazione e della valutazione.
Agenti AI di visione in tempo reale-:Per l'ispezione automatizzata e l'intelligence video, NVIDIA ha affermato che le competenze dei suoi agenti possono aiutare i team a generare dati di formazione sintetici, perfezionare-modelli, automatizzare l'etichettatura e creare agenti AI video che cercano, riepilogano e analizzano video in diretta o registrati.
IA industriale:Gli sviluppatori di software industriale possono utilizzare queste competenze per convertire i dati tecnici in risorse di progettazione assistita da computer (CAD) per la simulazione dei gemelli digitali, ottimizzando scene OpenUSD di grandi dimensioni con una minore configurazione manuale.
Assistenza sanitaria:Prima di implementare l'automazione negli ambienti clinici, i team sanitari possono guidare gli agenti attraverso la creazione di gemelli digitali degli ambienti ospedalieri, la generazione di dati sim-to-reali e il test delle policy del software-in{3}}the-loop.
Secondo NVIDIA, le competenze possono essere combinate e integrate in sistemi di agenti più ampi. Ciò consente agli sviluppatori di orchestrare e automatizzare flussi di lavoro complessi come la generazione di dati, la simulazione, l'ottimizzazione, l'ottimizzazione dell'inferenza, la valutazione continua e altro ancora.
Gli sviluppatori di robotica utilizzano lo stack fisico dell'IA
1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI e Universal Robots sono tra le aziende di robotica che già utilizzano lo stack AI fisico-pronto per gli agenti di NVIDIA.
"Con gli aggiornamenti dello stack in NVIDIA Isaac GR00T, è possibile impostare nuovi flussi di lavoro end-to-end in poche ore invece che in settimane", ha affermato Lebaredian. "'Omni-modale' significa che funziona con diverse modalità - video, sensori, testo e audio per input e output di azioni."
Inoltre, Foxconn e Compal utilizzano NVIDIA Isaac for Healthcare per accelerare la robotica ospedaliera. Compal sta portando avanti il processo di sviluppo del suo robot PolyMedX verso una piattaforma di orchestrazione a livello ospedaliero-, integrando simulazione, intelligenza artificiale e operazioni nel mondo-reale.
Foxconn sta espandendo Nurabot in diversi ospedali e ambienti di assistenza a lungo termine, portando la robotica basata sull'intelligenza artificiale nella cura dei pazienti e introducendo il suo nuovo robot collaborativo per infermieri di sala operatoria per contribuire a ottimizzare i flussi di lavoro della sala operatoria.
I leader del settore costruiscono con le tecnologie NVIDIA
I partner e i clienti NVIDIA nei settori della produzione, dei trasporti, della sanità e del software industriale utilizzano le sue librerie di intelligenza artificiale fisica per promuovere lo sviluppo di sistemi autonomi e intelligenza artificiale industriale.
Man mano che queste librerie diventano pronte per gli agenti-, gli sviluppatori possono utilizzare le competenze NVIDIA per aiutare gli agenti ad automatizzare la configurazione, l'esecuzione e l'iterazione attraverso complessi flussi di lavoro fisici basati sull'intelligenza artificiale.
Nella produzione elettronica, TSMC e Pegatron stanno-perfezionando i modelli di ispezione visiva. Secondo quanto riferito, Pegatron ha ridotto i tempi di addestramento e implementazione del modello del 67% utilizzando i dati sintetici generati dalla competenza Defect Image Generation.
Delta Electronics ha generato dati sui difetti sintetici e ha sfruttato la propria competenza per individuare gli eccessi di saldatura sulle sbarre metalliche, migliorando il tasso di rilevamento del 17%. Inventec ha sviluppato la pipeline di ispezione visiva dell'Agente di osservazione integrando la capacità di generazione di immagini dei difetti, riducendo del 30% lo sforzo di raccolta dei dati sui difetti per la produzione dei telai dei laptop.
Foxconn, in collaborazione con DeepHow, ha sfruttato le sue competenze per migliorare l'efficienza produttiva individuando tempestivamente gli errori, aumentando la resa del primo passaggio di circa il 3%.
Nell'intelligenza artificiale industriale, Cadence, Dassault Systèmes, Siemens e Synopsys utilizzano le librerie e le competenze di NVIDIA Omniverse per l'ispezione dei dati ingegneristici, la simulazione e i gemelli digitali interattivi. PTC, MetAI e Lightwheel stanno sfruttando il framework NVIDIA Isaac Sim e i flussi di lavoro basati su OpenUSD-per trasformare i dati CAD in risorse e ambienti pronti per la simulazione-.
Nell'ambito della roadmap "Autonomous Fab 2030", SK hynix sta implementando fab digital twin di semiconduttori utilizzando NVIDIA Omniverse. Il produttore di chip sta inoltre collaborando con NVIDIA e SK Telecom per convalidare NVIDIA Agent Toolkit per la produzione di-IA fisica specifica.
Gli sviluppatori-autonomi Li Auto, Afari e DeepRoute.ai utilizzano i modelli NVIDIA Omniverse NuRec per la ricostruzione e il rendering delle scene neurali. Hanno generato più di 1.000 ricostruzioni e più di 300.000 rendering e simulazioni al giorno.
Inoltre, le società AV stanno utilizzando il nuovo archivio delle competenze degli agenti per accelerare e migliorare lo sviluppo di sistemi di guida autonoma più sicuri e capaci. Foxconn, VinFast, Uber e HUMAIN si sono uniti all'ecosistema NVIDIA DRIVE Hyperion per sviluppare e distribuire robotaxi SAE di livello 4.
Alpamayo 2 Super è già stato scaricato più di 500.000 volte ed è stato nominato "Miglior tecnologia" al Computex, ha affermato Spencer Huang, direttore dei prodotti per la robotica di NVIDIA.
Sono ora disponibili gli strumenti fisici dell'agente AI
NVIDIA ha affermato che i suoi strumenti e le competenze degli agenti fisici di intelligenza artificiale sono disponibili tramiteGitHubEcompetenze.shda utilizzare con qualsiasi agente di codifica.
Competenze e strumenti dell'agente per la generazione di dati sintetici -Ricostruzione neurale, Aumento video, Generazione di immagini difettose- sono disponibili anche su NVIDIA Brev asLanciabili fisici dell'IA, ambienti preconfigurati che raggruppano competenze e strumenti degli agenti per una generazione e una valutazione più rapida dei dati sintetici.
Microsoft,CoreWeave, ENebiostanno integrando queste competenze e strumenti degli agenti con i loro servizi cloud per consentire agli sviluppatori di semplificare e scalare la generazione e la distribuzione di dati sintetici.
Umanoide Unitree il riferimento per NVIDIA Isaac GR00T
NVIDIA ha inoltre annunciato il robot umanoide di riferimento NVIDIA Isaac GR00T, un progetto di riferimento di robot umanoide aperto basato su NVIDIA Jetson Thor e sulla piattaforma di sviluppo NVIDIA Isaac GR00T. La società ha affermato che ciò contribuirà a democratizzare l’accesso a hardware e software avanzati senza richiedere costose piattaforme proprietarie come interesseumanoidi-di uso genericoaumenta.
NVIDIA ha combinato il corpo di un robot-a grandezza naturale con abili operazioni di manipolazione, rilevamento, controllo e calcolo AI integrato:
Telaio umanoide Unitree H2,è alto quasi 1,8 m (6 piedi) e pesa 68 kg (150 libbre), con 31 gradi di libertà per i test su scala umana-.
DoppioOnda Sharpamani tattili a cinque-dita,consentendo una manipolazione abile con 22 gradi di libertà e portando il robot a 75 gradi di libertà su corpo e mani.
Monitoraggio multi-vista,inclusa una telecamera stereo-montata sulla testa con ampio campo visivo (140 gradi in orizzontale, 102 gradi in verticale), telecamere da polso per la manipolazione a distanza-ravvicinata e un'unità di misurazione dell'inerzia per il rilevamento del movimento.
Controllo-di tutto il corpo,con una coppia del braccio fino a 120 Newton-metri, una coppia della gamba fino a 360 Newton-metri, un carico utile nominale del braccio di 7 kg (15,4 lb.) e un carico utile di picco di 15 kg (33 lb.), sbloccando capacità di sollevamento e portata maggiori.
Elaborazione integrata NVIDIA Jetson AGX Thor T5000,dotato di una GPU NVIDIA Blackwell con 2.070 teraflop FP4 di prestazioni AI, una CPU Arm a 14-core, 128 GB di memoria unificata e un intervallo di potenza configurabile da 40 a 130 watt per l'elaborazione dei sensori in tempo reale e l'inferenza dei robot.
Connettivitàtramite Ethernet, Wi-Fi 6, Bluetooth 5.2, USB e una serie di microfoni e altoparlanti per l'interazione vocale.
Batteria per funzionamento prolungato,con una capacità di 15Ah, 0,972kWh e circa tre ore di autonomia.
Su-arresto di emergenza remotofunzione per disinserire rapidamente il robot in tutta sicurezza.
La piattaforma Isaac GR00T include:
NVIDIA Isaac Teleopper acquisire dati dimostrativi sui robot di alta-qualità per la formazione e lo sviluppo di politiche.
Modelli a fondazione aperta NVIDIA Isaac GR00Tper supportare il ragionamento umanoide, l’apprendimento e il comportamento multitasking.
NVIDIA Isaac Sim ELaboratorio Isaccoper simulare, addestrare, testare e valutare le policy dei robot prima dell'implementazione-nel mondo reale.
Middleware accelerato NVIDIA Isaac ROSper spostare le politiche addestrate sui robot.
NVIDIA Jetson Thorper eseguire-tempo reale, su-inferenza e controllo del robot.
Il sistema è progettato per essere modulare, in modo che i team di robotica possano utilizzare l’intera piattaforma o integrare funzionalità selezionate nelle pipeline di sviluppo esistenti, aiutandoli a scalare lo sviluppo umanoide senza ricostruire la stessa infrastruttura per ciascun robot o attività.
Importanti istituti di ricerca, tra cui Ai2, ETH di Zurigo, Stanford Robotics Center e Advanced Robotics and Controls Laboratory dell'UC San Diego, intendono utilizzare questo progetto di riferimento per far avanzare la ricerca sulla robotica umanoide.
"Per compiere progressi verso i robot-per scopi generici, i ricercatori hanno bisogno di piattaforme capaci e ampiamente accessibili", ha affermato Deepak Pathak, co-fondatore e CEO di Skild AI. "Un progetto di riferimento consente a un numero maggiore di ricercatori di partecipare alla ricerca di frontiera sugli umanoidi e di passare più rapidamente dalle idee agli esperimenti. Ciò aiuta a far avanzare l'intero ecosistema di ricerca sulla robotica."