I ricercatori di Nvidia usano l'intelligenza artificiale per aggiornare la grafica del tuo gioco

Alla conferenza sull'elaborazione delle informazioni neurali a Montreal, in Canada, i ricercatori di Nvidia hanno dimostrato di poter utilizzare il potere dell'intelligenza artificiale per rendere le scene sintetiche, ma realistiche, con dettagli e trame. I ricercatori affermano che il lavoro è ancora nelle sue fasi iniziali, e non è chiaro quando la tecnologia verrà rilasciata ai consumatori, ma c'è un grande potenziale per il rendering basato sull'intelligenza artificiale di Nvidia nello spazio di gioco.

"Questo lavoro riguarda un nuovo modo di rendere la grafica per computer usando le reti neurali", ha detto in una conference call Bryan Catanzaro, vicepresidente per l'apprendimento approfondito di Nvidia. Fondamentalmente, i ricercatori volevano sapere come applicare l'intelligenza artificiale per migliorare la grafica del computer, e la soluzione è applicare l'apprendimento automatico ai video del mondo reale per rendere la grafica nuova.

"Abbiamo costruito un sistema che prende le rappresentazioni di alto livello del mondo fisico – fondamentalmente prendendo uno schizzo video e convertendolo in una scena renderizzata", ha detto Catanzaro. "Il modello comprende informazioni di alto livello sugli oggetti nel mondo reale, quindi elabora quelli per aggiungere informazioni sulla trama e l'illuminazione. L'obiettivo è essere in grado di sintetizzare nuove scene con la grafica. "

L'apprendimento automatico viene utilizzato per analizzare i video esistenti e Nvidia applica tecniche di visione artificiale per aggiungere etichette agli oggetti e alle loro proprietà. Ciò significa che l'intelligenza artificiale sarebbe in grado di riconoscere un paesaggio urbano urbano e capire quali oggetti sono alberi, automobili o edifici, ad esempio.

Questa tecnologia è derivata dalla ricerca esistente, come quella dell'Università della California, Berkeley, secondo Nvidia. La società ha messo in mostra altre tecniche di rendering basate su AI in passato, inclusa una che rimuoveva il rumore da un'immagine .

I ricercatori sono riusciti a ottenere il rendering in tempo reale su una GPU Tensor Core, ma per la conferenza Nvidia ha dimostrato la tecnologia sulla sua scheda Titan V. "Sebbene sia possibile farlo su qualsiasi processore, l'aspetto in tempo reale richiede un elevato throughput di intelligenza artificiale", ha spiegato Catanzaro, sottolineando che la GPU Tensor Core è importante.

Potendo creare contenuti e aggiungerli a mondi virtuali, il mercato dei giochi potrebbe trarre grande beneficio dal lavoro creato da questa ricerca. Gli sviluppatori, ad esempio, potevano "rimasterizzare" vecchi giochi riproducendo vecchi titoli per aggiungere immagini ad alta definizione, oppure potevano aggiungere nuovi livelli ai giochi esistenti con poco sforzo.

Come esempio di base di come funzionerebbe, gli utenti possono prendere un video di se stessi, caricarlo su un gioco e il rendering sarà in grado di creare avatar altamente personalizzati da utilizzare nel gioco. Nvidia ha aperto il codice dalla sua ricerca in questo momento, ma Catanzaro avverte che i primi lavori in questo campo sono più adatti per gli informatici che per gli sviluppatori di giochi.

In una demo separata, Nvidia ha mostrato di poter analizzare le mosse di danza – come dal famoso video musicale Gangnam Style – e trasferire quelle mosse a un'altra persona usando le stesse tecniche di visione al computer. "Analizziamo il codice della persona e questo diventa il nostro disegno", ha detto Catanzaro. "E il modello rende la persona bersaglio assegnata a quello schizzo."

Nvidia avverte che questa è ancora una tecnologia in fase iniziale, ma è anche possibile aggiornare la grafica di un gioco esistente e formare un modello su immagini del mondo reale per ri-rendering di vecchi giochi per farli apparire migliori. Poiché la tecnologia richiede al computer di analizzare oggetti conosciuti nel mondo reale, Catanzaro avverte che non funzionerà su cose fantastiche, come rendere gli elfi di Babbo Natale. In teoria, ammette, è possibile addestrare il computer a eseguire il rendering degli elfi, ma è necessario creare elfi fisici e acquisire immagini affinché il computer apprenda.

Come la tecnologia di ray tracing introdotta sulle recenti schede grafiche della serie RTX di Nvidia per i consumatori, la società ha affermato che questo rendering basato su AI viene utilizzato in modo ibrido e non è destinato a sostituire le tradizionali tecniche di rendering. Invece, il rendering basato su AI è destinato a coesistere e ad essere utilizzato con i tradizionali motori di rendering grafico.

Al momento, non è chiaro quando questa tecnologia raggiungerà il mercato dei giochi. Catanzaro avrebbe potuto fare solo un paio di anni in modo ottimista. Combinato con ray tracing , il rendering delle scene basato su AI offrirà immagini di qualità nei titoli dei giochi che vengono renderizzati in tempo reale.

• Nvidia RTX DLSS: tutto ciò che devi sapere
• Un'IA sta progettando videogiochi retrò e sono sorprendentemente buoni

( Fonte )