Meta lancia il modello 3D di Vincent “Blockbuster”, generando materiali 3D in un secondo

Meta Company ha pubblicato ufficialmente un documento di ricerca, introducendo un sistema di modelli 3D Vincent chiamato Meta 3D Gen, in grado di generare risorse 3D di qualità superiore dal testo in meno di un minuto.

Caratteristiche tecniche:

• Generazione ad alta velocità: 3DGen può generare risorse 3D preliminari in soli 30 secondi e la successiva fase di perfezionamento della trama richiede solo 20 secondi, migliorando significativamente l'efficienza della generazione di risorse 3D.

• Supporto Physically Based Rendering (PBR): 3DGen supporta PBR, che è fondamentale per riprodurre gli effetti di luce delle risorse 3D nelle applicazioni del mondo reale.

• Alta fedeltà: valutati da artisti 3D professionisti, i modelli 3D generati da 3DGen superano i metodi commerciali e non commerciali esistenti in termini di fedeltà e qualità visiva con istruzioni di testo complesse.

Genera modelli 3D realistici in soli due passaggi

L'articolo introduce che Meta 3D AssetGen adotta un design in due fasi per generare modelli 3D rispetto ai tradizionali metodi di generazione di oggetti 3D:

in particolare:

La prima fase: fase da testo a immagine (parte blu nell'immagine sotto): genera mesh e texture 3D in base a istruzioni di testo, prevede un'immagine a 6 canali che raffigura 4 viste dell'oggetto con colori ombra e albedo.

La seconda fase: la fase dell'immagine in 3D si compone di due passaggi.
Innanzitutto, il ricostruttore 3D (chiamato MetaILRM) genera un campo SDF tridimensionale, che viene convertito in una mesh con un materiale PBR testurizzato (la parte arancione nella figura seguente).

Questi materiali vengono poi ulteriormente migliorati con un affinamento texture per ripristinare i dettagli che potrebbero essere andati persi nella vista di input (verde nell'immagine seguente), migliorando così la qualità visiva e i dettagli del modello.

Indici multipli per quantificare materiali e luce

In termini di implementazione tecnica, Meta 3D AssetGen utilizza formule VolSDF con diversi iperparametri per eseguire il rendering dei valori SDF e ottenere l'opacità dei punti 3D.

Durante l'addestramento, il modello viene ottimizzato riducendo al minimo le perdite di rendering multivista, ma poiché un rendering fisicamente accurato è molto costoso, evitiamo la complessa equazione di rendering utilizzando direttamente i campi PBR originali per supervisionare le controparti previste.

Questo tipo di PBR si riferisce al "Rendering basato sulla fisica", che è il rendering basato sulla fisica.

Simula il comportamento fisico della luce sulla superficie di un oggetto, tenendo conto dell'impatto dell'illuminazione, delle proprietà dei materiali e dei fattori ambientali sull'aspetto dell'oggetto. Può calcolare la riflessione, la diffusione e la dispersione della luce in base a diverse caratteristiche la superficie dell'oggetto, come rugosità, sensazione metallica, ecc. assorbe. Per ottenere effetti di rendering più realistici e accurati.

In Meta 3D AssetGen, i materiali PBR vengono utilizzati per migliorare il realismo dei modelli 3D. Nello specifico, il materiale PBR include le seguenti proprietà chiave:

• Albedo: si riferisce al colore e alla luminosità della superficie di un oggetto, che determina l'aspetto dell'oggetto in diverse condizioni di illuminazione.
• Metallità: indica il grado di metallo sulla superficie di un oggetto. Gli oggetti con un'elevata sensazione metallica avranno una lucentezza metallica più evidente.
• Rugosità (Roughness): descrive la levigatezza della superficie di un oggetto e influenza la gamma di diffusione della luce sulla superficie Maggiore è la rugosità, più ampia è la diffusione della luce e più morbida è l'evidenziazione.

I materiali PBR effettivamente integrano e rappresentano un importante progresso nei contenuti 3D generati dall'intelligenza artificiale. Si ritiene che sia possibile colmare il problema di lunga data tra contenuti generati dall'intelligenza artificiale e flussi di lavoro 3D professionali, integrando perfettamente i materiali creati dall'intelligenza artificiale nei flussi di lavoro esistenti. È possibile accelerare la creazione di ambienti virtuali e gemelli digitali in tutti i settori.

I ricercatori hanno anche introdotto una tecnologia Meta 3D TextureGen costituita da una rete continua, che combina modelli di generazione di testo con condizioni semantiche 3D nello spazio 2D per fonderli in una mappa di texture UV completa e ad alta risoluzione in breve tempo per geometrie complesse.

Nella parte sperimentale, i ricercatori hanno utilizzato un set di dati di 140.000 mesh di diverse categorie semantiche create da artisti 3D per la formazione. È stata inoltre condotta un'ampia ricerca sugli utenti confrontando Meta 3D AssetGen con altri metodi di conversione testo in 3D abilitati per PBR nel settore, dimostrando che Meta 3D AssetGen offre vantaggi significativi in ​​termini di qualità visiva e controllo dei materiali:

AssetGen ottiene un miglioramento del 17% nella distanza di smusso, un miglioramento del 40% in LPIPS ed è estremamente facile da usare rispetto ai migliori concorrenti del settore a velocità comparabili, compresi quelli con supporto PBR del 72%.

Chris McKay, fondatore e redattore capo di Maginative, ha commentato:

Le potenziali applicazioni di questa tecnologia sono vaste. Gli sviluppatori di giochi possono utilizzare la 3D Gen per prototipare rapidamente ambienti e personaggi, accelerando notevolmente il processo di sviluppo. Le società di visualizzazione architettonica possono generare modelli 3D dettagliati di edifici e interni da descrizioni testuali, semplificando il processo di progettazione. Nel regno della realtà virtuale e aumentata, 3D Gen consente la rapida creazione di ambienti e oggetti immersivi, accelerando potenzialmente lo sviluppo di applicazioni Metaverse.

Ovviamente, la nuova tecnologia di Meta offre la possibilità di una presentazione realistica di modelli 3D in diversi ambienti di illuminazione. Ha un grande potenziale nei campi della grafica 3D, dell'animazione, dei giochi e dell'AR/VR e avrà un grande impatto su giochi, film e televisione. anche l'aiuto allo sviluppo del prodotto.

Questo potrebbe essere il primo passo verso un altro livello di modellazione del mondo.

# Benvenuti a seguire l'account pubblico WeChat ufficiale di Aifaner: Aifaner (ID WeChat: ifanr) Ti verranno forniti contenuti più interessanti il ​​prima possibile.

Ai Faner |. Link originale · Visualizza commenti · Sina Weibo