La generazione di asset 3D ha conosciuto un importante sviluppo grazie agli avanzamenti nel campo dell'intelligenza artificiale e del machine learning. Tra i progetti più promettenti emerge TRELLIS, un innovativo modello di generazione di oggetti tridimensionali realizzato da Microsoft, che rappresenta un modello di evoluzione significativo per la creazione di modelli 3D di alta qualità. Sfruttando una tecnologia chiamata Structured Latent , TRELLIS rende possibile la generazione di asset estremamente dettagliati, sia attraverso immagini bidimensionali che mediante descrizioni testuali.
Indice dei contenuti
Cos’è TRELLIS e il suo funzionamento
TRELLIS rappresenta un punto di svolta nel panorama della generazione di oggetti tridimensionali. A differenza di altre tecnologie che si avvalgono di una sola rappresentazione latente, il modello SLAT di TRELLIS consente interpretazioni multifaceted, offrendo diversi formati di output e permettendo una maggiore flessibilità.
Al centro di questo innovativo sistema ci sono i Rectified Flow Transformers, appositamente progettati per interagire con la struttura SLAT. Questi trasformatori rendono possibile la generazione di asset 3D di alta qualità ed estremamente dettagliati, utilizzando dataset di enormi proporzioni, come quello composto da 500.000 oggetti 3D utilizzato per l'addestramento. Uno degli elementi distintivi dei modelli sviluppati tramite TRELLIS è la ricchezza nei dettagli: non solo nella forma, ma anche nella texture, una caratteristica essenziale per le applicazioni più avanzate nei settori del gaming, della realtà aumentata e della realtà virtuale .
Il potenziale di TRELLIS si estende ben oltre la semplice creazione di modelli tridimensionali. Infatti, è in grado di operare su un vasto campo di applicazioni, integrandosi nei flussi di lavoro di designer e sviluppatori, contribuendo a una significativa evoluzione nella produzione di contenuti visivi interattivi.
Modificazione locale degli asset 3D
Uno degli aspetti più innovativi di TRELLIS è senza dubbio la possibilità di effettuare modifiche locali sugli asset 3D generati. Questo significa che è possibile creare versioni alternative dello stesso oggetto o implementare aggiornamenti mirati su particolari sezioni dell'oggetto tridimensionale. Una funzionalità di questo tipo risulta particolarmente utile in settori come il game design o durante la personalizzazione di modelli per applicazioni di realtà aumentata, dove la personalizzazione e la variabilità sono imprescindibili.
Grazie a modelli pre-addestrati che attingono a un vasto dataset di asset 3D, con una capacità massima di 2 miliardi di parametri, gli utenti possono immediatamente accedere a soluzioni già pronte all'uso, riducendo notevolmente i tempi e i costi di sviluppo. Questi modelli possono essere facilmente recuperati attraverso la piattaforma Hugging Face, liberando i professionisti dall'impegno di dover inattivare dall'inizio l'intero modello.
Questa accessibilità, unita alla capacità di modifica, trasforma TRELLIS in uno strumento essenziale per chiunque desideri approfondire la creazione di ambienti digitali evoluti.
Come provare TRELLIS e generare un oggetto 3D
Accedere alle funzionalità di TRELLIS è un’operazione alquanto semplice. Attraverso una pagina dedicata, gli utenti possono caricare un'immagine e, premendo il pulsante "Generate", ottenere immediatamente una rappresentazione tridimensionale dell'oggetto. Inoltre, tramite il pulsante "Extract GLB", è possibile scaricare un file esportabile utilizzabile per stampanti 3D o in applicazioni compatibili.
Il modello offre anche la vista renderizzata in tempo reale, permettendo agli utenti di visualizzare le varie rappresentazioni tridimensionali generate. Grazie a questa tecnologia, un singolo upload di immagine, come quella prelevata da stock fotografici, può trasformarsi in una straordinaria asset 3D.
Per i più intraprendenti, l'installazione di TRELLIS è disponibile per sistemi Linux, richiedendo una scheda NVIDIA con un minimo di 16 GB di memoria . Microsoft suggerisce di utilizzare GPU A100 o A6000, insieme a vari strumenti come il CUDA Toolkit e Python 3.8. Installare TRELLIS implica una serie di comandi per clonare il repository e configurare l’ambiente, richiedendo tempo a causa delle numerose dipendenze necessarie.
Prossimi sviluppi e applicazioni future
Il progetto TRELLIS è ancora in fase di sviluppo attivo e Microsoft ha in programma il rilascio di ulteriori modelli e migliorie funzionali. Si prevede anche la pubblicazione del codice sorgente utilizzato per l'addestramento e dei dati a supporto dei modelli stessi. Gli utenti possono dunque prevedere progressi sia nella qualità degli asset generati, sia nella capacità di modifica locale.
La capacità di generare asset 3D in molteplici formati, insieme alla funzionalità di modificazione locale, pone TRELLIS al centro di molteplici applicazioni pratiche. Creare oggetti tridimensionali ricchi di dettagli e pronti all'uso è solo l'inizio: l'interesse nei confronti di ambienti interattivi di alta qualità è destinato a crescere, e TRELLIS potrebbe rappresentare la chiave per svelare nuove opportunità in questo panorama in continua evoluzione.
