Odio i mosaici? Google dice che puoi “aggiustarlo”

Il film di fantascienza “Blade Runner” uscito nel 1982 prevedeva un 2019 pieno di tecnologia cyberpunk: il cielo è pieno di macchine volanti e gli umani possono usare una macchina a grande schermo (Esper) per svolgere molti compiti incredibili.

Quando il protagonista Rick Deckard ha rintracciato la posizione dei cloni, ha usato Esper per portare alla luce alcuni indizi che sono stati ignorati ad occhio nudo.

Rick ha inserito una foto sospetta trovata sulla scena in Esper e ha ingrandito un angolo della foto in modo non distruttivo più e più volte, e infine ha trovato l’androide Jura nel riflesso dello specchio.

L’immaginazione delle opere di fantascienza è infatti limitata dalla tecnologia del tempo.I PC sono diventati popolari nel 1982. “Blade Runner” non immaginava che l’emergere di Internet avesse cambiato il modo di vivere umano, né poteva immaginare che tecnologia di simulazione avrebbe Un giorno è stata sostituita dalla tecnologia digitale.

Tuttavia, la sua immaginazione della tecnologia dell’immagine di ingrandimento senza perdita di dati è molto avanzata, il che è un problema difficile da risolvere finora.

Potresti anche aver riscontrato questa situazione: dopo la festa, gli amici hanno scattato una foto di gruppo insieme e poi hanno ingrandito per vedere la faccia del vecchio compagno di classe o la marca di bevande quella sera quando sono tornato, ma quello che ho visto era sfocato.

Questo perché quando ingrandiamo la foto in una certa misura, la risoluzione locale è già molto bassa e tutto ciò che vediamo sono immagini composte da pixel.

È possibile per noi estrarre informazioni aggiuntive sull’immagine da banali “mosaici” come la fantasia di 30 anni fa?

Un blog recentemente pubblicato dal team AI di Google ha menzionato un nuovo algoritmo di immagine, che è molto vicino alla visione di “Blade Runner”.

Incredibile aumento della risoluzione

Quanto è grande una foto di 64 X 64 pixel? Usando la foto da 12 megapixel scattata dall’iPhone come modello, è solo circa un terzo delle sue dimensioni.Quando viene visualizzata su uno schermo ad alta definizione, vedrai solo un “mosaico” completo.

Nell’era digitale, ogni immagine che vediamo sullo schermo è composta da pixel densamente compressi: più pixel per unità di area compongono l’immagine, maggiore è la risoluzione e più chiara è l’immagine.

I ricercatori di intelligenza artificiale di Google stanno pensando, è possibile estrarre abbastanza informazioni sull’immagine da una bassa risoluzione, utilizzare l’apprendimento automatico per ripristinare il più possibile l’immagine originale, aumentare la risoluzione dell’immagine e ottenere un’immagine chiara?

Nel suo blog pubblicato di recente, Google ha mostrato i suoi ultimi risultati della ricerca, che è molto scioccante dall’effetto: attraverso due diversi algoritmi, le foto da 64 X 64 pixel possono essere ripristinate a una risoluzione di 1024 X 1024 pixel e dettagli L’effetto è molto realistico.

Va precisato che le foto ripristinate da Google tramite algoritmi di machine learning sono destinate ad avere delle deviazioni dalle foto originali, ma quando non riusciamo ad ottenere la scena originale (come le vecchie foto del passato), un “restore” cioè il più vicino possibile al reale Le foto sono davvero preziose.

Secondo Google, riparare una foto “a mosaico” consiste in due processi: “distruggere” e “riorganizzare”.

Innanzitutto, al fine di estrarre il più possibile i dettagli grafici del blocco di pixel “mosaico”, i ricercatori di Google elaboreranno prima i campioni di prova con l’algoritmo del rumore gaussiano per ottenere una “mappa del fiocco di neve” composta interamente da rumore, che sembra un bit come la precedente TV analogica L’immagine del segnale.

Quindi, i ricercatori utilizzano algoritmi di rete neurale per invertire il processo di distruzione del rumore gaussiano e sintetizzare nuovi dati di immagine attraverso il processo di ripristino inverso e ridurre il rumore il più possibile dall’immagine di rumore puro per ottenere un’immagine chiara.

Il principio del restauro dell’immagine non è complicato, ma l’algoritmo coinvolto non è semplice.Per ripristinare l’immagine grande ad alta definizione “restauro uno-a-uno”, i ricercatori di Google hanno proposto l’algoritmo di super-risoluzione SR3 e il modello di diffusione in cascata CDM Migliora l’accuratezza del restauro attraverso l’apprendimento del confronto di immagini su larga scala.

Vale la pena ricordare che sebbene abbiamo sempre usato “mosaico” per riferirci a immagini a bassa risoluzione di grandi pixel a bassa risoluzione, questo è essenzialmente diverso dalle foto codificate reali.

Il motivo per cui l’algoritmo di ripristino di Google può rendere chiare le immagini a bassa definizione si basa essenzialmente sulle corrette informazioni sull’immagine contenute nell’immagine stessa, attraverso il confronto e l’abbinamento di innumerevoli immagini in un enorme database e infine un riempimento approssimativo simulato dei pixel.

Quando la foto è macchiata di mosaico, le informazioni sull’immagine contenute nella foto cambieranno.

In parole povere, l’algoritmo del mosaico consiste nel selezionare casualmente il colore dei pixel in un’area a un intervallo fisso, quindi ottenere il valore medio di tutti i pixel nell’area e riempirlo nel quadrato con un nuovo colore.

Dopo la codifica, le informazioni sui pixel originali vengono perse e si ottengono solo le informazioni sull’errore calcolate casualmente.In questo momento, lascia che il machine learning lo ripristini, proprio come chiedergli di dare una risposta corretta a una domanda completamente sbagliata. impossibile rispondere.

Quindi, se qualcuno vuole utilizzare l’algoritmo di Google per estrarre alcune delle informazioni private cancellate, può dissipare questa idea.

Sei entrato nel futuro

È probabile che l’algoritmo di riparazione HD di Google venga finalmente applicato al software di elaborazione delle immagini di Google come Google Foto, Snapseed, ecc. Diventerà uno dei nostri strumenti di fotoritocco come HDR, correzione dell’angolo di visualizzazione e altri algoritmi.

Tornando al film “Blade Runner”, Esper è in realtà una macchina molto interessante, è un po’ una fusione di tecnologia analogica e tecnologia digitale.

Da un lato, è molto avanzato, le persone possono controllarlo con la voce e ottenere un ingrandimento senza perdita di dati; dall’altro, è molto vecchio stile, con un grande schermo chiaro ma ancora una struttura CRT, il processo di importazione delle foto è per eseguire la scansione da foto fisiche.

Secondo l’effetto del filmato, Esper può essere una certa coordinata della foto a punto fisso, quindi ingrandire la foto attraverso una precisa struttura di lenti (microscopio). Guardando ora, l’idea dell’amplificazione senza perdite è molto avanzata, ma la tecnologia di simulazione non è ovviamente un futuro realistico.

Per le persone moderne, i telefoni cellulari e i computer nelle loro mani sono l’”Esper” di tutti.

Ora che le foto hanno già completato l’evoluzione di un flusso di lavoro completamente digitale, non è difficile ingrandire le foto con la tecnologia digitale. In altre parole, sei effettivamente entrato nel “futuro” descritto in “Blade Runner”.

La super-risoluzione delle immagini è sempre stata un argomento di ricerca nel campo della visione artificiale. Aziende come Adobe stanno sviluppando tecnologie di elaborazione delle immagini correlate, che sono state applicate in software di elaborazione grafica come Photoshop e Lightroom.

Prendiamo Photoshop come esempio. Dopo aver importato l’immagine in formato RAW, è possibile selezionare la funzione “Super Risoluzione” della funzione “Avanzata”. Il software farà riferimento a contenuti simili per arricchire la trama dell’immagine e aumentare la risoluzione dell’immagine di 4 volte L’intero processo richiede circa un minuto.

Dalle foto prima e dopo il miglioramento del contrasto si può vedere che la nitidezza delle foto è stata notevolmente migliorata dopo l’aumento della risoluzione e anche alcuni dettagli sfocati e irriconoscibili sono diventati chiari.

Adobe ha menzionato in un blog tecnico pubblicato nel marzo di quest’anno che l’algoritmo di super-risoluzione che utilizza ha superato anche molti corsi di apprendimento automatico ed è in costante miglioramento.

Ha senso far esplodere la risoluzione delle immagini? Forse dopo aver scattato una foto, non la ingrandirai per approfondire ogni dettaglio, ma quando devi stampare questa foto, la risoluzione dell’immagine della foto determina direttamente la dimensione massima della stampa.

Questo è particolarmente importante per i fotografi. A volte, quando si riprendono paesaggi con un obiettivo grandangolare, un’aquila vola nel cielo. I dettagli delle piume dell’aquila non possono essere catturati con un obiettivo grandangolare. È possibile ottenere l’immagine tu vuoi.

Adobe ha utilizzato una foto da 2,5 megapixel nel suo blog come esempio e ha utilizzato la funzione di super risoluzione per ingrandirla a 10 milioni di pixel in modo che possa essere stampata in una foto “decente”. Adobe descrive questo processo come “zoom digitale”. ”

Confrontando gli algoritmi di Adobe e Google, ci sono alcune differenze tra i due: Adobe richiede foto in formato RAW che conservano una grande quantità di informazioni originali per i calcoli, mentre l’algoritmo di Google può ripristinare le foto sulla base di alcune informazioni molto approssimative.

Al momento, entrambi gli algoritmi non sono ancora completamente maturi ed è necessario molto apprendimento automatico per migliorare l’accuratezza del calcolo e del ripristino.

Ma ciò che è certo è che la tecnologia a super risoluzione diventerà una delle tecnologie di imaging più popolari nel prossimo futuro, aiutando le persone a liberarsi dei limiti dei teleobiettivi e di altre apparecchiature e a registrare ogni dettaglio e momento della vita. Per vedere un mondo più chiaro, non abbiamo smesso di esplorare.

#Benvenuto a seguire l’account WeChat ufficiale di Aifaner: Aifaner (ID WeChat: ifanr), i contenuti più interessanti ti verranno forniti il ​​prima possibile.

Ai Faner | Link originale · Visualizza commenti · Sina Weibo