Perché non utilizzare una fotocamera per la fotografia computazionale che migliora notevolmente le capacità della fotocamera dell’iPhone?

Al lancio della serie iPhone 11, il vicepresidente senior di Apple Philip W. Schiller ha introdotto per la prima volta il concetto di fotografia computazionale quando ha introdotto il sistema di imaging della serie iPhone 11 Pro. Questo concetto è stato anche il primo Noto al pubblico.

In effetti, il concetto di fotografia computazionale non è nuovo: è apparso per la prima volta in un documento pubblico nel 1994, ed è stato stabilito che la sintesi nella fotocamera di HDR, foto panoramiche e bokeh simulato appartengono alla categoria della fotografia computazionale. Ma a quel tempo, il principale vettore di foto era ancora la pellicola, e le fotocamere digitali stavano appena iniziando e non c’erano fotocamere sui telefoni cellulari.

Decenni dopo, il vettore della registrazione delle immagini è passato da pellicola a digitale, i telefoni cellulari hanno fotocamere e la fotografia computazionale è diventata gradualmente una tendenza importante.

Tuttavia, questa tendenza ha poco a che fare con le fotocamere. I produttori di fotocamere stanno ancora migliorando gradualmente i pixel, la velocità di scatto continuo e le capacità video. Sembrano non vedere la fotografia computazionale. Le foto scattate (direttamente) sono ancora molto mediocri e vengono gradualmente utilizzate dagli smartphone. “Al di là”.

Al contrario, la potenza di calcolo dei chip degli smartphone sta diventando sempre più forte, l’intelligenza artificiale, gli algoritmi e l’apprendimento automatico sono coinvolti in una gamma più ampia. Ci sono sempre più metodi deduttivi di immagini e infine foto elaborate da una serie di “algoritmi”. Inoltre sta migliorando.

Oggigiorno, molte persone sono più disposte a utilizzare i telefoni cellulari per registrare e condividere e le fotocamere stanno diventando meno comuni. Ciò si riflette anche nell’andamento del mercato dei due. Il mercato degli smartphone è cresciuto rapidamente e il mercato delle fotocamere si è ridotto anno dopo anno. Anche la DC (card camera ) Gradualmente scomparso.

In questo momento, alcune persone potrebbero chiedere, dal momento che le foto scattate dagli smartphone hanno un aspetto così bello, perché i produttori di fotocamere tradizionali non seguono la tendenza della fotografia computazionale e considerano il miglioramento dell’aspetto e della sensazione semplici delle foto?

La fotocamera non ha abbastanza potenza di calcolo per contare?

Cominciamo con il “cuore” di questo numero.

Il nucleo di un telefono cellulare è SoC, che integra CPU, GPU, ISP, NPU e banda base. Ti consente di effettuare chiamate, scattare foto, guardare video, giocare e navigare in Internet. Determina inoltre direttamente le prestazioni del telefono cellulare.

Il componente principale della fotocamera è il sensore di immagine (CMOS), che è simile a un telefono cellulare tranne che per l’area dei componenti, per l’imaging e la sensibilità alla luce. Inoltre, il chip di elaborazione centrale che controlla l’intero sistema della fotocamera è chiamato processore di immagini.

Prendi il processore di immagini BIONZ X di Sony come esempio (serie α7 royal). Include chip SoC e ISP. Non integra ISP in SoC. Il vantaggio è che Sony può aumentare il numero di chip ISP in base ai requisiti di prestazioni di CMOS. (Il BIONZ X di α7RIII è dotato di doppio ISP). Lo svantaggio è che il grado di integrazione non è alto come quello dei telefoni cellulari.

Il ruolo del SoC in BIONZ X è simile a quello di un telefono cellulare I requisiti di prestazione per il controllo dell’interfaccia di controllo e delle funzioni della fotocamera non sono elevati. Eseguire la trasformazione Bayer, la demosaicizzazione, la riduzione del rumore, la nitidezza e altre operazioni sui “dati” raccolti dal sensore di immagine, principalmente affidandosi all’ISP, e infine convertire i dati raccolti da CMOS nella visualizzazione in tempo reale della telecamera. In questo processo, l’ISP della fotocamera non coinvolge il processo di calcolo, ma tratta le foto come prodotti sulla catena di montaggio per l’elaborazione unificata.

Con il miglioramento continuo del numero di pixel, della velocità di scatto continuo e delle prestazioni video della fotocamera attuale, il processore di immagini della fotocamera ha una forte richiesta per la velocità e il rendimento dell’elaborazione delle immagini e il volume dei dati singoli è molto grande, senza coinvolgere il “calcolo”. , La potenza di elaborazione del processore di immagini della fotocamera supera di gran lunga la potenza di elaborazione dell’attuale ISP per smartphone.

Ma quando si tratta di fotografia computazionale o capacità di intelligenza artificiale, c’è qualcosa di diverso. Il processo di imaging di uno smartphone è in qualche modo simile a quello di una fotocamera, ma prima che l’immagine finale venga presentata, richiede anche calcoli ISP e DSP, regolazione e ottimizzazione in tempo reale, soprattutto dopo che il sistema multi-camera diventa mainstream, il volume dei dati di calcolo del telefono cellulare raddoppia.

Dopo che la serie iPhone 11 Pro ha lanciato il sistema multi-camera, dietro la commutazione fluida e fluida del sistema multi-camera ci sono le enormi capacità di elaborazione dei dati dei due acceleratori di apprendimento automatico appena aggiunti in A13 Bionic, che raggiungono un trilione di volte al secondo. Le capacità di elaborazione dati ad alta frequenza ed efficienti possono essere considerate come consumare l’enorme quantità di dati generati da tre telecamere.

L’elaboratore di immagini della fotocamera per lo più preelabora i dati originali e non c’è quasi nessun processo di calcolo, mentre il SoC del telefono cellulare include la pre-elaborazione dell’acquisizione dei dati e i successivi processi di calcolo, ei due si concentrano su direzioni diverse.

Gruppi diversi, risultato della segmentazione del mercato

La fotografia del mobile computing si è sviluppata rapidamente. La causa principale è che la dimensione del sensore di immagine (CMOS) del telefono cellulare è troppo piccola. Con la tecnologia attuale, se vuoi sorpassare o avvicinarti fisicamente alla fotocamera, puoi ottimizzarla solo tramite algoritmi per farla sembrare semplice, ad esempio automatica HDR, scena notturna eccellente, grande apertura simulata, cambio magico del cielo e altre funzioni.

Ma l’interpretazione di questi algoritmi è ancora difficile da ottenere un intervento “personalizzato”, ad esempio in che misura viene aggiunto il filtro e in che misura vengono mantenute le luci e le ombre HDR. Tuttavia, per i telefoni cellulari rivolti al grande pubblico, per quanto possibile, lasciare che la maggior parte delle persone scatti buone foto, il che è più in linea con il posizionamento di mercato e il posizionamento della folla dei telefoni cellulari.

Dall’invenzione della fotocamera, la fotocamera ha un attributo “strumento” assoluto: per essere efficiente, l’aspetto, il controllo, la funzione, ecc. Comprometteranno l’efficienza. Di fronte a un gruppo di professionisti di nicchia, sarà naturalmente più in linea con le loro esigenze. Le telecamere registreranno la profondità del colore, il colore, la luce e altre informazioni il più possibile, in modo che gli utenti possano effettuare una gamma più ampia di post-regolazioni per determinare se è buono o meno. Non nei loro bisogni.

Per la maggior parte delle persone che non hanno una base nella fotografia, ottenere una bella foto a portata di mano è molto più importante che ottenere una foto informativa. Per i produttori di fotocamere professionali, aumentare la profondità del colore della registrazione RAW è più in linea con il posizionamento di mercato rispetto all’aumento dell’effetto diretto di JPG.

Tuttavia, le cose non sono così assolute e anche le telecamere stanno cercando di cambiare. Fuji è sempre stata impegnata nell’effetto diretto della fotocamera, introducendo la “simulazione del film”, attraverso diversi algoritmi, per rendere le foto più gustose e un aspetto migliore. Tuttavia, questo processo non passa attraverso i calcoli delle scene, ma richiede agli utenti di scegliere da soli. Questo è simile ad alcune app di simulazione di film sui telefoni cellulari e non coinvolge la cosiddetta “fotografia computazionale”.

Dopo l’IA, è la direzione generale della fotocamera?

Nel campo della fotografia, la post-elaborazione è un passaggio indispensabile. Da un lato, il software di post-elaborazione può sfruttare appieno le ricche informazioni registrate in formato RAW e, dall’altro, può anche utilizzare le elevate prestazioni e la potenza di calcolo del PC per elaborare rapidamente le foto.

A differenza dei produttori di fotocamere, il software di post-produzione professionale quasi mainstream ha iniziato a lavorare sull’intelligenza artificiale, enfatizzando le capacità di elaborazione dell’IA.

Photoshop di Adobe ha aggiunto una funzione di riconoscimento automatico alle operazioni di ritaglio, riparazione e dermoabrasione nelle recenti versioni dell’aggiornamento, rendendo l’operazione sempre più insensata e l’effetto sempre più preciso. Il software di ritocco Pixelmator Pro sulla piattaforma Mac ha iniziato a utilizzare l’apprendimento automatico Core ML di Apple per riconoscere le immagini già nel 2018, in modo da eseguire la regolazione del colore, la mascheratura, la selezione e persino l’output di compressione. È stato utilizzato l’apprendimento automatico ML. motore.

Come accennato in precedenza, a causa della limitazione della potenza di calcolo dei chip AI e del problema del mercato di nicchia, i produttori di fotocamere hanno appena esercitato i loro sforzi nella fotografia computazionale. Tuttavia, l’esplosione del software successivo nell’intelligenza artificiale può anche essere considerata come compensare le carenze delle fotocamere nella fotografia computazionale.

Anche se l’intelligenza artificiale del software successivo è inclusa, le telecamere non hanno ancora eliminato il processo tradizionale: le telecamere registrano e il software elabora.Questo processo è ancora macchinoso per il pubblico. Per i fotografi professionisti, l’intervento del software successivo AI può effettivamente ridurre il carico di lavoro e rendere molto più semplici le complicate operazioni di ritaglio originali, ma non può ancora invertire il processo di elaborazione (creazione) delle foto del tradizionale settore della fotografia, che è completamente diverso dal telefono cellulare. diverso.

Secondo i dati del CIPA, il mercato delle fotocamere si sta gradualmente restringendo, al contrario, il mercato della telefonia mobile continua a crescere. La tendenza della “fotografia computazionale” sugli smartphone non cambierà la direzione delle fotocamere diventando più professionali, né invertirà il graduale restringimento del mercato delle fotocamere.

Di fronte ai telefoni cellulari minacciosi, le fotocamere possono svilupparsi solo in una direzione più professionale e continuare a suddividere il mercato verso l’alto. Negli ultimi anni, il full frame 40 milioni e 60 milioni di pixel alti, il medio formato oltre 100 milioni di pixel e il micro-singolo Le funzionalità video continuano ad avvicinarsi alle videocamere professionali, che sono tutti prodotti del segmento delle fotocamere.

La crescente specializzazione delle fotocamere implica la necessità di sensori di immagine (CMOS) con prestazioni migliori, ma la “fotografia computazionale” si basa su un modulo di apprendimento automatico separato. Come tutti sappiamo, il costo elevato e l’alto rischio dello sviluppo del chip rendono difficile per i produttori di fotocamere. Prendi in considerazione entrambi. La fotografia computazionale e lo sviluppo della specializzazione sono due percorsi diversi. Allo stesso tempo, per funzionalità come la “fotografia computazionale” e l ‘”intervento AI” che sono di scarsa utilità per gli utenti professionali, è probabile che i produttori di fotocamere vengano temporaneamente abbandonati strategicamente a causa del bilanciamento dei costi di ricerca e sviluppo.

In questa fase o nel prossimo futuro, è ancora più difficile desiderare che i produttori di fotocamere adottino la “fotografia computazionale” con alto rischio, investimenti elevati e risultati lenti, senza contare che ci sono ancora molti software professionali di post-produzione che utilizzano l’intelligenza artificiale per ritoccare le foto. Alla fine.

#Benvenuto a seguire l’account WeChat ufficiale di Aifaner: Aifaner (ID WeChat: ifanr), ti verranno forniti contenuti più interessanti il ​​prima possibile.

Ai Faner | Link originale · Visualizza commenti · Sina Weibo