| inviato il 14 Ottobre 2023 ore 19:27
Ho distinto denoise e riempimento generativo. Il primo nella versione AI si comporta come un Sistema Esperto per determinare la strategia di azione che tra l'altro non è un solo denoise ma spesso contiene elementi di sharpening e correzione geometrica. Tutto questo viene fatto per ottimizzare l'applicazione delle correzioni e renderle maggiormente efficaci e in questo i risultati sono tangibili, rispettosi dei contenuti dello scatto e a mio avviso pienamente etici.
Il Caso delle funzioni generative è più delicato e si va a trasformazioni "creative" che possono addirittura stravolgere il soggetto, questo tipo di operazione è più simile al fotomontaggio che come tutti sappiamo può essere usato in modo più o meno etico. Anche ai tempi delle lastre c'era chi correggeva le immagini, Il fotografo del mio paesello era solito aprire gli occhi chiusi con matite e carboncini, se questo fosse etico non lo so ma era affascinante vederlo lavorare e tutti lo chiamavano Eugenio il Fotografo  . Nel caso della funzione di Lens Blur credo che si faccia un'ulteriore passo in avanti modificando addirittura il modo di scattare. Ma anche questo è storia vecchia per chi scatta in RAW già pensando alla futura azione di sviluppo.
Per quanto riguarda chi usa professionalmente questi strumenti generativi, credo che anche molti matrimonialisti già lo facciano in maniera più o meno esplicita facendo cose che spesso già facevano ma in modo più pratico. Ovviamente nel caso di fotografia naturalistica documentaria questi strumenti sono talvolta poco rispettosi della realtà.
|
| inviato il 14 Ottobre 2023 ore 20:07
“ Un denoise non accede a nessun database esterno é semplicemente una mappa (una trasformazione matematica) tra immagini noisy e immagini noiseless. La quale non derivando da un modello teorico é stata ottenuta una volta per tutte usando un dataset di immagini reali dove l'input é semplicemente una versione rumorosa dell'output. Non c'è alcun intento generativo in come viene impostato il training di un modello del genere. Un denoise tradizionale é pur sempre una mappa tra immagini noisy e noiseless, ma magari basata su un modello teorico sulle proprietà statistiche del rumore. La narrazione generalista fa apparire tutte queste cose come magia nera e chiaramente non tutti sono del campo e possono apprezzare la letteratura scientifica. Ma questo é purtroppo necessario anche per capire bene che cosa sta sotto questa apparente magia. „
Ti ringrazio, il tuo intervento è interessante a parte la chiusa polemica e da predellino vorrei capire meglio come funziona nello specifico il modello di Adobe potresti linkare le fonti?
Oppure hai esperienza diretta nel campo IA?
Grazie |
| inviato il 14 Ottobre 2023 ore 20:36
“ Ti ringrazio, il tuo intervento è interessante a parte la chiusa polemica e da predellino, vorrei capire meglio come funziona nello specifico il modello di Adobe e se davvero non utilizza un dataset, potresti linkare le fonti? Oppure l'hai dedotto da una tua esperienza personale?
Grazie. „
L'implementazione esatta nel dettaglio non la conosce nessuno all'esterno, ma esiste da molti anni, direi da quando esistono le GPU per accelerare questo tipo di calcolo e la concomitante esplosione del "deep learning" basato su reti neurali convolutive (CNN), un filone di ricerca sul denoise con questo tipo di reti neurali. Si possono trovare pletore di paper, e ci sono anche ormai dei dataset aperti con migliaia di immagini anche ad alta risoluzione che vengono usati in ambito accademico per sviluppo e benchmark di questo genere di metodi.
In questa pubblicazione, a dire il vero non citatissima, c'è una tabellina di review con una serie di dataset e associate pubblicazioni. Alcuni di questi sono vere e proprie immagini di fotocamere scattate ad alta e bassa sensibilità.
assets.researchsquare.com/files/rs-1806416/v1_covered.pdf?c=1656707549
Il metodo a grandi linee è ben noto (il diavolo sarà nei dettagli) e consisterà nel training di una CNN opportuna (o altra architettura affine) su un dataset (sicuramente proprietario, non open source) contenente una gran quantità di immagini che DxO avrà accumulato negli anni. Si può ipotizzare che "DeepPrime" nasca da una certa rete neurale allenata su un database iniziale vasto a piacere contenente scatti ad alta e bassa sensibilità della stessa scena, dove la bassa sensibilità fa da proxy per l'immagine "noiseless" (che non esiste). Questa è una strategia possibile, ma ne esistono anche altre come discusso qui (https://openaccess.thecvf.com/content_cvpr_2018/papers/Abdelhamed_A_High-Quality_Denoising_CVPR_2018_paper.pdf). Questa è una semplificazione in quanto il workflow sarà molto più complesso e sicuramente lavora su frammenti di immagine che vengono poi riassemblati, per ragioni di occupazione di memoria. Ma il concetto di base non può essere molto differente da questo a meno di dettagli.
In questo contesto aggiungere "il supporto ad una fotocamera" vorrà dire prendere un modello standard che di per sè è sufficientemente generale, e fare un fine-tuning su un dataset di immagini della nuova camera. Quindi per ogni fotocamera "DeepPrime" o "Adobe AI" è uno specifico set di coefficienti (milioni) che definisce la mappa da immagine "noisy" a "noiseless". Quando lanci DeepPrime in DxO semplicemente la tua GPU o CPU applica quella mappa, che sta scritta sul tuo hard disk. In inferenza non c'è alcun utilizzo di un database esterno.
Nella strategia di training non c'è alcun intento generativo, è un problema di regressione il cui esito è tale mappa. Mappa che è un'approssimazione numerica ad un'ipotetica e ignota trasformazione, la cui forma non è nota. Per cui sì, possono comparire artefatti, e anche micro-dettagli che "non esistono", ma non è niente di molto diverso da un algoritmo di interpolazione o di demosaicizzazione, ...o di denoise tradizionale. Anche un denoise tradizionale genera dei pixel che "non esistono", solo in modo meno smart...
www.darktable.org/2012/12/profiling-sensor-and-photon-noise/
“ Oppure hai esperienza diretta nel campo IA? „
Sì, anche se non mi occupo strettamente di processing di immagini. Ma le tecniche generali sono quelle e sono ben note. Questo non significa che sia banale quello che fanno Adobe o DxO, come detto il diavolo è nei dettagli ! Io posso fare un guess basato sullo stato dell'arte e al 99.9% la soluzione commerciale includerà molti di quegli ingredienti noti in letteratura, ma integrare concetti sparsi in una soluzione robusta e funzionante è difficilissimo.
(E la forza è nei dati, solo se hai accesso a un certo tipo di dataset puoi implementare certi approcci. Costruirli costa fatica e denaro, e chi li ha se li tiene stretti! Infatti anche altre magie tipo chatGPT/GPT4...più o meno tutti sanno com'è fatta l'architettura del modello, ma nessuno ha accesso ai dati con cui è stato fatto...
).
|
| inviato il 14 Ottobre 2023 ore 20:56
Grazie, Simone. Interessante. |
| inviato il 14 Ottobre 2023 ore 21:56
Uno spiegone che se come pare viene da un esperto, è molto interessante e dipana parecchi sospetti da parte di qualcuno |
| inviato il 14 Ottobre 2023 ore 22:42
Grazie Simone, hai argomentato molto bene il tuo pensiero e la pubblicazione che hai linkato è molto interessante e anche completa.
Anche se esula dal contesto artistico, puoi chiarire quanto può essere efficace e affidabile questo metodo rispetto ai classici in ambito scientifico dove serve conservare il segnale così com'è ripulendolo al meglio (preferendo il rumore all'artefatto) dai vari tipi di disturbi senza alterare la natura stessa dell'informazione?Se hai altri link interessanti a riguardo li leggerei volentieri.
|
| inviato il 15 Ottobre 2023 ore 8:32
“ Grazie Simone, hai argomentato molto bene il tuo pensiero e la pubblicazione che hai linkato è molto interessante e anche completa.
Anche se esula dal contesto artistico, puoi chiarire quanto può essere efficace e affidabile questo metodo rispetto ai classici in ambito scientifico dove serve conservare il segnale così com'è ripulendolo al meglio (preferendo il rumore all'artefatto) dai vari tipi di disturbi senza alterare la natura stessa dell'informazione?Se hai altri link interessanti a riguardo li leggerei volentieri.
„
É una domanda ben posta perché in fotografia conta solo l'estetica dell'immagine finita l'artefatto se non visibile passa. Invece in un workflow scientifico se l'immagine ripulita deve poi entrare come input in altre trasformazioni bisogna andare coi piedi di piombo. Bisognerebbe vedere in questo caso la letteratura specifica perché le problematiche sono molto specifiche per settore. Anche perché sono contesti più controllati dove spesso si hanno informazioni a priori più specifiche sulla natura e le proprietà statistiche del rumore, che possono essere sfruttate per implementare una metodologia.
In generale mi sembra di vedere che con le dovute cautele vengano usati un po' dappertutto metodi di Deep learning non solo per denoise ma molte trasformazioni.
Qua ci sono vari esempi citati sia di tipo "supervised" cioè che funzionano grossomodo come avevo accennato cioè con un database di coppie di immagini con/senza rumore (che siano reali o dove il rumore é iniettato sinteticamente...), ma anche "unsupervised" che non richiede le immagini noiseless (che in effetti é un'altra strada percorribile).
www.sciencedirect.com/science/article/pii/S1357272521001588
Come dicono anche qui negli highlights il trend generale per mitigare il problema di artefatti e simili é di integrare dentro il workflow "data driven" più step possibili, quindi denoise+deconvolution o altri passaggi. In questo modo si tiene sotto controllo la problematica perché vai a creare una mappa che rappresenta end-to-end tutto il tuo flusso di lavoro.
E non é un caso che DxO per proporre un successore di DeepPrime abbia fatto (anche) questo. DeepPrime XD fa demosaicing+denoise tutto in un colpo solo con un modellone.
I dettagli fini non si possono conoscere, ma i macro trend della letteratura più o meno rivelano in che direzione vanno anche i softwaroni commerciali e danno una vaga idea di come possano essere implementati. Anche perché non é che i machine learning engineers che lavorano per DxO o Adobe vivano in una bolla...prendono anche loro a piene mani dalle pubblicazioni, molto probabilmente sono ex accademici, ecc ecc.
In generale a livello macroscopico in questo settore "come si dovrebbe fare" una certa cosa é ben noto. Tanto codice viene rilasciato open source (come tanti esempi in quel paper) e chiunque può usarlo e fare fine-tuning su un proprio dataset di un modellone di base. Gli algoritmi spesso sono una "commodity" ormai. Quello che fa la differenza sono i dettagli fini dell'implementazione, i dati, avere accesso e saper sfruttare la potenza di calcolo ecc.
GPT4 più o meno sanno tutti come funziona ma OpenAI i dati sorgente, e il know-how su come fare training distribuito di modelli colossali su decine di data center se li tengono ben stretti.
Considerazioni che valgono per il denoise ma anche per l'oggetto della discussione se ho ben capito il nuovo tool di Adobe passa per una mappa di profondità. La stima di una mappa da una singola immagine si chiama 'monocular depth estimation' ed é una roba stra ricercata da decenni, alla quale in anni recenti ovviamente i metodi di Deep learning vari hanno dato nuovo impulso:
paperswithcode.com/task/monocular-depth-estimation
Adobe avrà creato una versione super raffinata del know-how che c'è in letteratura. |
| inviato il 15 Ottobre 2023 ore 9:17
Da profano ho di recenti scoperto che la AI viene impiegata anche in ambito medico. Per esempio nelle TAC. Lì spero che di dettagli non se ne inventi  |
| inviato il 15 Ottobre 2023 ore 9:22
Vista la competenza di certi medici che ho incontrato nella mia vita, forse preferisco farmi fare le diagnosi da un algoritmo |
| inviato il 15 Ottobre 2023 ore 9:52
“ Da profano ho di recenti scoperto che la AI viene impiegata anche in ambito medico. „
I sistemi esperti da molti anni sono usati in molti campi lavorativi. In medicina esistono sistemi esperti che si occupano delle diagnosi fin dagli anni 80.
“ Adobe avrà creato una versione super raffinata del know-how che c'è in letteratura. „
Non dimentichiamoci che Adobe ha da anni una partership con NVIDIA, che è un altro gigante industriale nel campo dell'IA, soprattutto per quanto riguarda l'hardware, anch'esso una parte fondamentale dello sviluppo dell'applicazioni fondate sull'IA considerate le risorse computazionali che richiedono.
|
| inviato il 15 Ottobre 2023 ore 10:01
“ Un denoise non accede a nessun database esterno é semplicemente una mappa (una trasformazione matematica) tra immagini noisy e immagini noiseless. La quale non derivando da un modello teorico é stata ottenuta una volta per tutte usando un dataset di immagini reali dove l'input é semplicemente una versione rumorosa dell'output. „
@Simone_S
Simone grazie per la risposta esaustiva, la mia perplessità continua ad essere viva riguardo alla opportunità di usare strumenti simili per fare post produzione su immagini che dovrebbero essere rappresentative della realtà o senso stretto, guardando alla critica, spesso scomposta che hanno molti in questo forum sugli strumenti di post produzione.
“ Spiace dirlo ma chi faceva queste considerazioni era evidentemente abbastanza ignorante (nel senso proprio del termine) sul processo che porta da un dato grezzo ad un'immagine finita „
Con rispetto, probabilmente non hai nemmeno letto i contenuti del link che ho proposto dato che ritengo competente sia questo utente che gli altri che hanno partecipato.
La mia preoccupazione non è tecnica ma etica, ora questa affermazione ha ancora senso nel 2023 riferito alla fotografia naturalistica alla presenza del denoise e del blur ora possono essere applicati alla l'immagine che deve rappresentare la natura ? Oppure andava bene solo nel 2015
Non si può ottenere sangue da una rapa
Se il dettaglio manca il software non può certamente inventarselo
Sicuramente le cose vanno in una direzione diversa da quella dei puristi della immagine intesa come rappresentazione e questo forum è un baluardo di tale virtù quindi viene da chiedersi come dovremo leggere le foto di fauna e flora in futuro sapendo che dal 2023 in poi dettaglio, micro dettaglio, blur 3d e riempimento generativo sono all'interno delle foto.
Per non essere equivocato, non ho fatto una lista sommaria per superficialità, ho fatto la lista di ciò che cambia i pixel della foto che dovrebbero rappresentare ciò che era al momento dello scatto.
Per chiedere (scusate l'OT) l'analisi tecnica giustifica l'uso a prescindere dal contesto?
Mi spiego meglio, nel 2030 l'etica sulla veridicità delle foto di natura sarà quella di oggi o come dal 2015 ad oggi?
Per chi ha voglia di leggere il link di 8 anni fa che ho postato qualche previsione è possibile secondo me.
|
| inviato il 15 Ottobre 2023 ore 10:07
Ma secondo te in tutta onestà un denoise che tira fuori un po' più di micro dettaglio e si vede solo al 100% o stampando enorme e uno strumento che mistifica la realtà? Se la risposta a questa domanda per te e sì allora niente, partiamo da presupposti proprio molto differenti. |
| inviato il 15 Ottobre 2023 ore 10:25
E io sono d'accordo su questo al 100%.
Un denoise se mi permettete il racconto "trasforma" (il risultato di) un sensore con un basso rapporto segnale rumore (nel risultato di) uno con maggiori performance. Sarà mica mistificare ? E allora é pure illegale usare una medio formato da 100mpix perché rivela troppo dettaglio ? |
| inviato il 15 Ottobre 2023 ore 11:11
La tecnologia migliorerà sempre più, quel che vediamo oggi è una anteprima grezza di ciò che vedremo a breve, e ciò che vedremo sarà lo stesso per il futuro che verrà successivamente. Anacronistico restare aggrappati al presente o al passato. Ma nulla vieta di preferire ciò che è stato.
Tutto sarà sempre più veloce e il futuro potrebbe essere stressante per questo: l'adattamento dell'essere umano a ciò che cambia ha dei limiti. È normale e fisiologico.
Fattostà che avere sempre nuove possibilità e strumenti e potenzialità non può essere un male in sé.
Il male semmai potrà essere se la cultura delle persone non evolverà alla stessa velocità con cui evolvono le possibilità tecnologiche.
Avere strumenti potenti e usarli male è il peggio che può capitare alla società umana in generale.
E il mio dispiacere sta solo in questo: in generale non mi pare di vedere nelle persone, ma potrei sbagliarmi ovviamente, un miglioramento interiore/culturale (e quindi anche buonsenso e buon gusto pensando alla fotografia) allineato con i miglioramenti tecnologici di cui la società umana si sta man mano dotando. |
| inviato il 15 Ottobre 2023 ore 11:26
@DotoPL sono completamente d'accordo, non sarei tanto pessimista sulle persone  |
Che cosa ne pensi di questo argomento?Vuoi dire la tua? Per partecipare alla discussione iscriviti a JuzaPhoto, è semplice e gratuito!
Non solo: iscrivendoti potrai creare una tua pagina personale, pubblicare foto, ricevere commenti e sfruttare tutte le funzionalità di JuzaPhoto. Con oltre 252000 iscritti, c'è spazio per tutti, dal principiante al professionista. |
Metti la tua pubblicità su JuzaPhoto (info) |
JuzaPhoto contiene link affiliati Amazon ed Ebay e riceve una commissione in caso di acquisto attraverso link affiliati.
