Adobe AI Denoise, seconda parte

“ Volentieri. Diciamo che in fisica matematica ci sono due grandi categorie di metodi: quelli deterministici e quelli statistici (o "a posteriori"). I primi si basano su una conoscenza della fisica del fenomeno studiato, espressa tramite un'equazione matematica. Ad esempio, per un sistema lente/sensore, si ipotizza che ci sia un'immagine "vera", scononsciuta, e un'immagine "osservata", con rumore casuale e difetti introdotti dal sistema lente/sensore (che non e' perfetto). Un concetto molto utilizzato in questi casi e' quello di "point spread function (PSF)": se io avessi un sistema lente/sensore ideale, osservando una sorgente puntiforme ricaverei un'immagine puntiforme. Nella pratica quotidiana, si osserva invece un "punto allargato", appunto la PSF, che e' un po' la "firma" di un sistema ottico reale (non e' l'unico parametro, ne esistono molti altri che definiscono ad esempio la deformazione ai bordi, l'aberrazione cromatica, etc etc). Dalla conoscenza della PSF definisco un modello matematico, in questo caso specifico un'equazione integrale di Fredholm di I specie che risolvo con metodi numerici ad hoc, trovando una soluzione che rappresenta l'immagine più nitida e ripulita dal rumore. Queste tecniche le applicavamo (io e molti altri) gia' 30 anni fa per il trattamento delle immagini dello Hubble Space Telescope. Non sono troppo costose del punto di vista computazionale, e ne posso applicare un certo numero in serie, una per ogni task specifico: è quello che ho chiamato approccio "tradizionale" della post produzione.
Il deep learning (DL) consiste in reti neurali di grande scala che appartengono invece alla seconda categoria. Il DL si disinteressa completamente del modello fisico sottostante e apprende come generare un'immagine demosaicizzata e ripulita dal rumore semplicemente osservando un grande numero di esempi (il dataset di training o "addestramento"). L'addestramento è molto pesante dal punto di vista computazionale e, per modelli seri di DL, non si puo' fare sulle nostre macchine, ma servono server veloci progettati ad hoc. Non e' neanche del tutto chiaro perche' le reti neurali funzionino, al di la' di alcuni risultati teorici generali (si veda ad esempio qui per una trattazione divulgativa), pero' funzionano, anche dannatamente bene in alcuni casi.
Nel caso del denoising di DXO/Adobe il punto di forza, secondo me, non e' tanto l'algoritmo in se': chi come me e tantissimi altri lavora quotidianamente con DL saprebbe, a livello di massima, come organizzare una NN per il denoising date una base di immagini abbastanza ampia e modelli realistici di rumore con cui generare esempi sintetici (ovviamante, non credo ci sia bisogno di dirlo, realizzare un prodotto industriale robusto, ottimizzato e capace di trattare in tempi ragionevoli immagini provenienti dai sensori piu' disparati e' una cosa *completamente* diversa, non e' il mio lavoro e non saprei neanche da dove iniziare). La cosa innovativa, invece, è questo approccio che DXO definisce "olistico" in cui tutto il trattento demosaicizzazione + denoising viene fatto da un unico modello DL. Di nuovo, non avrei idea di come progettarlo a meno che non si tratti semplicemente di usare brutalmente un insieme di training molto grande di immagini RAW rumorose e immagini pulite: voglio pensare che non usino un approccio cosi primitivo ma abbiano ideato qualcosa di piu' alto livello creativo e metodologico. „

“ Come diceva Totò: alla faccia del bicarbonato di sodio!
... perché doveva essere una spiegazione terra terra?
Scherzi a parte, grazie per la lezione „

“ ma in questo, i core rt delle schede rtx offron vantaggi (non dovrebbero esser ottimizzati per il dl?) o conta solo la forza computazionale bruta? „

“
Mario quella funzione usa solo la gpu.
La cpu conta poco.
Nel post vecchio ci sono i miei test.
La tua gpu ha poca memoria e poca potenza. „

“ Notate anche voi un miglioramento sui colori e la loro saturazione?
Forse anche di gamma dinamica? „