RCE Foto

(i) Per navigare su JuzaPhoto, è consigliato disabilitare gli adblocker (perchè?)






Login LogoutIscriviti a JuzaPhoto!
JuzaPhoto utilizza cookies tecnici e cookies di terze parti per ottimizzare la navigazione e per rendere possibile il funzionamento della maggior parte delle pagine; ad esempio, è necessario l'utilizzo dei cookie per registarsi e fare il login (maggiori informazioni).

Proseguendo nella navigazione confermi di aver letto e accettato i Termini di utilizzo e Privacy e preso visione delle opzioni per la gestione dei cookie.

OK, confermo


Puoi gestire in qualsiasi momento le tue preferenze cookie dalla pagina Preferenze Cookie, raggiugibile da qualsiasi pagina del sito tramite il link a fondo pagina, o direttamente tramite da qui:

Accetta CookiePersonalizzaRifiuta Cookie

Riduzione rumore raw: come rilevarla? Test empirico


  1. Forum
  2. »
  3. Tecnica, Composizione e altri temi
  4. » Riduzione rumore raw: come rilevarla? Test empirico





avatarsenior
inviato il 04 Dicembre 2020 ore 17:43

quale è la causa di un rumore analogico che ti puo' portare un rumore negativo? il rumore termico della resistenza di feedback dell'amplificatore?
sai come è fatto un fotodiodo? come gli si condiziona il segnale? sai come si amplifica il segnale di un fotodiodo?
hai l'idea di quale sia l'offset di un segnale in un fotodiodo?
Ti ripeto, se hai un segnale negativo vuole dire che hai un grosso ma grosso problema sulla catena di acquisizione.
Le patch che tu stesso hai pubblicato della d300 sono delle poissoniane, forse con un po' di offset tagliato.
Guarda dove stanno media, mediana e moda. dimmi se sono delle gaussiane o delle poissoniane.

Comunque nel 1980 ero già nato, e da metà anni 90 utilizzo oscilloscopi.

avatarsenior
inviato il 04 Dicembre 2020 ore 18:45

@Pie
e da metà anni 90 utilizzo oscilloscopi.
...e hai sempre misurato DC positiva? Mai una AC per sbaglio?MrGreenMrGreenMrGreen

avatarsenior
inviato il 04 Dicembre 2020 ore 20:24

Per avere un rumore del segno opposto del segnale vuole dire che il rumore della resistenza dell'amplificatore di transimpedenza più il rumore dell'opamp (che ha guadagno = 1 in tensione) più l'offset de l'opamp (costante) sia maggiore del segnale (poissoniana) più la dark current (poissoniana) più la corrente di fuga legata al bias (tendenzialmente costante positiva).
Con segnale nullo tipicamente la dark current domina largamente.
Con fotodiodi di taglia importante e bias elevati la corrente di fuga può anche lei diventare importante.
Penso che con fotodiodi molto raffreddati si possa arrivare al fatto che il rumore dell'amplificatore domini.
In vita mia non ho mai visto il rumore a media nulla maggiore dell'offset legato agli altri fenomeni.

avatarsenior
inviato il 04 Dicembre 2020 ore 20:34

Può essere che usando un amplificatori molto veloci su segnali molto rapidi il rumore dell'opamp domini

avatarsenior
inviato il 04 Dicembre 2020 ore 23:53

Mai addentrato così tanto nell'investigare i problemi di offset, ma non è che i famosi valori negativi in realtà sono semplicemente troncati nel momento in cui si va a sottrarre il rumore medio ad un rumore reale che quindi è sopra e sotto la media?

avatarsenior
inviato il 05 Dicembre 2020 ore 5:22

@Pie mi è già capitato in un paio di occasioni di venire minacciato di querela qui sul Forum per avere fatto rimarcare cose sgradite. Vediamo se tu sei il terzo!MrGreen
Il tuo è un caso Dunning-Kruger da manuale.





Su questo argomento ti trovi all'inizio dell'ascissa a sx e la tua fiducia di avere capito tutto è molto alta. All'estrema dx c'è uno come Emil Martinec, un fisico teorico di rilevanza mondiale nonché Canonista, a quei tempi (2007) scioccato dalla Nikon D3.

Ho già dato i riferimenti su questo 3D: Martinec originale ricontrollato da Bill Claff nel 2015 e il pdf di Alessio che può tornare utile a chi ha paura dell'inglese.

Ti scongiuro, rileggiti quelle poche righe pertinenti. Personalmente non mi vorrei situare sul diagramma Dunning-Kruger, ma la Bibbia del rumore in fotografia digitale di Martinec l'ho capita al 99% da quando è stata pubblicata. E tu?MrGreen MrGreen

avatarsenior
inviato il 05 Dicembre 2020 ore 20:36

La Canon 40D citata nella pagina precedente l'ho usata per foto astronomica fino a qualche anno fa.
La descrizione dell'immagine "Fig.10" dell'articolo di Martinec riporta:

Histogram of a 40D blackframe. Canon applies an offset before quantizing the signal, amounting to 1024 raw levels for the 40D (and 1D3/1Ds3)
Without this offset, "black" values below the mean of the distribution would have been clipped

Tradotto: viene applicato un offset di 1024 PRIMA della conversione A/D
per fare in modo che i valori negativi non vengano clippati.

Questa è la base degli algoritmi per la riduzione del rumore su qualunque immagine fotografica,
che ha reso comune l'uso dei sensori Canon per le riprese astronomiche negli ultimi 15 anni.

L'offset per i vecchi sensori Canon arrivava anche a 2048, in quelli nuovi è 512.

avatarsenior
inviato il 06 Dicembre 2020 ore 7:45

@Ettore complimenti!;-) Quando viene riportato un riferimento scientifico serio e sicuro, lo si dovrebbe leggere e ripartire da lì, come hai fatto tu. Eventualmente, se non fosse chiaro, chiedere spiegazioni a chi ha postato il link.

Tappo sull'obiettivo della mia veneranda Nikon D40 (la tengo perché sincronizza il flashino incorporato a 1/500s): nessun "cuscinetto" a sx del black point. Sotto RawDigger si vede chiaramente che la campana del rumore (simil-gaussiana, Poisson non c'entra niente) è troncata al suo punto di massimo corrispondente a 0, manca la parte sx.
Se si taglia a sx del punto 0 su un asse orientato, si dice comunemente che si tagliano i valori negativi. Qui non è solo matematica. L'offset (=un voltaggio sommato artificialmente in analogico) permette di registrare anche i valori negativi del rumore, fatto che consente la ripetizione e somma di un segnale con trigger riproducible. In fotografia il trigger è nella scena: se la scena non è statica, la mediazione funziona ancora nel senso di abbassare il rumore secondo la radice quadrata di n (sqrt(n), in cui n è quante volte si somma), ma il segnale "pulito" si somma linearmente ma purtroppo fuori registro. Alcuni telefonini fanno la mediazione ed entro certi limiti sono capaci di rimettere "in registro" il segnale di una scena con movimento. Non è in dotazione in macchine standard, perché quando in condizioni di luce normali si fanno raffiche non è per abbattere il rumore.;-) Ovviamente è importante in HDR o in pixel shift che la scena sia statica.

La mia Sony A7R mostra invece la campana completa e il "cuscinetto" è 512, come avevi notato anche tu su certe Canon. Facendo mediazione del segnale, la A7R dovrebbe funzionare normalmente (NB: non faccio astro).

Da notare che sia la D40 che la A7R registrano soltanto raw compressi, ma la cosa in questo caso non ha rilevanza.

avatarsenior
inviato il 07 Dicembre 2020 ore 14:10

Valgrassi,
La discussione sta diventando davvero spiacevole, provo a spiegarti.
Ad ogni modo penso che il diagramma di Dunning-Kruger dovrebbe fare riflettere su te stesso.

Non ti spiego cosa è una poissoniana perché dici di saperlo.

il segnale è un processo binomiale:
* il risultato dell'impatto di un fotone che impatta sul sensore e inverte una coppia hole elettrone sulla giunzione del fotodiodo creando una corrente sullo stesso è 0 o un valore fisso, in quanto la carica di un elettrone è costante.
* il processo (generazione di una corrente) assume un valore determinato (1 elettrone che fluisce o zero corrente) e costante.
* non c'è correlazione tra la probabilità di impatto (a meno di arrivare alla full well capacity).
Come potrebbe generare una distribuzione diversa da una poissoniana?

La principale fonte di rumore (rumore termico sulla giunzione) ha anche è lei un processo binomiale:
* il risultato della generazione termica di inversione di una coppia hole elettrone sulla giunzione del fotodiodo creando una corrente sullo stess. O è 0 o un valore fisso, in quanto la carica di un elettrone è costante.
* il processo (generazione di una corrente) assume un valore determinato (1 elettrone che fluisce o zero corrente) e costante.
* non c'è correlazione tra la generazione di due fotoni termici (non c'è una variazione di temperatura importante del sensore nel fenomeno)
Anche lui come potrebbe assumere una distribuzione diversa da una poissoniana?

Essendo due processi binomiali, non vedo come non possano avere una distribuzione diversa da una poissoniana.

Ci sono altre tre sorgenti di rumore, di cui la prima è facilmente compensabile e le ultime due sono trascurabili in una catena di aquisizione ben fatta.
1) corrente di buio, che è funzione della temperatura. è causata dalle correnti di fuga dell'elettronica attorno al fotodiodo. E' sostanzialmente proporzionale al tempo di integrazione. nel caso di un immagine bidimensionale la si sottrae con il dark frame.
2) il rumore dell'amplificazione e di trasporto del segnale: che è assimilabile a un rumore bianco nel migliore dei casi, se non lo è si hanno fenomeni di banding. Se la catena di aquisizione è ben fatta è trascurabile.
3) il rumode di conversione: dipende molto dalla qualità dell'adc, normalemente è trascurabile rispetto agli altri fenomeni. Non era trascurabile qualche hanno fa in caso di acquisizione rapida.

Poi siamo d'accordo che per segnali ampi, una poissoniana tende a coincidere con una gaussiana.
Ma da quello che vedo nelle catene di acquisizione la differenza si vede a occhio (le distribuzioni non sono simmetriche)

Sul tema c'è un pagina sul sito hamamatsu interessante:
hamamatsu.magnet.fsu.edu/articles/ccdsnr.html


Non consoco Martinec, sono molto curioso, potete darmi qualche riferimento?

Un buon testo (ma molto difficile da digerire) su come è fatto e funziona un sensore cmos è:
CMOS Imagers
From Phototransduction to Image Processing
Editors: Yadid-Pecht, Orly, Etienne-Cummings, Ralph (Eds.)
Springer

Limitandosi alla parte fotodiodo e acquisizione :
www.hamamatsu.com/resources/pdf/ssd/e02_handbook_si_photodiode.pdf
gratuito e molto più semplice da leggere.
Leggi 1-6 (Noise characteristics) della parte dei fotodiodi in silicio.

avatarsenior
inviato il 07 Dicembre 2020 ore 16:06

@Pie www.photonstophotos.net/Emil%20Martinec/noise-p4.html
Se hai tempo, leggilo con calma. Bill Claff ha controllato i link nel 2015. L'articolo uscì nel 2008 sotto University of Chicago. Per l'effetto D-G (limitatamente a questo specfico argomento) tieni conto che l'articolo di Martinec l'ho capito da anni al 99%. Sempre disponibile per spiegarti quello che non capisci.

Early in his career, Martinec worked at Princeton University, where he was part of a research group known as the "Princeton string quartet" that also included physicists David Gross, Jeffrey A. Harvey and Ryan Rohm.[4] The group developed heterotic string theory in 1985.[5] As its name suggests, heterotic string theory combines elements of multiple versions of string theory to attempt to create a more realistic explanation of elementary particle physics. This work was part of a series of advances that forestalled the predicted merger of cosmology and fundamental physics.[6]
He is currently a professor at the Enrico Fermi Institute at the University of Chicago. He directs the university's Kadanoff Center for Theoretical Physics.[7]

È un fisico teorico di grande rilevanza nel campo String Theory.

Ai fotografi Martinec interessa in seguito all'articolo sopra linkato (diventato rapidamente cult) e ai parecchi post su DPR Forum sotto ejmartin.

Emil ha anche scritto AMaZE che attualmente è il demosaicizzatore più popolare sotto RawTherapee (dove negli anni ha subito innumerevoli perfezionamenti).
feedback.photoshop.com/conversations/camera-raw-and-dng/lightroom-clas

avatarsenior
inviato il 07 Dicembre 2020 ore 16:25

Valgrassi,
Grazie per il link. Sorriso

Ti rilancio sul Dunning-Kruger:

Photon shot noise: Light is made up of discrete bundles of energy called photons -- the more intense the light, the higher the number of photons per second that illuminate the scene. The stream of photons will have an average flux (number per second) that arrive at a given area of the sensor; also, there will be fluctuations around that average. The statistical laws which govern these fluctuations are called Poisson statistics ....

da:
www.photonstophotos.net/Emil%20Martinec/noise.html#readnoise

avatarsenior
inviato il 07 Dicembre 2020 ore 18:02

L'articolo di Martinec, nella parte "Sources of Noise" richiama un link di Wikipedia:

en.wikipedia.org/wiki/Shot_noise

che dice:

For large numbers, the Poisson distribution approaches a normal distribution about its mean, and the elementary events (photons, electrons, etc.) are no longer individually observed, typically making shot noise in actual observations indistinguishable from true Gaussian noise. Since the standard deviation of shot noise is equal to the square root of the average number of events N, the signal-to-noise ratio (SNR) is given by...

Quindi su una qualunque ripresa fotografica, dove si fa l'integrazione di miliardi di elettroni per ogni scatto,
la distribuzione è gaussiana. Basta guardare i grafici: sono simmetrici.

avatarsenior
inviato il 07 Dicembre 2020 ore 18:29

Ettorebest,
La ripresa in fotografia non si fa su miliardi di elettroni.
Per darti un idea, la full well capaity (cioé la saturazione di un pixel) è dell'ordine di 100'000 e- per pixel per un sensore FF moderno da 20-24 megapixel. il sensore 16mp panasonic usato su molte camere m43 ha una full well capacity di 16'000 e-.
A 6400 iso su di un sensore FF 24 megapixel si sta parlando di una saturazione delle alte luci attorno ai 1200-1500 elettroni.
il rumore di lettura è dell'ordine di un elettrone, anche meno ad alti iso. una volta saliti sopra gli iso base si sta contando gli elettroni che ci sono sul sensore, o quasi.
E' per questo che cambiando gli iso il rumore con la medesima esposizione non cambia sostanzialmente: il rumore è quasi tutto fotonico.

Il rumore di cui stiamo parlando in questo 3d è qualcosa di quantificabile in pochi elettroni (sui sensori moderni), al massimo qualche decina. su sensori più vecchi sarà un po' più alto.
Una poissoniana con una lambda cosi' piccola è ben diversa da una gaussiana. lo si vede anche a occhio.
Ad ogni modo basta calcolare la skewness con octave o matlab.
Qui l'istogramma del rumore della A9
blog.kasson.com/the-last-word/horshack-on-a9-read-noise-anomalies/atta

Per dare un idea, i primi sensori cmos canon avevano un rumore di lettura circa 5e-, comparabili a quelli della lettura dei migliori ccd con elettronica esterna (valori tipici da 4 a 10e-).
Con l'integrazione dell'adc nel sensore si è potuto ridurre ulteriormente il rumore di lettura, arrivando al limite della fisica, cioé scendendo sotto l'elettrone.

Jim Kasson pubblica spesso i grafici del rumore di lettura dei sensori:
Qui quello della vecchia a7s:
blog.kasson.com/the-last-word/sony-a7s-read-noise-analysis/

Qui l'a7riv, che non è una macchina pensata per gli alti iso, che ha un rumore di lettura tra i 2.5e- e gli 1.5e-
blog.kasson.com/a7riv/sony-a7riv-fwc-pdr-and-input-referred-read-noise

Sul suo blog si trovano anche le misure dello spettro, dei pattern (e di tante altre cose) del rumore, che danno un idea abbastanza precisa del filtraggio software (e di qualche magagna del sensore) che viene applicato.



avatarsenior
inviato il 07 Dicembre 2020 ore 19:53

Nell'articolo di Martinec citato c'è l'istogramma di uno scatto della Canon 1D3 a 800 ISO (Fig.2)
e lo stesso autore lo definisce "approximately gaussian".

Anche nell'esempio della A9 gli istogrammi li vedo sempre simmetrici, quindi gaussiani.

Se arriviamo al conteggio degli elettroni (negli osservatori astronomici si fa ancora così),
è abbastanza comune avere degli istogrammi fortemente asimmetrici (poissoniani) sulle fonti più deboli.

avatarsenior
inviato il 07 Dicembre 2020 ore 21:32

@ ettorebest, io li vedo belli assimmetrici, con la parte sinistra ben più cicciotta di quella destra.
Quasi tutte le fotocamere uscite negli ultimi 10 hanno un rumore di lettura dell'ordine dell'elettrone, o poco di più. Non è qualcosa di riservato al mondo astronomico, che anzi ormai usa sensori derivati dal mondo della fotografia. Senza avere grandi volumi di produzione, nessuno si può permettere di sviluppare un sensore cmos. Lo sviluppo dei ccd è praticamente fermo ormai da 15 anni.

RCE Foto

Metti la tua pubblicità su JuzaPhoto (info)


 ^

JuzaPhoto contiene link affiliati Amazon ed Ebay e riceve una commissione in caso di acquisto attraverso link affiliati.

Versione per smartphone - juza.ea@gmail.com - Termini di utilizzo e Privacy - Preferenze Cookie - P. IVA 01501900334 - REA 167997- PEC juzaphoto@pec.it

www.juzaphoto.com - www.autoelettrica101.it

Possa la Bellezza Essere Ovunque Attorno a Me