JuzaPhoto utilizza cookies tecnici e cookies di terze parti per ottimizzare la navigazione e per rendere possibile il funzionamento della maggior parte delle pagine; ad esempio, è necessario l'utilizzo dei cookie per registarsi e fare il login (maggiori informazioni).
Proseguendo nella navigazione confermi di aver letto e accettato i Termini di utilizzo e Privacy e preso visione delle opzioni per la gestione dei cookie.
Puoi gestire in qualsiasi momento le tue preferenze cookie dalla pagina Preferenze Cookie, raggiugibile da qualsiasi pagina del sito tramite il link a fondo pagina, o direttamente tramite da qui:
Chi si interessa di astrofotografia quasi sicuramente ha sentito parlare del problema degli algoritmi di riduzione rumore nei file raw presenti su alcuni corpi macchina sulle lunghe esposizioni che non sono disattivabili. Si passa dai casi in cui l'algoritmo è talmente invasivo al punto che vengono eliminate completamente le stelle (il cosiddetto "star eater", vedere www.juzaphoto.com/topic2.php?l=it&t=2325092 ) che affliggeva i vecchi modelli Nikon (si parla di 10 anni fa almeno) o alcuni firmware delle prime due serie A7 e A7II a casi in cui i produttori implementano alcuni algoritmi più "subdoli" e meno invasivi che vanno a cambiare i valori massimi dei pixel basandosi sui pixel adiacenti negli altri canali, cosa che causa meno problemi di un algoritmo che porta via tutto ma che può comunque portare ad altri artefatti spiacevoli, e sfortunatamente interessano la maggior parte dei produttori di fotocamere sul mercato. L'effetto di questi algoritmi è che il colore naturale delle stelle (che solitamente va dal blu/azzurrino passando per il più comune bianco fino ad arrivare al giallo e al rosso acceso in alcuni rari casi) viene pesantemente modificato con stelle che dal nulla diventano blu elettrico, viola, verdi o che assumono colori plausibili ma diversi da quelli reali! Spesso la colpa di tali artefatti nelle foto viene data alle aberrazioni degli obiettivi, agli ISO troppo alti o alla post sbagliata quando in realtà è il software della macchina che genera falsi colori. Il problema è che oltre ad essere sbagliati da un punto di vista fotografico ed antiestetici tali artefatti sono deleteri nel caso dell'astrofotografia deep sky dove possono rendere totalmente inutili gli algoritmi di bilanciamento del bianco che si basano sul colore delle stelle (e chiunque abbia usato Pixinsight o simili sa di cosa sto parlando) o ancora peggio quelli basati sula fotometria. Altro effetto indesiderato è la comparsa di coppie di punti colorati simili a hot pixels che son ben visibili in questo esempio amazingsky.files.wordpress.com/2018/05/7b-sony-vs-canon-for-star-eater I colori sballati invece si vedono bene qui, dove una A7III che sulla carta dovrebbe essere una bomba per questo genere di foto viene superata da quel cesso di sensore montato sulla 6DII che pur essendo più rumoroso produce un file molto più preciso dal punto di vista cromatico e decisamente migliore da usare per lo stacking. amazingsky.files.wordpress.com/2018/05/7a-sony-vs-canon-for-star-eater
Quali fotocamere sono afflitte dal problema? Sfortunatamente quasi tutti i modelli in commercio ne soffrono (chi più o chi meno, cambia da modello a modello), con la notevole eccezione di Canon che perlomeno sui modelli reflex non pasticcia, mentre non ho ancora visto test o misurazioni sulle mirrorless che però immagino (e spero) siano uguali.
Come testare la propria fotocamera? Ci sono due metodi: il primo è fare un'analisi statistica del valore dei pixel (e viene spiegato nell'articolo), è il più preciso ma richiede software particolari (se non addirittura codice scritto ad hoc) e quindi non è alla portata di tutti, il secondo è la prova empirica che voglio proporre. Basta scattare una foto al cielo stellato per notare il problema ma siccome ci sono un sacco di variabili (meteo, atmosfera, movimento delle stelle, lenti troppo buie etc) si può ovviare usando un test chart. Ho quindi creato questo .PNG da fotografare per fare la prova:
Io l'ho messo sul telefono (che tra l'altro è un AMOLED, perfetto per simulare la luminosità di una stella su fondo nero) fotografandolo da una distanza di circa 1m con un'ottica 50mm. L'importante è tenere conto di una serie di fattori: - La foto va fatta con la luminosità dello schermo al minimo in una stanza buia, il tempo di scatto deve essere abbastanza lungo da "costringere" l'algoritmo ad entrare in azione, 4s dovrebbero bastare per tutti i modelli. Se non si riesce ad avere uno schermo abbastanza buio si può usare un filtro ND. - La distanza deve essere tale che il pixel sullo schermo scelto sia più piccolo (o comunque nell'ordine di grandezza) di un pixel della fotocamera in modo da simulare la puntiformità di una stella, nel mio caso appunto 1m dal telefono con un 50mm, mentre un monitor del PC richiederà una distanza maggiore. - La foto va fatta chiudendo il diaframma in modo da avere la massima nitidezza e meno aberrazioni possibili in modo da eliminare il più possibile ogni contaminazione di altri colori. - Ovviamente va disattivato ogni sorta di riduzione rumore in camera, il test è fatto apposta per rilevare algoritmi non disattivabili dall'utente.
Una volta fatta una foto come si deve, per verificare la presenza dell'algoritmo si può scattare un'immagine leggermente sfocata tenendo gli altri parametri identici, spalmando la stella su più pixel l'algoritmo in teoria non interviene e i colori dovrebbero risultare molto più uniformi. Altra prova da fare è aumentare la luminosità dello schermo e verificare come con tempi brevi (perlomeno sulla mia fotocamera, ma in quasi tutte probabilmente è così) l'algoritmo non si attivi e i colori siano quelli giusti.
Questo è il risultato con la D90, vecchia Nikon quindi prevedibilmente pessimo.
Nessuna post, semplice aumento della saturazione in Camera Raw, noise reduction e dettagli a 0. Si nota come nell'immagine a fuoco i colori siano tutti fuori posto, con bianchi improbabili e stelle colorate che cambiano colore. Nell'immagine fuori fuoco invece il colore delle stelle pur non essendo preciso (cosa dovuta anche al fatto che sto fotografando uno schermo e che quindi non è una perfetta fonte puntiforme bianca) risulta uniforme, così come i test sui colori risulta molto più vicino all'originale (con differenze di luminosità e saturazione ma non di tinta, anche qui sicuramente in parte dovute al fatto che sto fotografando dei subpixel di un monitor e non una fonte luminosa come una stella).
E questo è quanto, sarei curioso di vedere qualche prova fatta dagli utenti del forum, specialmente con le ML di ultima generazione, perché un conto è leggere che il problema esiste per la stragrande maggioranza dei modelli (ed è un dato di fatto), un altro è vederne a occhio l'entità
Interessante, anche perchè in teoria la A7III dovrebbe essere una di quelle che soffrono del problema (e ci sono molte astrofoto che lo dimostrano come quelle che ho messo nell'articolo). Se lo rifai ad ISO più bassi saturando meno il sensore cosa succede? Cmq una nota per gli altri che volessero provare, f/16 è un po' troppo chiuso forse e si rischia di allargare troppo la stella per via della diffrazione.
Nel suo famoso articolo del 2008 www.photonstophotos.net/Emil%20Martinec/noise.html Martinec aveva spiegato perché allora tutti gli astrofotografi usassero Canon e non Nikon. Aveva a che fare con Nikon che tagliava il rumore artificialmente, al contrario di Canon. Non ho più seguìto cosa faccia Nikon oggi. Ovviamente la Nikon D810 A non taglia in quel modo.
Cmq un modo oggettivo per vedere se c'è abbattimento del rumore in un canale RAW è farne la trasformata di Fourier bidimensionale (2D FT). Bill Claff l'ha sempre fatto. Ultimamente ha fatto vedere che la Canon r5 ha abbattimento rumore subito in CR3 (vedi DPR Forum). Mentre le FT in una dimensione sono facili da "leggere", le 2D (per me almeno) sono più criptiche, meno "intuitive".
Bisognerebbe usare Matlab, se c'è in giro qualche matematico qui sarebbe il suo pane.
Lì questo tipo di filtraggio è palese perché vengono fuori linee dritte mentre le camere non filtrate hanno una distribuzione molto più casuale.
@Nicoladiiorio direi comunque un buon risultato (sicuramente anni luce rispetto a quello che ho ottenuto io ), cosa che continua a sembrarmi strana. Uno dei pochi posti dove sono riuscito a trovare dei raw della A7III da scaricare è questo video
Nei file i colori estranei si notano benissimo, specialmente nell'immagine del Batis che ha meno aberrazioni del Sony.
ci sono diversi sistemi di riduzione del rumore nei raw delle camere. Oggi i raw sono tutti ripuliti, più o meno hanno tutti la pialla. la a7r3 ha almeno tre tipi di riduzione rumore: 1) un filtro passa basso che entra più nelle ombre che nelle alte luci: per vederlo bassa scattare la stessa foto esposta diversamente e guardare quanto cala la nitidezza. la a73 sotto questo punto di vista è ben peggio della a7r3. 2) il famoso star eater, un filtro tipo sale e pepe condizionale combinato a un passabasso, usato per le esposizioni di più secondi. Per vedrlo basta aprire le ombre in uno scatto appena sotto e appena sopra il tempo in cui viene inserito. 3) un filtro che separa la luminosità e la crominanza in canali separati, e che mette un passabasso sulla crominanza in modo proporzionale agli iso di scatto. Più difficile da vedere, ma è quello più forte di tutti. per vederlo bisogna guardare dei pattern di colori a diversi iso, per vedere come vengono miscelati e quanto si abbassa la differenza cromatica. Questi sono quelli che vedo a occhio, probabile che si sia anche altro, tipo rimozione degli hot pixel, .... La d800 per quel poco che l'ho tenuta, aveva il filtro 3 fortissimo a partire dei 1600 iso, e poi desaturava progressivamente le immagini a partire dei 3200 iso per ridurre il rumore cromatico.
L'ultima macchina che ha avuto un raw veramente raw per me è stata la 1ds3. la 5d4 ha dei raw molto meno lavorati della a7r3. Tipicamente canon ripulisce di meno i file in camera, è anche per questo che ha raw più rumorosi della concorrenza. Che sia un bene o un male dipende da quello che ci si fa dei file: un file piallato in macchina è decismente più facile da gestire in fotoritocco, ma per esempio topaz ripulisce molto meglio i file della 5d4 di quanto faccia con la a7r3.
PS: già la d70 aveva della noise reduction in camera, e lo si vedeva bene.
Questi sono due confronti vecchiotti (2007): Canon che aggiungeva un offset ai dati raw contro Nikon che non lo faceva. Tagliando i valori negativi, a Nikon riusciva male la mediazione del segnale. Per cui per lunghi anni le macchine astro rimasero le Canon.
Una descrizione accurata del fenomeno è riportata qui: drive.google.com/file/d/1Daqw4WAijA55F4EuI-dAOLlUSOaJ4lTn/view?usp=sha Alessio Beltrame è scomparso nell'ottobre 2018. Gli volevo bene perché ammiravo le sue foto di calcio dilettantistico, gli correggevo le bozze dei suoi pdf. Ing gestionale, inaspettatamente innamorato di matematica e fisica (nella vita si occupava di gare amministrative!). Inclinato verso Canon che ha sempre avuto. Alessio: un grande! Non aspettatevi il rigore di un fisico, ma non era la sua ambizione, lui voleva spiegare le cose a tutti i fotografi e distribuiva gratis i suoi pdf. Che se letti attentamente taglierebbero alla radice innumerevoli 3D tecnici Juza basati su equivoci e travisamenti. Il suo sito è stato chiuso alla scadenza. Su Amazon si compra ancora il suo manuale a colori sulle fotografie di calcio.
Non posso contribuire personalmente perché mi mancano le macchine. La mia Sony A7R del 2013 non ha neanche gli ARW non compressi, figuriamoci.
Non so come si sia evoluta la storia dell'aggiunta dell'offset da parte delle tre Case maggiori.
Vale sempre che la FT 2D mette facilmente in risalto qualsiasi manipolazione A MONTE di un raw, se interessa posso riportare gli spettri di Bill Claff.
@ valgrassi, il rumore di un sensore (ccd o cmos) si comporta in modo abbastanza diverso dai modelli matematici di rumore. La parte legata alla quantità di fotoni che impattaano sul sensore è una classicissima poissoniana. Il rumore termico (dominante su tempi lunghi di esposizione) è puramente addittivo, e (nel senso che un elettrone ha una possibilità molto più alta di passare dal catodo all'anodo che rispetto a quella di passare dall'anodo al catodo. Altre fonti di "rumore", legati alle correnti di fuga e di polarizzazione, e di carica dell'ingresso dello stadio di amplificazione, hanno componenti che sono dipendenti dalla quantità di carica dei pixel adiacenti, quindi non modellizabili con statistiche che prendono per assunto l'indipendenza dei pixel. Quando parli di tagliare il valore negativi (che non esistono), in realtà equivochi la sottrazione dell offset, che è solo s la media di rumori di base, adc incluso che nikon toglieva (e che sony sicuramente toglie) per diminuire la percezione di rumore nelle ombre. Questo sicuramente abbassa il rumore misurato (lo dimezza nei neri) e fa alzare il risultato del dxo mark. (non è la sola tecnica che è stata usata per fare credere di aver meno rumore). Non è qualcosa di aggiunto. gli adc usati nelle fotocamere sono ad approssimazione successiva, quindi incapaci di fornire un valore negativo.
@Pie ho passato una vita a fare signal averaging con strumentazione FT-IR, FT-NMR, FT-MS. Il rumore casuale si abbatte perché essendo casuale e prendendo come linea di base la media, i segnali di rumore negativi tendono a compensarsi in parte con quelli positivi e viceversa. Se ripeti un'acquisizione ingessata da un trigger, SNR migliora della radice quadrata del numero di ripetizioni n secondo sqrt(n). È quello che fanno certi smartphone evoluti con in più un certo grado di AI perché tengono in registro il segnale. Martinec osservava nel 2007 che quando fai come Nikon che toglie i valori negativi, allora non fai più mediazione del segnale con la famosa relazione della radice quadrata del numero delle ripetizione. Lo fai solo sui valori positivi. Canon invece faceva la cosa giusta tenendo anche i valori negativi e il risultato era migliore, come ovvio, vedevi stelline che con Nikon erano annegate nel rumore. In spettroscopia si prescrive SNR 2:1 come limite di rivelabilità (che è davvero il minimo), in genere si tende a consigliare SNR 3:1. Il fenomeno è prima dell'ADC.
guarda che canon esprime i valori in interi positivi nei raw. non mette valori negativi. nessuno lo fa. gli adc delle fotocamere non sono differenziali, non possono misurare valori negativi. Canon semplicemente non sottrae la media del rumore come fanno canon e nikon, penso per guadagnare qualche punto nel dxomark. Se calcoli la deviazione standard di un rumore bianco (a media nulla) dopo che hai messo a zero i valori negativi ti ritrovi con una deviazione standard ben più bassa. Certo che fare la media del rumore aiuta, almeno per quello a media nulla. in imagining scientifico e nei cellulari lo si fa. adesso iniziano a farlo anche le fotocamere.
Teoricamente si chiama rumore cio' che è a media nulla, ma la realtà è diversa. Il problema è che ci sono dei rumori in un ccd o in un cmos che non sono a media nulla, in quanto puramente addittivi su di un segnale. Pensa alla dark current, si aggiunge al segnale, non la si sottrae. pensa ai fenomeni di leakage tra pixel come il blooming (che non è l'unico), ci si ritrova sui pixel adiacenti gli elettroni una volta che hanno "riempito" il proprio pixel.
Sulle misure che faccio oggi per lavoro, mi piacerebbe avere dei rapporti segnale rumore di 2:1... purtroppo la realtà è diversa, e le misure (con filtri in frequenza come il sync3) e con calibrazioni dinamiche e medie esasperate le si arrivano comunque a fare. Si arrivano a misurare delle correnti di qualche fA in uscita da un fotodiodo (che corrispondono a pochi fotoni al secondo) con una dark current dell'ordine del nA e del 50Hz sovrapposto dell'ordine di qualche decina di nA. Su di un fotodiodo non misurerai mai una tensione di segno opposto a quella del segnale, a meno che non ci sia qualche problema.
Pero' una macchina fotografica è fatta per fare belle foto e non buone misure, e chiudere artificialmente le ombre (togliere l'offset del rumore di fondo) puo' rendere l'apertura delle ombre un po' più facile.
@ valgrassi il rumore di un fotodiodo non so si modelliza mai come casuale, con un modello misura = segnale + rumore, visto che il rumore è direttamente proporzionale al segnale. Se guardi la distribuzione dei campioni di una lettura di un fotodiodo avrai una distribuzione di poisson in cui la curva pois(lambda). Se il rumore fosse un segnale casuale, avresti una gaussiana, e a meno di problemi nella catena di acquisizione, non è mai il caso.
Concordo al 100% che il rumore si abbassa con la radice quadrata nel numero di campioni mediati.
@Pie la distribuzione Poisson non c'è mai, è teorica. Invece è una simil-Poisson gaussiana. Per vederlo basta andare su DPR Comparison e ricavare SNR nei quattro canali RGB raw davvero. A 160 cd/m2 come è la luminance media del cartellone DPR Comparison, la distribuzione si guarda bene dall'essere Poisson, è simil-gaussiana.
Per parlare con cognizione di causa di fotografia digitale si ricorre a RawDigger (dcraw, per i più dotati).
Un'occhiata al NEF (compresso) della mia Nikon D40 è stata abbastanza per controllare (col tappo davanti) che taglia la parte sx della gaussiana, come affermava Martinec. La Sony A7R, che usa ARW compressi in maniera più sofisticata di Nikon, la gaussiana la rende tutta, dx e sx. Difatti la storia dello star eater non veniva imputata alle prime serie A7.
Qui si è parlato di Sony A7III e Bubu ha citato anche la Canon 6DII. Non avendo nessuna delle due macchine, posso solo andare sotto DPR Comparison in bassa luce (0.125 cd/m2) e campionare il tassello nero ColorChecker 150x150 pixel. Naturalmente una quantità di segnale luminoso anche se piccola ci sarà.
Cmq la Canon ricostruisce la gaussiana completamente, la Sony A7III a sx solo in parte, in accordo con le osservazioni di chi ha fatto esperimenti più sopra.
La distribuzione del rumore fotonico è una possioniana, non gaussiana. Se lambda è grande si somiglano, ma nelle ombre lambda tende inevitabilmente a zero (in quanto è zero il segnale di origine). Si chiama in gergo shot noise, studio di William Schottky del 1918 e mai rimesso in causa.
Se prendi raw digger vedrai che i valori del raw sono interi positivi. se guardi il sorgente di dcraw vedrai che il pixel è definito come unsigned short: linea 543 del sorgente nella versione 9.28 (che è quella che ho sul mio pc) ... void CLASS canon_600_load_raw() { uchar data[1120] , *dp; ushort *pix; ...
@Pie non ci siamo. Mi vieni a insegnare cos'è una Poisson, veramente? Alla fine sotto raw è come se avessi una conta di elettroni influenzati da g, per forza che sono positivi! Se non ragioni sul rumore analogico non te la cavi. La mediazione del segnale è la conseguenza chiarissima che il rumore casuale oscilla fra + e -. Forse ti confondi con l'intensità o la potenza del segnale, quelli sono sempre positivi per definizione. Ho venduto i primi oscilloscopi digitali Nicolet nel 1980, beato te che non eri ancora nato!
JuzaPhoto contiene link affiliati Amazon ed Ebay e riceve una commissione in caso di acquisto attraverso link affiliati.
), cosa che continua a sembrarmi strana. 
. Mi vieni a insegnare cos'è una Poisson, veramente?