| inviato il 03 Gennaio 2025 ore 12:25
posto che mi sembra di aver capito che al momento non avrò mai modelli che riempiono 16gb di vram, è ragionevole dire che un mac silicon non potrà mai allocare tutta la ram per la gpu e quindi un mac con 24gb di ram allocherà tipo 16-18gb alla gpu e il resto alla cpu? o swappa tutto su disco sotto carico se non gli fai fare nient'altro quando lavori con ai?
|
| inviato il 03 Gennaio 2025 ore 14:50
“
è ragionevole dire che un mac silicon non potrà mai allocare tutta la ram per la gpu e quindi un mac con 24gb di ram allocherà tipo 16-18gb alla gpu e il resto alla cpu?
„
La domanda è mal posta.
Si chiama "unified memory" proprio perché non ci sono aree destinate a priori (anche se magari configurabili) alla CPU ed altre alla GPU ma semplicemente sia i core CPU che quelli GPU che quelli NPU possono direttamente accedere a tutta la memoria senza richiedere operazioni di copia DMA avanti ed indietro.
Quindi sì, tolte le pagine di memoria critiche e quindi non swappabili, teoricamente puoi usare tutto il resto per il modello.
Considera poi che lo swap su NVME interno oggi è molto veloce sia in termini di troughput che in termini di tempo di accesso e quindi è molto meno penalizzante di quanto non fosse in passato con dischi lenti. |
| inviato il 03 Gennaio 2025 ore 21:43
sono allergico alla politica dei prezzi apple su upgrade ram e ssd. ma continuerò a valutare un cluster di tre macmini m4 configurazione base dato che potrei linkarli tra loro via thunderbolt senza passare da hub esterni. inoltre con le mie due licenze davinci studio potrei lavorare in parallelo su video e audio sullo stesso progetto condiviso tra due macchine diverse.
grazie a tutti intanto!
EDIT
www.reddit.com/r/LocalLLaMA/comments/1gwf12t/rtx_4090_vs_mac_studio_m2
qui un possessore di mac m2 ultra con 192gb di ram dice
“ M2 Ultra owner here. Don't focus too much on the max VRAM of 192 GB. Every model above 40–50 GB (e.g. Qwen 72b q4) becomes annoyingly slow. I own the 192 GB + 1 TB SSD version and regret not choosing the 128 GB + 2 TB SSD version. Since every model has its strengths, I'm running out of HDD space all the time. „
è un discorso che vi torna? |
| inviato il 07 Gennaio 2025 ore 12:52
se può interessare Nvidia ha presentato le nuove RTX 5000  |
| inviato il 07 Gennaio 2025 ore 13:00
“ Project Digit, il super computer NVIDIA da 1 petaflop di potenza sta nel palmo di una mano ...
se può interessare Nvidia ha presentato le nuove RTX 5000 „
... ed io uso Ollama con Gemma2 da 9b sul mio povero PC e la gtx1060
 |
| inviato il 07 Gennaio 2025 ore 13:17
@Murphy: e sì, e a parte la 5090 che e' esagerata (Nvidia consiglia un' alimentazione da 1 kW) le 5080 e 5070 hanno stupito per I prezzi più bassi del previsto  |
| inviato il 07 Gennaio 2025 ore 13:19
@Catand: beh, complimenti 
E il modello ti sta tutto in memoria? Usa una quantizzazione molto spinta, immagino... |
| inviato il 07 Gennaio 2025 ore 13:19
5090 gioca un campionato a parte |
| inviato il 07 Gennaio 2025 ore 13:26
Eh sì, decisamente...
Tornando a questo nuovo Project Digit, qualcuno è riuscito a capire i consumi? |
| inviato il 07 Gennaio 2025 ore 13:34
@Catand: vedo che usi Darktable, sai per caso se l'ultima versione ha qualche algoritmo AI per la riduzione del rumore o altro? Oppure altro SW di fotoritocco che gira sotto Linux?
Sto per assemblare un PC dove metterò una 5070 ti o 5080 (5090 è esclusa) che girerà solo con Ubuntu e volevo capire se sì può utilizzare la GPU |
| inviato il 07 Gennaio 2025 ore 13:36
“ @Catand: beh, complimenti ;-)
E il modello ti sta tutto in memoria? Usa una quantizzazione molto spinta, immagino... „
Per ora ci "gioco" soltanto quindi non sono pronto per termini difficili come "quantizzazione " 
Q4_0 ti dice qualcosa a riguardo? Come spazio su disco è poco meno di 6gb, ed anche gli altri modelli che ho scaricato (mistral, qwen, llama-chatqa) sono intorno a quella dimensione.
Per ora funzionano, senza nemmeno un particolare uso della GPU, ma non ho fatto alcun test specifico a riguardo.
Non ho esigenze particolari (mi piacerebbe solo avere un RAG locale e un aiuto nello sviluppo di codice) e non ho interessi lavorativi, ma solo da informatico "non praticante".
|
| inviato il 07 Gennaio 2025 ore 13:41
“ @Catand: vedo che usi Darktable, sai per caso se l'ultima versione ha qualche algoritmo AI per la riduzione del rumore o altro? Oppure altro SW di fotoritocco che gira sotto Linux? „
Ci avevano provato ad inserire qualcosa basato sull'AI ma non funzionava ...
github.com/darktable-org/darktable/pull/16247
Che io sappia, ad oggi, DT non usa nulla di AI.
Altro, su Linux, purtroppo non lo conoscono perché non lo uso più da molti anni. |
| inviato il 07 Gennaio 2025 ore 14:10
La quantizzazione è una delle tecniche più usate per ridurre la dimensione di modelli deep learning di grande scala e renderli "digeribili" anche da device che hanno una memoria ridotta: sostanzialmente prendi il modello originale che tipicamente usa floating point a 4 bytes (fp4) e lo trasforma in fp2, FP1 o anche meno.
Però in questo caso mi sembra proprio un modello che di partenza ha pochi parametri, 2b
Comunque complimenti nuovamente perché fare queste cose per hobby è molto notevole
Grazie per le dritte su darktable |
| inviato il 07 Gennaio 2025 ore 14:32
“ Tornando a questo nuovo Project Digit, qualcuno è riuscito a capire i consumi? „
se le dimensioni sono quelle dei rendering, deve consumare sui 30w massimo. altrimenti non riesci a dissipare nulla in quel form factor |
Che cosa ne pensi di questo argomento?Vuoi dire la tua? Per partecipare alla discussione iscriviti a JuzaPhoto, è semplice e gratuito!
Non solo: iscrivendoti potrai creare una tua pagina personale, pubblicare foto, ricevere commenti e sfruttare tutte le funzionalità di JuzaPhoto. Con oltre 251000 iscritti, c'è spazio per tutti, dal principiante al professionista. |
Metti la tua pubblicità su JuzaPhoto (info) |
JuzaPhoto contiene link affiliati Amazon ed Ebay e riceve una commissione in caso di acquisto attraverso link affiliati.
