| inviato il 30 Dicembre 2024 ore 20:00
ciao a tutti! qualcuno che lavori su AI mi sa dire ch vantaggi si hanno nell'usare 3-4 unità mac mini m4 base per lavorare su AI? conviene rispetto a un pc più potente con gpu nvidia? |
| inviato il 31 Dicembre 2024 ore 9:33
Ciao Pingalep
provo a rispondere senza conoscere il tuo livello di esperienza nell' AI e nel calcolo ad alte prestazioni (HPC) più in generale.
Dovresti per favore circostanziare la tua domanda.
Che tipo ai applicazioni AI hai in mente? LLM (modelli di linguaggio tipo GPT), generazione di immagini o altro?
Poi, sei interessato anche all' addestramento o solo all' inferenza?
Gli ultimi chip silicon sono decisamente interessanti per l'ambito AI, più per l' efficienza e le capacità di memoria condivisa (se non sbaglio, fino a 128 GB nei modelli di punta) che per la potenza "bruta".
Uno dei problemi è il sistema operativo, senz'altro perfetto per alcuni ambiti applicativi, ma sostanzialmente un "corpo estraneo" rispetto alla pratica scientifica corrente e all' HPC. Lì si usa Linux e similari, e il fatto che questi OS non possano girare su silicon è, secondo me, un handicap notevole.
Poi, fare del parallelismo sfruttando cluster a memoria distribuita richiede una rete fisica ad alta velocità per il message passing, altrimenti quest'ultimo rischia di fare da collo di bottiglia e di ammazzare le prestazioni.
Con Nvidia hai CUDA e librerie immense di modelli già pronti e - soprattutto - ottimizzati, con silicon boh? Metal?
Se è uno sfizio tuo provare a capire come spremere l'architettura silicon per modelli deep learning allora ci può stare; se viceversa devi fare qualcosa di operativo eviterei esperimenti e andrei sul classico: x86 + GPU Nvidia per soluzioni desktop, SoC Nvidia (Jetson) per Edge computing
Infine, valuta anche soluzioni cloud: ad esempio per il fine-tuning di modelli llm ci sono proposte interessanti da parte delle varie openai, etc |
| inviato il 31 Dicembre 2024 ore 10:08
Il problema è sempre lo stesso:
La clusterizzazione di sistemi OSX è efficace solo con i software nativi apple. Punto. I mac Mini non fanno eccezioni anche per la AI.
Un cluster con workstation windows offre un'ampia compatibilità con applicazioni scientifiche, aziendali e server-oriented e maggiore integrazione per applicazioni AI.
Quindi tutto dipende dal software che andarai ad utilizzare ma io francamente, per applicazioni massive AI, punterei dritto dritto su soluzioni windows, molto più scalabili e personalizzabili, nonchè estremamente compatibili in ambito enterprise.
|
| inviato il 31 Dicembre 2024 ore 10:17
Sono curioso anch'io per la domanda di Pingalep.
Magari voleva prendere 4 mac mini che costano quanto una 4090 e relativo pc e usarli su photoshop.  |
| inviato il 31 Dicembre 2024 ore 11:14
“
ciao a tutti! qualcuno che lavori su AI mi sa dire ch vantaggi si hanno nell'usare 3-4 unità mac mini m4 base per lavorare su AI? conviene rispetto a un pc più potente con gpu nvidia?
„
Tema interessante, ed infatti ci stanno lavorando in tanti perché ad oggi Apple Silicon sono effettivamente molto efficienti sia in termini di operazioni per W che per $.
Diciamo che i computer Apple sono comunque pensati per un uso desktop ed al momento non esistono unità rack che puoi montare in modo sensato e permanente in un armadio da datacenter.
In termini di performance ovviamente una soluzione monolitica ha overhead nullo rispetto ad una soluzione distribuita e quindi è intrinsecamente più efficiente.
Però sarai in qualche modo limitato alla dimensione del modello che riesci a caricare nella ram delle tue GPU locali.
Quindi cosa fai se devi gestire un modello da 71G?
Una Nvidia H100 con 80G di memoria per esempio costa ancora più di 35.000€....
Con un cluster di Mac mini consumer ci puoi arrivare spendendo molto molto meno (ovviamente però non aspettarti le stesse prestazioni!).
Qualche esempio restando nel mondo open-source:
- mlx-explore usa MPI per il calcolo distribuito: ml-explore.github.io/mlx/build/html/usage/distributed.html
- github.com/exo-explore/exo esegue LLaMA (MLX and tinygrad), Mistral, LlaVA, Qwen, and Deepseek su reti locali anche eterogenee (con autodiscovery)
- github.com/evilsocket/cake fa più o meno quanto il precedente ma usando candle
“
Il problema è sempre lo stesso:
La clusterizzazione di sistemi OSX è efficace solo con i software nativi apple. Punto. I mac Mini non fanno eccezioni anche per la AI.
„
Ma quando mai, dai per favore... |
| inviato il 31 Dicembre 2024 ore 22:17
il livello di risposte mi affascina, io mi sto avvicinando partendo da un livello molto basso.
pensate che nvidia samsung o qualcomm saranno in grado di tirare fuori soluzioni simili a silicon per il discorso vram ma su piattaforme linux friendly?
per il consiglio sul noleggio di tempo macchina online avete dei link su come calcolare cosa convenga caso per caso?
“ Magari voleva prendere 4 mac mini che costano quanto una 4090 e relativo pc e usarli su photoshop „ beh per i rendering di after effect lo vedo fare da tempo e il vantaggio è indubbio, però si usano più macchine con nvidia, niente mac |
| inviato il 31 Dicembre 2024 ore 23:24
sembra più un link di spam che una risposta |
| inviato il 01 Gennaio 2025 ore 8:15
Buon 2025 agli appassionati di tecnologia 
Anch'io, come scritto in precedenza, consiglio gli Nvidia Jetson: hanno potenza da vendere lato GPU, ci gira Linux e tutto l'ambiente CUDA, hanno acceleratori hw dedicati per l'AI oltre alle GPU (Nvidia li chiama nvdl, o qualcosa del genere), consumano poco perché sono pensati per applicazioni di edge computing. Aspetto negativo: sono un po' scarsi lato cpu, per tenere sotto controllo i consumi usano arm un po' datate.
Però se sì vuole qualcosa di competitivo con M4 lato Ram bisogna andare sugli Orin agx, a 32 o 64 GB: costo intorno ai 2k, performance AI fino a 275 Tops (contro I 38 di silicon, almeno sulla carta), consumi max 60 W.
Ecco il modello 64 GB all' opera: www.google.com/url?sa=t&source=web&rct=j&opi=89978449&url=https://www.
Prima della pausa natalizia nel centro dove lavoro ne abbiamo ordinati 1 rugged (dovrà andare su un robot per l' agricoltura digitale che lavorerà in campo) e due normali, per lo sviluppo in laboratorio. Però sto pensando se bloccare tutto perché sembra che nei primi mesi del 2025 arriverà l' erede: Jtetson Thor, con potenza fino a 1000 Tops  e il nuovo data type fp8 (reali a 1 byte)
Poi, per sparigliare tutto, sembra che i nuovi M5 "lisci" di Apple saranno ancora SoM come gli M4, mentre i modelli ad alte prestazioni torneranno all' approccio CPU + GPU separate.
Chi ha informazioni fresche, anche sui Thor, e avesse voglia di condividere farebbe opera meritoria;-)
@Fbr: hai visto questa cosa?
global.techradar.com/it-it/pro/nvidia-aumenta-le-prestazioni-del-70-pe |
| inviato il 01 Gennaio 2025 ore 8:50
@Illecitnom, grazie. Avevo letto.
Quelle di NVIDIA sono macchine veramente prestanti.
Poi magari ti racconto fuori linea l'uso che ne stiamo facendo.. Sono interessato a qualche dettaglio sulla vostra applicazione.
|
| inviato il 01 Gennaio 2025 ore 9:41
@Fbr molto, molto volentieri
Anch'io sono molto interessato al vostro lavoro
|
| inviato il 01 Gennaio 2025 ore 10:24
Buon 2025
Anche noi in azienda quest'anno andremo di gen ai, ma penso useremo server con nvidia h100 o successori.
Vediamo che salta fuori.  |
| inviato il 01 Gennaio 2025 ore 11:34
posso chiedervi a grandi linee di cosa vi occupate in azienda e come usate ai profiquamente?
perché vedo tutti questi video che testano la potenza di varie soluzioni di calcolo per ai offline, o online, ma poi le domande con cui testano sono veramente inutili e i risultati non vengono validati, quindi le prestazioni potrebbero tranquillamente essere falsate se ho capito bene.
a livello di gpu da gaming riadattate sapete darmi indicazioni di massima sul discorso cuda cores, tensor cores etc? mi sto affacciando lato hardware al discorso perché dovrò prendere per altri usi dell'attrzzatura e se riesco a riciclarla in più modi diversi ammortizzerei meglio l'investimento
buon anno smanettoni!
|
Che cosa ne pensi di questo argomento?Vuoi dire la tua? Per partecipare alla discussione iscriviti a JuzaPhoto, è semplice e gratuito!
Non solo: iscrivendoti potrai creare una tua pagina personale, pubblicare foto, ricevere commenti e sfruttare tutte le funzionalità di JuzaPhoto. Con oltre 251000 iscritti, c'è spazio per tutti, dal principiante al professionista. |
Metti la tua pubblicità su JuzaPhoto (info) |
JuzaPhoto contiene link affiliati Amazon ed Ebay e riceve una commissione in caso di acquisto attraverso link affiliati.
