| inviato il 01 Gennaio 2025 ore 12:01
Le applicazioni sono varie. La fantasia è limite principale, soprattuto ora che abbiamo a disposizione una infinità di dati e molta potenza di calcolo. E siamo ancora all'inizio.
Per passione e studi collaboro attivamente a progetti in ambio di bioingegneria applicata alla neurologia.
Nel caso specifico usiamo la potenza di calcolo di questi sistemi per replicare extra-body il comportamento di agglomerati di cellule spinali, farne il training in ambienti simulati, e replicare lo stato delle reti in body attraverso particolari device brevettati con interfaccia biologica-elettronica. Lo scopo primo è il ripristino delle connessioni e delle funzioni post lesione spinale con interventi chirurgici a bassissima invasività.
Tutto detto malissimo. Occorre molta potenza di calcolo e molto distribuita, prossima al dato.
Giusto per dare un riferimento "visivo", una delle tecnologie rivali è Neuralink (che è una tecnologia solo 2D ed abbastanza invasiva).
In azienda siamo più sul tradizionale, principalmente le applicazioni sono di tipo edge e sono legate a vari ambiti industriali (efficenza energetica (ESG), previsione guasti, agricoltura di precisione, prevenzione e gestione eventi climatici estremi...).
Considera che non sono novità.
Con NVDIA collaboro da metà anni '90, come dicevo per applicazioni in ambito bioingegneristico-biomedicale quando iniziammo ad abbandonare i super-calcolatori tradizionali (es. CRAY, IBM SP2...) a favore di soluzioni di questo tipo anche se al tempo erano veramente acerbe e solo per il gaming e praticamente tutte da scoprire fuori da quel contesto.
|
| inviato il 01 Gennaio 2025 ore 13:18
Anch'io ho collaborato con nvidia dalla tnt 2 in poi. Ho acquistato quasi tutte le sue schede video 
|
| inviato il 01 Gennaio 2025 ore 13:23
Esatto. Ognuno a modo suo!
Comunque di soldi ne hanno ricevuti tanti.
Dalla presenza dei vertex shader in poi le cose sono diventate interessanti. Le TnT 2 forse erano ancora poco utili per il calcolo generale. |
| inviato il 01 Gennaio 2025 ore 14:39
Il salto vero con le geforce e il T&L.
Mi mangio le mani che non ho comprato le azioni per tempo.
Cmq sono curioso di lavorare con questi nuovi sistemi. |
| inviato il 01 Gennaio 2025 ore 14:54
Idem. Ho consigliato di acquistarle a 7 dollari ad amici e famigliari e non l'ho fatto io. Come si dice, “fate quel che dico e non quel che faccio!”
|
| inviato il 01 Gennaio 2025 ore 14:58
Ahahah succede |
| inviato il 01 Gennaio 2025 ore 23:46
“ Anch'io, come scritto in precedenza, consiglio gli Nvidia Jetson: hanno potenza da vendere lato GPU, ci gira Linux e tutto l'ambiente CUDA, hanno acceleratori hw dedicati per l'AI oltre alle GPU (Nvidia li chiama nvdl, o qualcosa del genere), consumano poco perché sono pensati per applicazioni di edge computing. Aspetto negativo: sono un po' scarsi lato cpu, per tenere sotto controllo i consumi usano arm un po' datate. Però se sì vuole qualcosa di competitivo con M4 lato Ram bisogna andare sugli Orin agx, a 32 o 64 GB: costo intorno ai 2k, performance AI fino a 275 Tops (contro I 38 di silicon, almeno sulla carta), consumi max 60 W. Ecco il modello 64 GB all' opera: www.google.com/url?sa=t&source=web&rct=j&opi=89978449&url=https://www. „
Boh, parliamone...
Secondo i benchmark ufficiali di NVIDIA, LLaMA 3 8B quantizzato a 4 bit su Jetson AGX Orin fa 40 token al secondo.
Vedi: www.jetson-ai-lab.com/benchmarks.html
Un M3 Max con 40?Core GPU e 64GB di RAM è comunque già a 50.74 token/sec.
Un M1 Max con 32?Core GPU e 64GB di RAM (il secondo step del primissimo Mac Studio per capirci) era comunque già a 34.49
Una 4070 Ti 12GB ne fa 82.21.
Una H100 80GB ne fa 144.49.
Fonte: github.com/XiongjieDai/GPU-Benchmarks-on-LLM-Inference
La vera differenza è che la 4070 Ti 12GB va in OOM già con LLaMA 3 8B F16 e 70B Q4_K_M mentre anche solo il primo M1 Max con 64GB ce la fa con entrambi... |
| inviato il 01 Gennaio 2025 ore 23:56
quindi speriamo nvidia faccia gpu con tantissima ram! magari con slot sodimm |
| inviato il 02 Gennaio 2025 ore 0:05
“
quindi speriamo nvidia faccia gpu con tantissima ram!
„
Beh, se proprio vuoi già oggi ti puoi comprare una H200 con 141GB di RAM, la questione è che non è proprio economica e da qui l'idea di mettere in cluster nodi "consumer" con Apple Mx... |
| inviato il 02 Gennaio 2025 ore 10:07
“ posso chiedervi a grandi linee di cosa vi occupate in azienda e come usate ai profiquamente? „
Come ha bene scritto Fbr, i limiti sono dati solo dalla propria creatività e dalla propria voglia di impegnarsi a studiare, programmare e sperimentare.
Per quello che mi riguarda, i miei interessi attuali sono:
- agricoltura digitale, con i tre pilastri big data-AI-robotica. Li' il focus è su classificazione di immagini in tempo reale, così che un robot possa ad es. fare il monitoraggio autonomo continuativo di un vigneto, uliveto, frutteto, etc e segnalare se c'è qualche emergenza tipo attacco di funghi, malattie, carenze idriche o nutrizionali e in quale punto esatto dell'impianto. Poi generazione di copie digitali (digital twin) di piante e campi coltivati, anche in collaborazione con droni. Una cosa che ci sta dando molta soddisfazione ma è ancora alla fase iniziale è l'uso di AI per generare immagini sintetiche di piante coltivate sane e malate, infestanti, etc. per aumentare i dataset di addestramento e migliorare la performance dei classificatori deep learning.
- LLM: li' sto studiando e sperimentando a titolo personale e sto cercando di elaborare un progetto operativo credibile e in grado di autosostenersi, cosa non facile. Tematiche di interesse: fine-tuning di modelli di grande scala preaddestrati, small language models, modelli multimodali (testo, audio, video,etc) come Llava
- fondamenta matematiche del deep learning: mi appassiona molto è ho fatto anche un po' di didattica su questo. Mi affascinano anche i parallelismi tra reti neurali artificiali e i cervelli biologici, con le ricadute che possono avere sugli algorimi deep learning (ad es. il pruning)
Tutto molto bello, per me, purtroppo le giornate hanno solo 24 ore :-) |
| inviato il 02 Gennaio 2025 ore 10:33
Sul confronto silicon-nvidia, mi autocito:
“ Gli ultimi chip silicon sono decisamente interessanti per l'ambito AI, più per l' efficienza e le capacità di memoria condivisa (se non sbaglio, fino a 128 GB nei modelli di punta) che per la potenza "bruta". „
Aggiungo che se un chip come l'M4 supportasse linux e fosse acquistabile come componente standalone (l'ecosistema Apple non mi serve e non mi interessa), sarei stato il primo a ordinarlo.
Purtroppo - dico purtoppo perchè le situazioni di monopolio sono sfavorevoli per tutti, tranne per chi le detiene - ad oggi CUDA di Nvidia è un ambiente di cui è difficile fare a meno in ambito deep learning. Va dato atto a Jensen Huang di avere visto le potenzialità di Brook, un progetto per il general purpose GPU a cui stavano lavorando 20 anni fa a Stanford, averlo finanziato e averne sfruttato le idee per il futuro CUDA. Huang ha capito allora quelli che altri hanno capito solo più tardi: i) le GPU possono avere anche altri utilizzi oltre gli sparatutto e ii) è inutile avere tanta potenza HW se poi non hai il SW e le librerie matematiche per "scaricarla a terra".
I limiti principali delle GPU Nvidia, come è stato rimarcato piu' volte, sono una quantità insufficiente di memoria e il consumo energetico,ormai senza freni per i modelli orientati alla forza bruta (si parla di 1300 W per il prossimo chip per i data center). I jetson cercano di rispondere a questi problemi, accettando di pagare qualcosa in termini di performance pura, che si colloca al di sotto di quella di una 3060. |
| inviato il 02 Gennaio 2025 ore 10:56
“
I jetson cercano di rispondere a questi problemi, accettando di pagare qualcosa in termini di performance pura, che si colloca al di sotto di quella di una 3060.
„
Jetson è la soluzione di NVIDIA per i sistemi embedded.
Idealmente è pensata per chi vuol costruire un suo prodotto, che so il suo robot per la vendemmia automatica come nel tuo esempio, montandoci HW di NVIDIA.
Quello a cui probabilmente ti riferisci tu sono i Jetson Developer Kit che sono dei mini PC pronti all'uso da utilizzare per sviluppare e testare il software che girerà sul tuo dispositivo custom prima che questo sia pronto.
Poi sì, abusandone un po' lo puoi usare come sistema di sviluppo a prescindere ma comunque non nasce come mini workstation.
Le soluzioni da datacenter sono le H100/H200/... , le soluzioni workstation sono le A800 e simili. Jetson è pensato per l'embedded.
Poi sì, non escludo che in termini sia di potenza di calcolo per W (molto probabile!) che per $ il Developer Kit di Jetson possa essere più interessante di una H100 o di una A800, ma non è nato per quello scopo. |
| inviato il 02 Gennaio 2025 ore 11:00
Davo per scontato, chiedo scusa se non era chiaro, che il training si faccia con processori datacenter: noi usiamo A100 e H100. Oppure con soluzioni cloud a pagamento.
Quello di cui parlavo era riferito unicamente all'inferenza. |
| inviato il 03 Gennaio 2025 ore 11:37
quindi possiamo dire che al momento la piattaforma silicon è una scelta ragionevole solo per la vram allocabile e quindi solo per i modelli con tanta ram e non per un modello base da 16gb?
dovendo pensare sempre a una macchina ibrida, che deve anche fare export di file video da davinci o after effect, pensando a un budget sotto i 1300 ivata assemblata, anche prendendo roba usata, mi converrebbe prendere una gpu nvidia 4060 16gb o una 3090 24gb, o una gpu amd con tanta ram?
sempre in ottica di prendere poi più macchine per dividere il carico in export video.
sinceramente non ho ancora in mente un carico importante per l'ai e soprattutto mi sembra che gran parte degli usi intensivi e in autonomia sarebbero legati a pulizia rumore audio e video, roba per cui una gpu nvidia mi pare l'ideale al momento.
|
| inviato il 03 Gennaio 2025 ore 12:05
“
quindi possiamo dire che al momento la piattaforma silicon è una scelta ragionevole solo per la vram allocabile e quindi solo per i modelli con tanta ram e non per un modello base da 16gb?
„
Nì, diciamo che un Mac Mini M4 dai 24 GB di Ram in su inizia a diventare davvero molto molto interessante.
Però, se vuoi spendere davvero poco il base con 16 te lo porti a casa a € 729,00...
Poi se vuoi/puoi spendere di più:
Con 1.309,00€ ti puoi prendere un Mac Mini con:
Chip Apple M4 con CPU 10?core, GPU 10?core, Neural Engine 16?core
24GB di memoria unificata
Unità SSD da 512GB
10 Gigabit Ethernet
E se proprio vuoi esagerare, con 2.714,00€ arrivi a:
Chip Apple M4 Pro con CPU 14?core, GPU 20?core, Neural Engine 16?core
64GB di memoria unificata
Unità SSD da 512GB
10 Gigabit Ethernet
|
Che cosa ne pensi di questo argomento?Vuoi dire la tua? Per partecipare alla discussione iscriviti a JuzaPhoto, è semplice e gratuito!
Non solo: iscrivendoti potrai creare una tua pagina personale, pubblicare foto, ricevere commenti e sfruttare tutte le funzionalità di JuzaPhoto. Con oltre 252000 iscritti, c'è spazio per tutti, dal principiante al professionista. |
Metti la tua pubblicità su JuzaPhoto (info) |
JuzaPhoto contiene link affiliati Amazon ed Ebay e riceve una commissione in caso di acquisto attraverso link affiliati.
