| inviato il 07 Gennaio 2025 ore 15:11
Nelle ultime 24/48 ore al CES ci sono stati *DUE* annunci estremamente interessanti:
- NVIDIA Project Mini
- AMD Ryzen AI MAX+
Entrambi votati (anche) a realizzare mini-workstation con architettura unified memory fino a 128GB per sviluppatori, computer scientist e ricercatori.
Possiamo dire che il Mac Mini M4 abbia sicuramente fatto scuola da questo punto di vista; questi molto probabilmente saranno anche più veloci.
|
| inviato il 07 Gennaio 2025 ore 15:28
30 W ci metterei mille firme, ho paura che saremo ben più alti
Però hai ragione anche tu sul fattore di forma... stiamo a vedere |
| inviato il 07 Gennaio 2025 ore 15:40
Sì, anche il ryzen AI Max+ è estremamente interessante, con la possibilità di fare girare modelli fino a 70b di parametri residenti sulla memoria unificata. Lì i consumi sono noti, 55 W, ed è un dato molto buono |
| inviato il 07 Gennaio 2025 ore 15:58
io inizio a vedere dei mac m1 128gb a prezzi bassi o meglio in concorrenza con i 3k di queste soluzioni presentate, soprattutto all'estero. il confronto è sensato o queste nuove uscite sono molto più potenti seppur nello specifico ambito e basta? |
| inviato il 07 Gennaio 2025 ore 16:03
“
il confronto è sensato o queste nuove uscite sono molto più potenti seppur nello specifico ambito e basta?
„
La seconda, senza ombra di dubbio. |
| inviato il 07 Gennaio 2025 ore 16:13
Io credo che facciano cose diverse: l'Nvidia nasce soprattuto per gli sviluppatori di AI in ambiente Linux/Cuda; il ryzen dovrebbe essere un x86 general purpose, intorno a cui costruire laptop/workstation alto di gamma, pronte per l'uso per l'utente "comune", che potranno ospitare windows o linux; i silicon sono silicon, ben conosciuti.
In particolare, mi sembra che per il videoediting - cosa di cui so nulla - ci siano soluzioni ben consolidate lato Apple.
Orienterei la tua scelta in base all'applicazione che ti interessa. |
| inviato il 07 Gennaio 2025 ore 16:16
“
Però hai ragione anche tu sul fattore di forma... stiamo a vedere
„
www.hp.com/us-en/workstations/z2-mini-a.html
Contestualmente al Ryzen AI Max+, HP ha presentato la Z2 Mini G1a con tale soluzione proponendola come "Transformative AI Performance".
Penso che a colpo d'occhio sia palese quale fosse il riferimento quando l'han pensato...
“
Lì i consumi sono noti, 55 W, ed è un dato molto buono
„
Per il Ryzen Al Max+ 395 AMD dichiara un TDP di 45-120W.
Non 55W di picco, ma comunque molto molto interessante.
|
| inviato il 07 Gennaio 2025 ore 16:34
Bella, bella questa WS HP
Sembra che con l'arrivo degli small language models (SLM) finalmente i vari produttori di chip si siano dati una svegliata, era ora 
Anche perche' non giurerei che questo business model di OpenAI che fa usare gratuitamente GPT a tutti durerà ancora molto, mi sembra che ci stiano rimettendo cifre importanti, persino con il profilo pro da 200 dollari.
Secondo me andremo verso una situazione in cui gli utenti faranno l'inferenza di modelli linguistici open, come Llama e simili, sul proprio computer: chi avrà tanta RAM potrà usare modelli più grandi, gli altri dovranno limitarsi a modelli 7b o meno (che comunque non stanno funzionando male).
Il dato dei 55 W l'ho preso da qui ma forse dipende dalla singola applicazione
|
| inviato il 07 Gennaio 2025 ore 16:49
Il max+ è 45 - 120 watt |
| inviato il 07 Gennaio 2025 ore 17:06
Piccolo OT
Mia previsione alla Fassino su Nvidia 5080 e 5070: andranno sold out. |
| inviato il 07 Gennaio 2025 ore 19:22
ahahaha
spero che qualcuna rimanga anche per me, quest'anno devo cambiare pc |
| inviato il 07 Gennaio 2025 ore 20:09
ma un ai agent che mi assista durante il montaggi audio e video su vari software secondo voi su macchina locale da che dimensioni di modello dovrei partire per istruirlo e poi usarlo?
mi piacerebbe avere una mano quando devo riaffrontare software che non uso per un po', o release nuove, o flussi di lavoro nuovi.
il mio ideale sarebbe dargli in pasto i manuali dei vari software, dei manuali di teoria della color, bitrate etc e poi iniziare a fare delle domande che comunque avrebbero una forma lessicale e grammaticale abbastanza coerente all'ambito, quindi non farei domande complesse e poste malissimo |
| inviato il 08 Gennaio 2025 ore 16:48
Guarda che si rischia di mettersi in situazioni complicate, non so se ne vale la pena per un ambito hobbistico (diverso se pensi di farne un lavoro).
Provo a risponderti, ma la risposta non sarà breve :-/
Per prima cosa proverei con GPT "liscio": se poi non ce la fa a rispondere alle tue domande perchè troppo specifiche allora devi ricorrere ad un fine-tuning, cioè un "addestramento specialistico" di un modello grezzo pre-addestrato (per gli esperti: portate pazienza e scusate il mio linguaggio non tecnico).
All'interno della piattaforma openAI, per fare queste cose tocca aprire il portafoglio, sia per fare il fine-tuning che per utilizzare poi il modello specialistico per le prprie domande. La buona notizia è che per fare il fine-tuning servono dataset di addestramento infinatamente più piccoli di quelli usati per addestrare il modello grezzo.
Proviamo a chiedere a GPT:
"I want to fine-tune GPT to assist me with technical manuals of photo and video-editing software, along with books on color theory in photography, bitrate, and other practical and theoretical arguments encountered in postprocessing digital photos and videos. How large should the training set be?"
Sintetizzo la risposta di GPT:
* Small Fine-Tuning (Specialized Assistance):
... 50,000 to 100,000 tokens (approximately 100–200 pages of content)
* Medium Fine-Tuning (Broader Understanding):
... 200,000 to 500,000 tokens (400–1,000 pages)
* Large Fine-Tuning (Highly Specialized Assistant):
... 1–2 million tokens (2,000–4,000 pages)
Dataset Composition:
Include annotated examples of complex tasks (e.g., color grading, bitrate optimization).
Add practical examples like how-to guides and step-by-step workflows.
Incorporate real-world scenarios, emphasizing decision-making in postprocessing (e.g., selecting codecs, balancing color theory with artistic intent).
Le tariffe di openAI le trovi qui. In sintesi:
GPT-4o fine-tuning training costs $25 per million tokens, and inference is $3.75 per million input tokens and $15 per million output tokens.
Come vedi le tariffe non sono proibitive (ad oggi). Il lavoro da fare pero' e' tanto, giudica tu se ne vale la pena 
PS: sto dando per scontato che tutta la manualistica che vuoi usare per il fine-tuning sia digitalizzata (file pdf dovrebbero andare bene). Il cartaceo temo sia poco utile
PS2: mi accorgo solo ora che chiedevi un modello che girasse in locale. Ci penso, è fattibile secondo me, però si perde chiaramente la potenza di GPT e la praticità della sua piattaforma di fine-tuning. Poi con chatGPT hai la risposta immediata, con un modello locale non saprei, dipende dalle dimensioni del modello e dall'hardware del tuo PC.
Il lavoro da fare, in questo caso, credo sarebbe molto più lungo e non so se ne vale la pena, per risparmiare 100 euro
|
| inviato il 08 Gennaio 2025 ore 16:59
@Murphy: a che modello stai pensando?
|
| inviato il 08 Gennaio 2025 ore 17:05
In base alla giornata in cui farò shopping sarà 5070ti o 5080. 
Hanno entrambe 16gb e 2 motori di encoding.
Aspetto delle recensioni.
Tu? |
Che cosa ne pensi di questo argomento?Vuoi dire la tua? Per partecipare alla discussione iscriviti a JuzaPhoto, è semplice e gratuito!
Non solo: iscrivendoti potrai creare una tua pagina personale, pubblicare foto, ricevere commenti e sfruttare tutte le funzionalità di JuzaPhoto. Con oltre 251000 iscritti, c'è spazio per tutti, dal principiante al professionista. |
Metti la tua pubblicità su JuzaPhoto (info) |
JuzaPhoto contiene link affiliati Amazon ed Ebay e riceve una commissione in caso di acquisto attraverso link affiliati.
