# 6 consigli: come le aziende gestiscono modelli linguistici di IA su hardware proprio

Comunicato stampa dell’agenzia IA Iphos del 09.11.2026: la memoria decide se un modello linguistico funziona, il flusso di lavoro quanto è veloce – sei consigli su modello, computer, costi e collocazione.

<https://searchit-agent.ai/unternehmen/pr/6-tipps-so-betreiben-unternehmen-ki-sprachmodelle-auf-eigener-hardware/>

*Vienna, 9 novembre 2026*

La memoria decide se un modello funziona – il flusso di lavoro, quanto è veloce

**(Vienna, 9 novembre 2026)** Con l’hardware adatto, aziende, studi legali ed enti pubblici gestiscono modelli linguistici di IA internamente. La questione della gestione in proprio è importante per due motivi: i dati restano in casa e, con un utilizzo costante, il conto può risultare più basso rispetto all’uso tramite un’interfaccia di programmazione (API). Quale sia il computer giusto dipende meno dalle dimensioni del modello che dal flusso di lavoro, e questo sta cambiando proprio ora: una breve domanda in chat comprende poche parole. Un agente IA, invece, legge a ogni passo di lavoro da 10.000 a 30.000 token di risultati di ricerca ed estratti di documenti; i token sono le unità di testo con cui calcolano i modelli linguistici. I sei consigli seguenti mostrano ai responsabili IT come abbinare modello e computer, quando l’acquisto conviene e dove è meglio collocare l’apparecchio. Si basano su misurazioni pubblicate, prezzi attuali e un esempio di calcolo con 500.000 documenti.

## 1. Scegliere prima il modello, poi il computer

Un modello linguistico è composto da miliardi di valori numerici appresi, i parametri. Perché possa leggere testi e scrivere risposte, questi valori devono trovarsi interamente in una memoria veloce, direttamente accanto al chip di calcolo. In una workstation è la memoria della scheda grafica, la memoria GPU (VRAM); nel Mac Studio e nei box IA processore e parte grafica condividono una memoria comune. Se il modello non ci sta, non può essere gestito in modo sensato.

Lo spazio necessario dipende da dimensioni e formato di memorizzazione. Un modello con circa 26 miliardi di parametri occupa nella versione a 4 bit, che salva ogni valore in modo compatto e un po’ meno preciso, circa 16 gigabyte di memoria GPU, nella versione a 8 bit circa 26 gigabyte. In più, ogni richiesta in corso ha bisogno di una cache in cui il modello tiene traccia di ciò che ha già letto. Più lunghi sono i testi e più richieste girano contemporaneamente, più spazio occupa. Su una scheda grafica con 96 gigabyte di memoria GPU restano liberi per questa cache, accanto al modello a 8 bit, circa 70 gigabyte, su una scheda con 48 gigabyte circa 20. Quali modelli a pesi aperti (open weights), i cui file sono cioè disponibili pubblicamente, girino su quale scheda grafica e quanto costerebbe utilizzarli tramite un’interfaccia lo mostra un portale di confronto gratuito, linkato qui sotto.

«La domanda sulla memoria GPU è la prima domanda giusta, ma appunto solo la prima», afferma Ing. Christoph Wendl, CEO di searchit. «Chi acquista hardware per il proprio flusso di lavoro e non per il modello più grande di cui tutti parlano in questo momento ottiene più prestazioni per il proprio budget.»

## 2. Mettere in conto la lunghezza degli input

Un modello linguistico lavora in due fasi, e ciascuna pone esigenze diverse all’hardware. Nella lettura elabora l’intero input in una volta sola. È un compito di calcolo impegnativo, quindi qui conta la potenza di calcolo del chip grafico. Nella scrittura genera la risposta token dopo token e ogni volta legge i suoi parametri dalla memoria. Qui conta la larghezza di banda della memoria, cioè la velocità con cui i dati arrivano dalla memoria al chip.

Con una breve domanda in chat la lettura dura frazioni di secondo, si attende soprattutto la scrittura. Con documenti e agenti la lettura diventa il collo di bottiglia. Per 20.000 token risultano, secondo il calcolo, circa 0,6 secondi su una RTX PRO 6000, 1,2 secondi su una RTX PRO 5000 e grosso modo da 3 a 12 secondi su un Mac Studio M5 Ultra. Poiché un agente compie diversi passi di questo tipo per ogni domanda, questi tempi si sommano.

## 3. Pianificare fin dall’inizio le richieste simultanee

Una persona in chat, dieci colleghi con un agente e un lotto di 500.000 documenti sono tre carichi diversi, e ciascuno richiede un hardware diverso. Per pochi utenti con domande brevi basta un Mac Studio (6.599 euro con 96 gigabyte) o un box IA della classe DGX Spark (da 4.900 a 6.900 euro). Entrambi stanno silenziosi sulla scrivania.

Se molti colleghi e colleghe o più agenti devono lavorare contemporaneamente, una workstation con RTX PRO 6000 (circa 22.200 euro) mostra la sua forza. Il software vLLM raggruppa lì molte richieste e le fa elaborare insieme dalla scheda grafica: sono state misurate 125 richieste simultanee con 18 token al secondo ciascuna. Sul Mac il raggruppamento, misurato con il software llama.cpp, aiuta solo nella scrittura. Lì gli input lunghi vengono letti praticamente uno dopo l’altro, quindi le richieste si attendono a vicenda.

## 4. Verificare i benchmark sul proprio flusso di lavoro

I benchmark sono test di prestazione standardizzati, e i loro valori valgono solo per le condizioni del test. Il diffuso strumento di misura llama-bench lavora, senza ulteriori indicazioni, con 512 token di input, 128 token di output e una sola richiesta. Questo dice poco su un agente che legge 20.000 token e gira insieme ad altre richieste. Significativi sono i valori con la propria lunghezza di input e con tante richieste simultanee quante in esercizio.

Conta anche la versione del software: su un Mac Studio M3 Ultra la lettura di 8.192 token è scesa, dopo un aggiornamento di llama.cpp, da circa 2.106 a 1.183 token al secondo, con lo stesso hardware e lo stesso modello. Il metodo più affidabile resta quindi la propria misurazione con il modello previsto e input tipici.

## 5. Prima dell’acquisto fare i conti con interfaccia e noleggio

Un modello linguistico non deve per forza girare su hardware proprio. Tramite un’interfaccia di programmazione si può usare anche presso un fornitore, con fatturazione in base ai token elaborati. Per un grande lotto una tantum questo è quasi sempre più conveniente. Lo mostra un esempio con 500.000 documenti, ciascuno con 7.500 token di input e 1.500 token di output, e il modello Gemma 4 26B A4B: con le offerte più economiche con elaborazione nell’UE l’elaborazione costa da 600 a 850 euro, una workstation adatta da 13.500 a 22.200 euro.

L’hardware proprio conviene quando lavora in modo continuativo, perché si ammortizza anche quando è inattivo. A pieno carico per 36 mesi e con un prezzo dell’elettricità di 0,30 euro per kilowattora, 1.000 documenti su una RTX PRO 6000 costano secondo il calcolo circa 0,18 euro, tramite l’interfaccia da 1,20 a 1,70 euro. Se la workstation lavora solo otto ore al giorno, il suo costo per documento all’incirca triplica. Anche dove i dati non devono uscire dall’azienda, per esempio per i professionisti tenuti al segreto professionale, l’hardware proprio è la scelta più ovvia. Nel mezzo c’è il noleggio: i data center europei offrono una RTX PRO 6000 a partire da circa 1,25 euro l’ora, senza acquisto e con gli stessi vantaggi per le richieste simultanee.

## 6. Pensare fin dall’inizio alla collocazione

L’energia elettrica che una scheda grafica assorbe viene restituita sotto forma di calore, e le sue ventole devono smaltire questo calore. Per questo la questione del rumore e del calore prodotto va affrontata prima dell’acquisto. Un box IA con circa 160 watt sotto carico e al massimo 37,5 dB(A) misurati a 46 centimetri di distanza può stare sul posto di lavoro. Una workstation con RTX PRO 6000 va invece collocata in un locale adiacente con apporto d’aria: la scheda assorbe fino a circa 530 watt, il calore prodotto corrisponde a un termoventilatore a bassa potenza, e la norma tedesca sui luoghi di lavoro ASR A3.7 indica per gli uffici da una o due persone un valore di progettazione di 40 dB(A).

In funzione giorno e notte, l’elettricità costa circa 1.970 euro all’anno. La variante Max-Q si accontenta di 300 anziché 600 watt, costa circa 1.180 euro di elettricità e, secondo le misurazioni, lavora con i modelli linguistici dal 13 al 19 per cento più lentamente. Per elaborazioni di più giorni si consiglia un gruppo di continuità, affinché una breve interruzione della rete elettrica non interrompa l’intera elaborazione.

Maggiori informazioni sull’articolo «Hardware per LLM locali»: [www.searchit-enterprise-search.com/hardware-lokale-llm](https://www.searchit-enterprise-search.com/hardware-lokale-llm/)

Maggiori informazioni su searchit Models – gestione in proprio: [models.searchit-agent.ai/selbst-betreiben](https://models.searchit-agent.ai/selbst-betreiben/), calcolatore dei costi: [models.searchit-agent.ai/werkzeuge/kostenrechner](https://models.searchit-agent.ai/werkzeuge/kostenrechner/)

Maggiori informazioni sul searchit AI Agent: [searchit-agent.ai](https://searchit-agent.ai/)

## Su searchit: agenti IA per le aziende

Con searchit il sapere di un’organizzazione diventa la memoria della sua IA. Il searchit AI Agent conosce i vostri dati (e-mail, documenti, ecc.) e lavora con essi. Così l’agente diventa un collaboratore digitale. La tecnologia si basa sulla lunga esperienza di searchit come piattaforma di enterprise search, utilizzata da numerosi clienti come Samsung, TÜV, il Technisches Museum Wien e l’autorità digitale bavarese. searchit è sviluppato da Iphos IT Solutions GmbH, con sede a Vienna. Il suo laboratorio di IA interno sviluppa continuamente le funzioni di IA della piattaforma. Ing. Christoph Wendl guida insieme a Lyubomir Ivanov, come Chief Executive Officer, l’azienda fondata nel 1998.

## Contatto per i media

- Ing. Christoph Wendl, amministratore delegato, Iphos IT Solutions GmbH
- Khekgasse 35, 1230 Vienna, Austria
- Tel.: +43 1 869 84 00
- E-mail: [info@searchit.cc](mailto:info@searchit.cc)

- [Comunicato in PDF (tedesco)](https://searchit-agent.ai/unternehmen/pr/6-tipps-so-betreiben-unternehmen-ki-sprachmodelle-auf-eigener-hardware/20261109-presseaussendung-hardware-llm.pdf)

---

- searchit AI Agent: <https://searchit-agent.ai/>

Questa versione è generata dai file di lingua della pagina (scripts/gen-unternehmen.py). Fa fede la pagina stessa.
