LLM on premise: l’intelligenza artificiale che lavora dentro la tua azienda
Un LLM on premise è un modello linguistico installato sui server dell’azienda o su un’infrastruttura privata, non su un servizio esterno. Domande e documenti restano dentro i tuoi confini.
LLM on premise: quando i dati non possono uscire
Un assistente AI è utile nella misura in cui legge i tuoi documenti. Ma contratti, offerte, disegni tecnici e anagrafiche non sempre si possono mandare a un servizio esterno. Il modello in casa nasce da qui.
ApprofondisciCosa succede a un documento che incolli in un servizio esterno
Cosa succede a un documento che incolli in un servizio esterno
Dipende dal contratto, non dal software
Quando usi un servizio AI esterno, il testo che invii viaggia verso i server del fornitore. Se viene conservato, per quanto tempo, se può servire ad addestrare altri modelli e dove si trova il server: lo dicono le condizioni d’uso e il contratto, e cambiano da fornitore a fornitore e da piano a piano. Chi usa la versione gratuita di uno strumento può avere condizioni diverse da chi ha un contratto aziendale.
Il problema è l’uso non governato
Il caso tipico è il collaboratore che, per fare prima, incolla un’offerta o un elenco clienti in una chat personale. L’azienda non sa che succede, non può controllarlo e non può dimostrare cosa è uscito. Un modello in casa non toglie le persone dal quadro, ma ti permette di offrire loro uno strumento ufficiale, con accessi e registri, al posto di quello nascosto.
Cosa chiede il GDPR
Il Regolamento (UE) 2016/679 chiede misure tecniche e organizzative adeguate alla protezione dei dati personali e regole precise per chi li tratta per conto dell’azienda e per i trasferimenti fuori dall’Unione. Tenere il modello in casa semplifica molte di queste domande, ma non le cancella: restano la base giuridica, l’informativa, chi accede e cosa viene registrato.
- Nel team qualcuno incolla già documenti riservati in una chat pubblica, senza che nessuno l’abbia deciso.
- Un cliente o un contratto vieta di far uscire i dati dai vostri sistemi.
- Hai un archivio di documenti tecnici enorme e nessuno ritrova niente.
- Hai provato un assistente AI, ma l’ufficio legale o la direzione ha detto di fermarsi.
- Vuoi sapere dove vanno i dati, per quanto tempo restano e chi può leggerli.
Servizio esterno o LLM on premise
Non c’è una scelta giusta in assoluto. Dipende da cosa devi far leggere al modello e da quanto ti pesa che esca.
| Aspetto | Servizio esterno | LLM on premise |
|---|---|---|
| Dove passano i dati | Verso i server del fornitore, secondo il suo contratto. | Restano sui tuoi server o sulla tua infrastruttura privata. |
| Qualità sui compiti generali | I modelli più grandi restano i più capaci. | I modelli aperti sono più piccoli: su compiti mirati reggono, su quelli ampi dipende dalla prova. |
| Costo | Si paga l’uso, nessun investimento iniziale. | Si paga l’hardware e la gestione, poi l’uso interno non ha un costo per richiesta. |
| Manutenzione | La fa il fornitore. | La fate voi o chi la segue con voi: aggiornamenti, monitoraggio, copie di sicurezza. |
| Controllo | Cambia quando il fornitore cambia modello o condizioni. | Il modello resta quello che hai scelto finché decidi di cambiarlo. |
Le parole da conoscere prima di parlare di server
- LLM
- Large Language Model: un modello addestrato su grandi quantità di testo che genera risposte in linguaggio naturale.
- On premise
- Installato sui server dell’azienda o su un’infrastruttura che controlla direttamente, non offerto come servizio da un terzo.
- Inferenza
- Il momento in cui il modello risponde a una domanda. È quello che pesa ogni giorno sull’hardware, più dell’addestramento.
- VRAM
- La memoria della scheda grafica (GPU). Il modello deve starci dentro: è il primo numero che decide quale server serve.
- Quantizzazione
- Tecnica che riduce la precisione dei numeri del modello per farlo stare in meno memoria, con una piccola perdita di qualità.
- Open weight
- Modello i cui pesi si possono scaricare e far girare in casa. Ogni modello ha la sua licenza, e va letta prima dell’uso aziendale.
- RAG
- Retrieval-Augmented Generation: prima di rispondere, il sistema cerca i passaggi giusti nei tuoi documenti e li dà al modello.
Le quattro parti di un LLM on premise
Un modello in casa è un sistema di quattro pezzi, da scegliere insieme.
Server AI e hardware GPU
Si parte dalla macchina: quante schede grafiche, quanta memoria, quanta corrente e dove la metti. Si dimensiona sul modello e sul numero di persone che lo useranno insieme.
ApprofondisciCome si dimensiona un server per un LLM
Come si dimensiona un server per un LLM
La memoria della scheda decide tutto
Il modello deve stare nella VRAM della GPU, insieme alla memoria di lavoro che serve a leggere testi lunghi. Di massima, un modello quantizzato occupa circa un byte per parametro o meno, secondo la quantizzazione, più un margine per il contesto. Per questo un modello piccolo gira su una sola scheda, uno grande ne richiede più d’una.
Utenti insieme, non utenti totali
Cento persone che usano l’assistente un paio di volte al giorno pesano meno di dieci persone che lo usano in continuo. Si guarda quante richieste arrivano nello stesso momento e quanto sono lunghe, non l’organico.
Dove metterlo
Un server con GPU fa rumore, scalda e consuma. Può stare in una sala server, in un rack in colocation o su un cloud privato dedicato. La scelta cambia i costi e chi si occupa della manutenzione, e va decisa prima dell’acquisto.
LLM privati open source
Si sceglie il modello tra quelli aperti, si prova sui tuoi compiti e si controlla la licenza. Si usano runtime come Ollama, vLLM o llama.cpp, secondo il carico.
ApprofondisciCome si sceglie un modello aperto
Come si sceglie un modello aperto
Prova sui tuoi documenti, non sulle classifiche
Le classifiche pubbliche misurano compiti generali. Il tuo compito è un altro: leggere i tuoi contratti, rispondere in italiano ai tuoi clienti. Si prepara una ventina di domande vere, si fanno rispondere due o tre modelli e si confrontano le risposte a occhio, insieme a chi quei documenti li conosce.
La licenza è parte della scelta
I modelli aperti non hanno tutti la stessa licenza: alcune permettono l’uso commerciale senza condizioni, altre pongono limiti. Prima di installare in azienda si legge il testo della licenza e si annota quale versione del modello si sta usando.
RAG e knowledge base aziendale
Il modello risponde dai tuoi documenti: manuali, listini, procedure, contratti. Ogni risposta indica da quale file arriva, così chi legge può controllare.
Sicurezza dei dati nell’AI
Accessi per persona, registro delle richieste, separazione tra reparti, copie di sicurezza. Il modello in casa vale quanto le regole con cui lo si usa.
Otto domande prima di comprare un server
Se non sai rispondere a queste, l’acquisto è prematuro. Rispondere costa poco, sbagliare l’hardware molto di più.
ApprofondisciPerché si prova prima di comprare
Perché si prova prima di comprare
Un modello aperto si può provare in pochi giorni su un computer o su un server in affitto, con una piccola parte di documenti non sensibili. La prova dice se la qualità delle risposte basta e quale dimensione di modello serve davvero. Con quel dato il server si compra sulla misura giusta, non su quella che sembra prudente.
Chi compra prima di provare si trova di solito in uno di due casi: una macchina sovradimensionata che resta mezza vuota, oppure troppo piccola per il modello che il compito richiede. Il secondo è il più fastidioso, perché si scopre a installazione finita.
- Quali documenti deve leggere il modello, e quali non deve mai vedere?
- Chi lo userà e quante persone insieme, nell’ora più carica?
- Che compito svolge: rispondere, riassumere, classificare, scrivere bozze?
- In quale lingua sono i documenti e quanto sono lunghi?
- Dove sono oggi i file: cartelle condivise, gestionale, posta, programma di archiviazione?
- Chi se ne occupa dopo l’installazione, quando serve un aggiornamento?
- Esistono vincoli di contratto o di sicurezza che impongono dove stanno i dati?
- Hai provato lo stesso compito con un modello aperto, prima di dimensionare la macchina?
Dal primo documento al modello in uso
L’hardware arriva al terzo passaggio, non al primo.
Mappa dei dati
Quali documenti, dove stanno, chi può vederli. Si decide cosa il modello legge e cosa resta fuori.
Prova su un caso
Un compito solo, documenti veri, due o tre modelli aperti a confronto. Si guarda la qualità delle risposte in italiano.
Hardware e modello
Con il risultato della prova si dimensiona il server e si sceglie dove metterlo: sala server, colocation o cloud privato.
Installazione e documenti
Si installa il modello, si collega l’archivio con il RAG, si controlla che ogni risposta indichi la fonte.
Accessi e manutenzione
Utenti, permessi, registro delle richieste, aggiornamenti dei modelli e copie di sicurezza, con chi se ne occupa dopo.
La parola a Luca Nagliati
«Se un’azienda ci chiede un modello in casa, la prima domanda è cosa vuole far leggere al modello, e a chi, non quale scheda video comprare. Partiamo da un caso solo, con documenti veri. L’hardware viene dopo: comprare prima di provare costa caro.»
Cosa un modello in casa non fa
Un LLM on premise non garantisce la conformità. Tiene i dati dove decidi tu. Restano da definire chi può usarlo, per cosa e con quali registri.
Non eguaglia sempre i servizi più grandi. Sui compiti mirati, come rispondere dai tuoi documenti, un modello aperto di dimensione media può bastare. Su compiti molto ampi o su ragionamenti lunghi la differenza si sente, e per questo si prova prima.
Non è un acquisto che si dimentica. Un server ha bisogno di aggiornamenti, controlli e di qualcuno che risponda quando si ferma.
ApprofondisciCosti e manutenzione: cosa mettere in conto
Costi e manutenzione: cosa mettere in conto
Le voci di costo
Le voci sono quattro: il server con le sue schede, la corrente e il raffreddamento, il lavoro di installazione e collegamento ai documenti, e la manutenzione nel tempo. Un servizio esterno sposta tutto sul costo d’uso. La scelta conviene quando l’uso interno è continuo, o quando il vincolo sui dati lascia comunque una sola strada.
Chi se ne occupa dopo
I modelli aperti escono con frequenza e quello scelto oggi può essere superato presto. Conviene decidere subito chi controlla gli aggiornamenti, chi prova il nuovo modello sui vostri documenti prima di sostituire il vecchio e chi tiene le copie di sicurezza dell’archivio indicizzato.
Quando non conviene
Se i documenti non sono riservati e l’uso è occasionale, un servizio esterno con un buon contratto è più semplice. Un modello in casa si giustifica con dati che non possono uscire, con un uso intenso o con la necessità di tenere stabile il comportamento del sistema.
Per chi ha senso un modello in casa
Studi professionali
Hanno pratiche, pareri e corrispondenza riservati, e un archivio dove cercare è lento. Un RAG sul loro archivio risponde con il riferimento al documento.
Aziende con documentazione tecnica
Manuali, schede, disegni e procedure sparsi in cartelle. Il team di assistenza o di produzione chiede, il sistema trova il passaggio giusto.
Aziende con vincoli dei clienti
Contratti che impongono dove stanno i dati o chi può leggerli. Il modello gira dentro i vostri sistemi e i registri dimostrano cosa è stato chiesto.
Si parte dal tuo caso, non da un listino
Server, modello e collegamento ai documenti dipendono da cosa deve leggere il sistema e da quante persone lo usano. Per questo lavoriamo su preventivo: ci racconti il caso, lo proviamo insieme e solo dopo dimensioniamo.
Domande frequenti
Che cos’è un LLM on premise?
È un modello linguistico che gira su server controllati dall’azienda, in sede o su un’infrastruttura privata, invece che su un servizio esterno. Domande e documenti non lasciano i tuoi sistemi. Di solito è un modello open weight, collegato ai tuoi file con un sistema RAG.
Quanto costa un server per un LLM aziendale?
Il costo dipende da tre cose: dimensione del modello, numero di persone che lo usano nello stesso momento e lunghezza dei documenti da leggere. Per questo non esiste un prezzo unico. Si prova prima su un caso reale e poi si dimensiona la macchina, con un preventivo.
Un LLM open source è bravo come ChatGPT?
Dipende dal compito. Su domande mirate ai tuoi documenti un modello aperto di dimensione media può bastare, mentre sui compiti molto ampi i modelli più grandi restano più capaci. Il modo corretto per saperlo è provarli su una ventina di domande vere.
Con un LLM on premise sono in regola con il GDPR?
No, non basta. Tenere i dati in casa riduce i trasferimenti verso terzi, ma restano la base giuridica, l’informativa, la gestione degli accessi e dei registri. Il Regolamento (UE) 2016/679 chiede misure adeguate: va verificato con il tuo consulente privacy.
Che differenza c’è tra RAG e addestrare un modello?
Il RAG cerca i passaggi giusti nei tuoi documenti al momento della domanda e li dà al modello. L’addestramento invece modifica il modello. Si parte quasi sempre dal RAG, perché quando i documenti cambiano basta aggiornare l’archivio, senza riaddestrare niente.
Serve per forza una scheda grafica?
Per uso condiviso tra più persone, in pratica sì. Una GPU con abbastanza memoria dà risposte in pochi secondi. I modelli piccoli e quantizzati girano anche su processore o su un portatile, ma più lentamente: vanno bene per una prova, meno per l’uso quotidiano del team.
On premise o cloud privato: cosa cambia?
Con l’on premise il server sta nella tua sede o in un rack che gestisci tu. Con il cloud privato è una macchina dedicata a te presso un fornitore. Cambiano costi, manutenzione e controllo fisico. Con il cloud privato la macchina è dedicata a te se il contratto con il fornitore lo prevede: va controllato.
Quanti contatti ti servono?
Raccontaci da dove parti. Ti diciamo cosa misurare, cosa togliere e cosa costruire.