Installare chat IA e modelli LLM gratuiti su PC, in locale e offline

Si può installare e usare una IA testuale come ChatGPT in locale, sul PC, gratis, scaricando modelli LLM liberi e programmi come Ollama o LMStudio

A meno che non si lavora nel settore, l'intelligenza artificiale è oggi associata a ChatGPT, l'applicazione che usiamo tutti per lavoro, studio o per fare semplici esperimenti. Quello che c'è dietro ChatGPT è, invece, un mondo vasto, in continua evoluzione, che richiederebbe studio approfondito e molte competenze tecniche per capire fino in fondo.
Senza entrare troppo in dettagli tecnici che si possono cercare facilmente, in questo post ci tenevo a condividere alcune risorse per avere il proprio strumento di intelligenza artificiale sul PC, e crearsi quindi, senza troppa difficoltà, un proprio ChatGPT in locale sul computer di casa o dell'ufficio, completamente gratuito che funziona anche offline.

LEGGI ANCHE: Alternative migliori a ChatGPT su Smartphone.

Si può installare una IA come ChatGPT sul proprio PC?

Prima di iniziare, facciamo una mega sintesi semplificata per capire come funzionano le applicazioni alimentate da IA come ChatGPT, la più famosa, ma solo una delle tante disponibili.
La storia inizia con il concetto dei LLM (Large Language Model), ossia il programma delle IA testuali. LLM, che significa modello linguistico di grandi dimensioni, è in grado di comprendere il linguaggio umano e generare risposte coerenti. Gli LLM utilizzano il deep learning, un tipo di machine learning che impara e acquisisce nuovi dati dal suo utilizzo.
In altre parole, un LLM è il modello linguistico sui cui si basa una intelligenza artificiale testuale, il motore che ci sta sotto. Per esempio, ChatGPT è basata sul modello GPT così come anche Microsoft Copilot, invece Gemini è di Google e Grock è il modello di X sui loro modelli proprietari, Llama, il motore di Meta AI (Facebook) e Gemma di Google sono invece esempi di LLM liberi per uso personale e ricerca.

Sugli LLM possiamo leggere una guida ben fatta e alla portata di tutti sul sito Cloudflare.

Senza dilungarci oltre nella teoria, l'importante è sapere che mentre GPT di OpenAI è un LLM proprietario a pagamento (almeno GPT3 e GPT4), ci sono altri LLM come Llama di Facebook, Mistral e Gemma di Google possono essere utilizzati gratuitamente per progetti personali e ricerca (nella pagina Wikipedia in inglese sugli LLM c'è una lista completa).
Se ci stavamo ora chiedendo se sia possibile utilizzare un'IA come ChatGPT gratuitamente e senza limitazioni, ecco quindi che la risposta è sicuramente affermativa. Possiamo facilmente installare un programma LLM sul PC, Windows, Linuc o Mac, ed utilizzarlo liberamente e gratis, che funzionano anche offline, senza collegarsi a server o servizi esterni.

Ci sono moltissimi modi per installare una IA sul PC e tanti programmi che funzionano da interfaccia per chattare con l'intelligenza artificiale. Alcuni di essi sono semplici e gratuiti, altri più complicati.
L'unico requisito importante richiesto per utilizzare le IA sul proprio PC è un hardware decente sul computer, una CPU moderna e, sopratutto, 16 GB di memoria RAM ed una scheda video dedicata.
Prima di tutto, vediamo il video riassuntivo

LM Studio, il più semplice

Il modo più semplice che ho trovato per poter usare una chat testuale alimentata da IA e da un LLM gratuito è tramite l'installazione del programma LM Studio. Non posso escludere che ci siano programmi più semplici (visto che le alternative sono davvero tante), ma diciamo che sono rimasto soddisfatto di questo).
LMStudio non è un software open source, quindi viene poco citato dalle varie guide, ma funziona veramente bene, è semplice da installare e attivare, non richiede pacchetti aggiuntivi ed è pronto all'uso.

Dopo il download e l'installazione, verrà chiesto di scaricare un modello LLM e la scelta può essere Gemma, Mistral o Llama che possono essere usati liberamente.
Nella sezione developer è possibile caricare il modello LLM scaricato sul PC e nella sezione discover è possibile trovare i modelli LLM scaricabili, tra cui Gemma 2 2B e Llama 3.2 sono quelli consigliati anche perchè occupano meno spazio disco.

Programmi open source per IA e modelli LLM su computer in locale

Se si vuole una soluzione completamente open source, allora è possibile installare il programma Ollama, gratuito. Usare Ollama, tuttavia, è un po' più complicato. Prima di tutto, bisogna scaricare l'interprete dei comandi Python sul PC e poi installare un'interfaccia grafica.
Python non richiede alcuna configurazione, anche se bisogna assicurarsi che il percorso d'installazione sia aggiunto alle variabili d'ambiente del PC (in Windows, cercare variabili d'ambiente sul menù Start).
Tramite comando Python (su una finestra Terminale Windows), si può scaricare l'LLM per Ollama. Anche qui si può scegliere un modello Llama 3.2 o Gemma 2 (che richiedono meno memoria RAM) o anche Mistral che è perà più grande. Nella pagina Github di Ollama ci sono i comandi da lanciare per il download.
Per esempio, per scaricare Llama 3.2, con Ollama in esecuzione, si deve aprire un prompt dei comandi su Windows (o Terminale) e scrivere il comando ollama run llama3.2 .

Ollama da solo è un'applicazione server che rimane in background, per usare la chat serve un'interfaccia grafica.
La migliore interfaccia per Ollama è Open Web UI, che però richiede l'installazione anche del programma Docker (da lanciare e lasciare in background) e l'esecuzione di alcuni comandi su terminale (spiegati nella pagina del progetto).
Più semplici sono programmi come Msty (gratuita per uso personale), Anything LLM (facile e che include dentro anche Ollama) e poi anche ConfyChat, gratuita e open source, più essenziale e semplice, solo da scaricare e avviare (su Windows, lanciare il file confichat.exe).

Essendo Ollama un'applicazione server, va da se che sia possibile accedere alla chat IA, per esempio quella di ConfyChat, anche tramite smartphone aprendo la pagina web indicata (di solito all'indirizzo 127.0.0.1:numeroporta), sempre che lo smartphone sia collegato alla stessa rete wifi del computer.


In questo modo, diventa facile avere una IA testuale come ChatGPT. Le soluzioni come LM Studio, anche se non open source, è molto efficiente, sopratutto su PC meno potenti. Ollama anche funziona benissimo sul mio PC, con 16 GB di RAM e una scheda video di qualche anno fa non sembra soffrire di lentezza.

BONUS: C'è anche un altro modo semplicissimo per installare un chatbot sul PC con uno dei modelli LLM liberi ed è quello di Opera Developer.
In questa speciale versione del browser Opera per sviluppatori, dopo averla installata sul PC, è possibile premere il tasto dell'IA Aria sulla barra laterale sinistra e poi cliccare sulla scritta in alto "Scegli il modello di IA Locale". Si potrà quindi scaricare uno o più modelli LLM, tra cui Llama, Mistral, Gemma e Qwen, ciascuno in diverse versioni e dimensioni.

Si può chattare con IA LLM su smartphone?

Si, ci sono alcune app per installare LLM in locale su Android, come Private AI o Chatllama o LM Playground, che scarica automaticamente i modelli più leggeri da utilizzare e provare.
Meglio si può fare su iPhone, grazie all'app MyOllama, al prezzo di 3 Euro.

LEGGI ANCHE: Crea e chatta con un Bot basato su IA che risponde come una persona reale