Nel mio laboratorio ho implementato una piattaforma AI locale composta da:
- Ollama per eseguire modelli LLM localmente
- Qdrant come vector database per gli embeddings
- OpenWebUI come interfaccia utente
- Kubernetes per l’orchestrazione dei servizi
- I modelli utilizzati includono Qwen2.5 e nomic‑embed‑text
Vector database e embeddings
Quando documenti o knowledge base vengono caricati nel sistema, il modello di embedding trasforma il testo in vettori numerici.
Questi vettori vengono salvati in Qdrant e permettono ricerche semantiche molto veloci all’interno dei dati aziendali.
Retrieval Augmented Generation
Quando l’utente pone una domanda:
- Il sistema cerca documenti rilevanti nel vector database
- I documenti vengono inseriti nel contesto
- Il modello genera la risposta
Questo approccio è noto come RAG (Retrieval Augmented Generation) e permette di utilizzare modelli generici su conoscenza aziendale specifica.
Questa architettura dimostra come sia possibile costruire sistemi di intelligenza artificiale avanzati mantenendo il controllo completo dei propri dati.
LLM, vector database e RAG permettono di sfruttare la potenza dei modelli generativi senza dover spostare informazioni sensibili fuori dal dominio aziendale.
In questo scenario l’AI non è più solo uno strumento potente, ma un’infrastruttura che può essere progettata secondo i principi di sicurezza, integrazione e sovranità del dato.
Ed è proprio qui che architetture aperte e protocolli come MCP diventano fondamentali: non solo per collegare modelli e dati, ma per farlo senza rinunciare al controllo di ciò che rappresenta il vero valore dell’azienda — le sue informazioni.