Nel deployment Kubernetes, Open WebUI deve conoscere:
- endpoint Ollama
- endpoint Qdrant
- modello di embeddings
Nel nostro laboratorio la configurazione è definita tramite variabili d’ambiente:
- OLLAMA_BASE_URL=http://ollama:11434
- VECTOR_DB=qdrant
- QDRANT_URI=http://qdrant:6333
- RAG_EMBEDDING_ENGINE=ollama
- RAG_EMBEDDING_MODEL=nomic-embed-text:latest
Possiamo verificarle direttamente nel deployment:
- kubectl -n ai exec deploy/open-webui — printenv | grep QDRANT
Output:
- QDRANT_URI=http://qdrant:6333
In questo modo Open WebUI utilizza automaticamente Qdrant come database vettoriale.