Comment faire l’installation de Open WebUI : une interface web open source pour l’exécution des LLS?
Introduction Open WebUI
Open WebUI est une interface web open source qui est très riche en fonctionnalités et conviviale, qui permet d’exécuter des modelés de langage de grande taille LLMs en utilisant Ollama et des API qui sont compatible à OpenAI.
On peu étendre Open WebUI avec divers modèles d’IA et plugins pour répondre aux divers besoins.
Dans cet article explique comment installer Ollama, Open WebUI et executer des LLMs sur une machine LXC sur Proxmox tout en configurant des certificats SSL pour sécuriser l’accès via un domaine sécurisé.
I- INSTALLATION de OLLAMA SUR UBUNTU 204.04
root@app:~# wget https://ollama.ai/install.sh
root@app:~# sh ./install.sh
>>> Downloading ollama... ######################################## >>> Installing ollama to /usr/local/bin... >>> Creating ollama user... >>> Adding ollama user to render group... >>> Adding ollama user to video group... >>> Adding current user to ollama group... >>> Creating ollama systemd service... >>> Enabling and starting ollama service... Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service. >>> The Ollama API is now available at 127.0.0.1:11434. >>> Install complete. Run "ollama" from the command line. WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.
# ollama service started
root@app:~# systemctl status ollama
* ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; preset: enabled)
Drop-In: /etc/systemd/system/ollama.service.d
+-- override.conf
Active: active (running) since Tue 2024-06-04 00:20:43 UTC; 20min ago
Main PID: 5292 (ollama)
Tasks: 13 (limit: 19050)
Memory: 566.6M (peak: 570.0M)
CPU: 5.258s
CGroup: /system.slice/ollama.service
# ollama listens port 11434 on localhost
root@app:~# ss -napt | grep ollama
LISTEN 0 4096 127.0.0.1:11434 0.0.0.0:* users:(("ollama",pid=645,fd=3))