Gemma 4 12B en proxmox para tener tu ia de programación offline

En este post, voy a explicar como desplegar Gemma 4 12B en una máquina debian corriendo en proxmox con las ventajas que conlleva el usar el modelo localmente que son que  todo el código, capturas de pantalla o documentos privados no salen de tu ordenador. 

El primer paso, es crear una máquina con un SO linux. En mi ejemplo he usado una distro debian Trixie.

Desde la terminal, descargamos ollama

curl -fsSL https://ollama.com/install.sh | sh

Al no tener una gpu AMD/Nvidia en mi Mac PRO 5.1 me avisa el instalador que usará el modo CPU:

Validamos que esté bien instalado, con el siguiente comando que nos tiene que dar un número como 0.x.x

ollama --version

Ahora le decimos a ollama que descargue gemma4 con el siguiente comando

ollama run gemma4:12b

Ahora salimos de la consola de ollama y comprobamos que la api funciona para usarla en nuestro VScode

/bye
curl http://localhost:11434

Ahora debemos de permitir que ollama no sólo escuche en local, por ello modificaremos el servicio de nuestra máquina debian con el siguiente comando

systemctl edit ollama.service

y añadiremos las siguientes líneas al final del fichero

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

Guardamos los cambios, actualizamos la configuración del servicio y lo reiniciamos para que admita las conexiones remotas

sudo systemctl daemon-reload
sudo systemctl restart ollama

Ahora lanzamos un curl, para validar que responde la api desde otro ordenador

curl http://X.X.X.X:11434/api/tags

Ahora procedemos a instalar cualquier cliente que soporte endpoints. En este caso usaré Twinny con Visual Studio Code

Una vez lo tengas instalado vamos a configuarlo para que use Gemma de nuestro proxmox, para ello pulsamos en el icono de thinny y Manage twinny providers

Pulsamos en el símbolo de más

Y rellenamos los datos

• Etiqueta: Proxmox Gemma
• Proveedor: ollama
• Protocolo: http
• Nombre del Modelo: gemma4:12b
• Hostname: X.X.X.X (la ip de tu máquina)
• Puerto: 11434

Guardamos los cambios y ya nos aparecerá en el menú de proveedores.

A partir de ahora, ya podemos usar nuestra IA en local: