md/ollama.md

+---
+title: Ollama
+---
+Se puede ejecutar Ollama en el cluster por medio de contenedores de _Singularity_. A continuación se muestra un ejemplo de _script_ de cola para ejecutar Ollama:
+
+```
+#!/bin/bash
+#SBATCH --partition=gpu
+#SBATCH --time=1:00:00
+#SBATCH --nodes=1
+#SBATCH --gpus-per-node=1
+#SBATCH --ntasks-per-gpu=16
+#SBATCH --job-name="ollama-test"
+#SBATCH --output=test.out.%j
+#SBATCH --mail-user=<user>@ucr.ac.cr
+#SBATCH --mail-type=END,FAIL
+
+module purge
+module add nvhpc gnu
+module add singularity
+
+SIF_DIR=/opt/ohpc/pub/containers/IA
+
+singularity instance start --nv $SIF_DIR/ollama.sif ollama.instance ollama serve
+singularity instance list
+singularity exec instance://ollama.instance ollama serve&
+#singularity exec instance://ollama.instance ollama pull llama3.3
+singularity exec instance://ollama.instance \
+curl http://localhost:11434/api/generate -d \
+'{"model": "llama3.3", \
+"prompt":"por qué el cielo es azul?" , \
+"stream": false}'
+
+```