Update Ollama authored by FEDERICO MUNOZ ROJAS's avatar FEDERICO MUNOZ ROJAS
......@@ -11,6 +11,7 @@ title: Ollama
## Instalación de Ollama con mamba
Una vez instalado [https://git.ucr.ac.cr/hpc/scripts-instalacion/-/blob/main/miniforge3_install.sh](Miniforge3) se procede a instalar Ollama en un ambiente de conda:
......@@ -60,21 +61,9 @@ srun -p gpu -G 1 --pty bash -l
```
Una vez adentro del nodo gpu tiene que proceder a ejecutar los siguientes comandos:
```
module purge
module add nvhpc gnu
module add singularity
SIF_DIR=/opt/ohpc/pub/containers/IA
export OLLAMA_MODELS="/path/to/models"
singularity instance start --nv $SIF_DIR/ollama.sif ollama.instance
singularity exec instance://ollama.instance ollama serve&
curl http://localhost:11434/api/chat -d '{
"model": "llama3.2",
"messages": [{ "role": "user",
"content": "why is the sky blue?" }],
"stream": false
}'
mamba activate
ollama serve&
ollama run llama3.2 "Explain IA"
```