Update Ollama authored by FEDERICO MUNOZ ROJAS's avatar FEDERICO MUNOZ ROJAS
...@@ -4,6 +4,7 @@ title: Ollama ...@@ -4,6 +4,7 @@ title: Ollama
Se puede ejecutar Ollama en el cluster por medio de contenedores de _Singularity_. A continuación se muestra un ejemplo de _script_ de cola para ejecutar Ollama: Se puede ejecutar Ollama en el cluster por medio de contenedores de _Singularity_. A continuación se muestra un ejemplo de _script_ de cola para ejecutar Ollama:
``` ```
...@@ -49,16 +50,13 @@ module add singularity ...@@ -49,16 +50,13 @@ module add singularity
SIF_DIR=/opt/ohpc/pub/containers/IA SIF_DIR=/opt/ohpc/pub/containers/IA
singularity instance start --nv $SIF_DIR/ollama.sif ollama.instance ollama serve singularity instance start --nv $SIF_DIR/ollama.sif ollama.instance ollama serve
singularity exec instance://ollama.instance ollama serve& singularity exec instance://ollama.instance ollama serve&
curl http://localhost:11434/api/chat -d '{ curl http://localhost:11434/api/chat -d '{
"model": "llama3.3", "model": "llama3.3",
"messages": [ { "role": "user", "messages": [ { "role": "user",
"content": "why is the sky blue?" } ], "content": "why is the sky blue?" } ],
"stream": false "stream": false }'
}'
``` ```