Update Ollama authored by FEDERICO MUNOZ ROJAS's avatar FEDERICO MUNOZ ROJAS
...@@ -12,6 +12,7 @@ title: Ollama ...@@ -12,6 +12,7 @@ title: Ollama
Se puede ejecutar Ollama en el cluster por medio de contenedores de _Singularity_. A continuación se muestra un ejemplo de _script_ de cola para ejecutar Ollama: Se puede ejecutar Ollama en el cluster por medio de contenedores de _Singularity_. A continuación se muestra un ejemplo de _script_ de cola para ejecutar Ollama:
``` ```
...@@ -33,7 +34,7 @@ module add singularity ...@@ -33,7 +34,7 @@ module add singularity
export OLLAMA_MODELS="/path/to/models" export OLLAMA_MODELS="/path/to/models"
SIF_DIR=/opt/ohpc/pub/containers/IA SIF_DIR=/opt/ohpc/pub/containers/IA
singularity instance start --nv $SIF_DIR/ollama.sif ollama.instance ollama serve singularity instance start --nv $SIF_DIR/ollama.sif ollama.instance
singularity exec instance://ollama.instance ollama serve& singularity exec instance://ollama.instance ollama serve&
curl http://localhost:11434/api/generate -d '{ curl http://localhost:11434/api/generate -d '{
...@@ -57,7 +58,7 @@ module add singularity ...@@ -57,7 +58,7 @@ module add singularity
SIF_DIR=/opt/ohpc/pub/containers/IA SIF_DIR=/opt/ohpc/pub/containers/IA
export OLLAMA_MODELS="/path/to/models" export OLLAMA_MODELS="/path/to/models"
singularity instance start --nv $SIF_DIR/ollama.sif ollama.instance ollama serve singularity instance start --nv $SIF_DIR/ollama.sif ollama.instance
singularity exec instance://ollama.instance ollama serve& singularity exec instance://ollama.instance ollama serve&
curl http://localhost:11434/api/chat -d '{ curl http://localhost:11434/api/chat -d '{
... ...
......