md/ollama.md

@@ -12,6 +12,7 @@ title: Ollama
 
 
 
+
 ## Instalación de Ollama con mamba
 Una vez instalado [https://git.ucr.ac.cr/hpc/scripts-instalacion/-/blob/main/miniforge3_install.sh](Miniforge3) se procede a instalar Ollama en un ambiente de conda:
 
@@ -30,27 +31,14 @@ Se puede ejecutar Ollama en el cluster por medio de contenedores de _Singularity
 #SBATCH --time=1:00:00
 #SBATCH --nodes=1
 #SBATCH --gpus-per-node=1
-#SBATCH --ntasks-per-gpu=16
 #SBATCH --job-name="ollama-test"
 #SBATCH --output=test.out.%j
 #SBATCH --mail-user=<user>@ucr.ac.cr
 #SBATCH --mail-type=END,FAIL
 
-module purge
-module add nvhpc gnu
-module add singularity
-
-export OLLAMA_MODELS="/path/to/models"
-SIF_DIR=/opt/ohpc/pub/containers/IA
-
-singularity instance start --nv $SIF_DIR/ollama.sif ollama.instance
-singularity exec instance://ollama.instance ollama serve& 
-
-curl http://localhost:11434/api/generate -d '{
-   "model": "llama3.2",
-  "prompt": "Why is the sky blue?",
-  "stream": false
-}'
+source activate
+ollama serve &
+ollama run llama3.2 "Explain IA" | tee answer.txt
 ```
 
 ## Ollama interactivo