Запуск модели через llama-server

[ya]

llama-server -m путь_к_файлу_модели.gguf --flash-attn on --ngpu-layers 999 -c 16000 -b 512 -ub 512 -t 16 --threads-bathch 16 --jinja --host 0.0.0.0 --port 8001

[ya]

Qwen 3.5 4B
bash

Код: Выделить всё

llama-server \
  -m "Qwen3.5-4B-Q4_K_M.gguf" \
  --flash-attn on \
  --n-gpu-layers 999 \
  -c 160000 \
  -b 512 \
  -ub 512 \
  -t 16 \
  --threads-batch 16 \
  --jinja \
  --host 0.0.0.0 \
  --port 8001

[ya]

параметр для запуска режима сис.админа

Код: Выделить всё

--yolo