Dockerfile

FROM ghcr.io/ggml-org/llama.cpp:server

EXPOSE 7860

ENTRYPOINT ["/app/llama-server"]

CMD [
  "--host", "0.0.0.0",
  "--port", "7860",

  "--hf-repo", "XHToken/Spark-X2.5-1.7B-GGUF:Q8_0",
  "--alias", "spark-x2.5-1.7b",

  "--ctx-size", "32768",
  "--parallel", "1",

  "--threads", "2",
  "--threads-batch", "2",
  "--batch-size", "512",
  "--ubatch-size", "256",

  "--cache-type-k", "q8_0",
  "--cache-type-v", "q8_0",

  "--flash-attn", "auto",
  "--cont-batching",
  "--metrics",
  "--no-webui"
]