Dockerfile

FROM ghcr.io/ggml-org/llama.cpp:server

EXPOSE 7860

ENTRYPOINT ["/app/llama-server"]

CMD ["--host", "0.0.0.0", "--port", "7860", "--hf-repo", "XHToken/Spark-X2.5-1.7B-GGUF:Q8_0", "--alias", "spark-x2.5-1.7b", "--ctx-size", "32768", "--parallel", "1", "--threads", "2", "--threads-batch", "2", "--batch-size", "512", "--ubatch-size", "256", "--cache-type-k", "q8_0", "--cache-type-v", "q8_0", "--flash-attn", "auto", "--cont-batching", "--metrics"]