Spaces:
Paused
Paused
Update Dockerfile
Browse files- Dockerfile +1 -23
Dockerfile
CHANGED
|
@@ -4,26 +4,4 @@ EXPOSE 7860
|
|
| 4 |
|
| 5 |
ENTRYPOINT ["/app/llama-server"]
|
| 6 |
|
| 7 |
-
CMD [
|
| 8 |
-
"--host", "0.0.0.0",
|
| 9 |
-
"--port", "7860",
|
| 10 |
-
|
| 11 |
-
"--hf-repo", "XHToken/Spark-X2.5-1.7B-GGUF:Q8_0",
|
| 12 |
-
"--alias", "spark-x2.5-1.7b",
|
| 13 |
-
|
| 14 |
-
"--ctx-size", "32768",
|
| 15 |
-
"--parallel", "1",
|
| 16 |
-
|
| 17 |
-
"--threads", "2",
|
| 18 |
-
"--threads-batch", "2",
|
| 19 |
-
"--batch-size", "512",
|
| 20 |
-
"--ubatch-size", "256",
|
| 21 |
-
|
| 22 |
-
"--cache-type-k", "q8_0",
|
| 23 |
-
"--cache-type-v", "q8_0",
|
| 24 |
-
|
| 25 |
-
"--flash-attn", "auto",
|
| 26 |
-
"--cont-batching",
|
| 27 |
-
"--metrics",
|
| 28 |
-
"--no-webui"
|
| 29 |
-
]
|
|
|
|
| 4 |
|
| 5 |
ENTRYPOINT ["/app/llama-server"]
|
| 6 |
|
| 7 |
+
CMD ["--host", "0.0.0.0", "--port", "7860", "--hf-repo", "XHToken/Spark-X2.5-1.7B-GGUF:Q8_0", "--alias", "spark-x2.5-1.7b", "--ctx-size", "32768", "--parallel", "1", "--threads", "2", "--threads-batch", "2", "--batch-size", "512", "--ubatch-size", "256", "--cache-type-k", "q8_0", "--cache-type-v", "q8_0", "--flash-attn", "auto", "--cont-batching", "--metrics"]
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|