Spaces:
Running
Running
Update Dockerfile
Browse files- Dockerfile +14 -0
Dockerfile
CHANGED
|
@@ -25,5 +25,19 @@ CMD ["--server", \
|
|
| 25 |
"--port", "7860", \
|
| 26 |
"-t", "3", \
|
| 27 |
"--mlock", \
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 28 |
"-c", "64000", \
|
| 29 |
"-n", "38912"]
|
|
|
|
| 25 |
"--port", "7860", \
|
| 26 |
"-t", "3", \
|
| 27 |
"--mlock", \
|
| 28 |
+
"--prio", "3", \
|
| 29 |
+
"--swa-full", \
|
| 30 |
+
"--no-slots", \
|
| 31 |
+
"-ngl", "99", \
|
| 32 |
+
"--mmap", \
|
| 33 |
+
"--log-disable", \
|
| 34 |
+
"--no-cont-batching", \
|
| 35 |
+
"--threads-http", "1", \
|
| 36 |
+
"--tools", "all", \
|
| 37 |
+
"-ctv", "f32", \
|
| 38 |
+
"--direct-io", \
|
| 39 |
+
"--no-mmproj", \
|
| 40 |
+
"--no-repack", \
|
| 41 |
+
"--flash-attn", "off", \
|
| 42 |
"-c", "64000", \
|
| 43 |
"-n", "38912"]
|