Spaces:
Build error
Build error
Update run.sh
Browse files
run.sh
CHANGED
|
@@ -1,5 +1,13 @@
|
|
| 1 |
#!/bin/bash
|
| 2 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 3 |
# تحديد مسارات المخزن الدائم (في مساحات HF عادة يكون /data)
|
| 4 |
MODELS_DIR="/data/models"
|
| 5 |
MODEL_FILE="gemma-4-E2B-it-UD-Q5_K_XL.gguf"
|
|
@@ -39,7 +47,7 @@ cat <<EOF > $MODELS_DIR/Modelfile
|
|
| 39 |
FROM $MODELS_DIR/$MODEL_FILE
|
| 40 |
|
| 41 |
# إعدادات مشابهة لما طلبته في llama.cpp
|
| 42 |
-
PARAMETER num_ctx
|
| 43 |
PARAMETER num_thread 2
|
| 44 |
EOF
|
| 45 |
|
|
|
|
| 1 |
#!/bin/bash
|
| 2 |
+
# تأكد من تحميل النموذج الخاص بك هنا (إذا لم يكن محملاً مسبقاً في /data)
|
| 3 |
+
# huggingface-cli download ...
|
| 4 |
+
|
| 5 |
+
# تشغيل خادم llama-cpp المتوافق تماماً مع واجهات المحادثة (OpenAI Compatible API)
|
| 6 |
+
python3 -m llama_cpp.server \
|
| 7 |
+
--model /data/models/your-model-name.gguf \
|
| 8 |
+
--host 0.0.0.0 \
|
| 9 |
+
--port 7860 \
|
| 10 |
+
--n_ctx 4096 \
|
| 11 |
# تحديد مسارات المخزن الدائم (في مساحات HF عادة يكون /data)
|
| 12 |
MODELS_DIR="/data/models"
|
| 13 |
MODEL_FILE="gemma-4-E2B-it-UD-Q5_K_XL.gguf"
|
|
|
|
| 47 |
FROM $MODELS_DIR/$MODEL_FILE
|
| 48 |
|
| 49 |
# إعدادات مشابهة لما طلبته في llama.cpp
|
| 50 |
+
PARAMETER num_ctx 8162
|
| 51 |
PARAMETER num_thread 2
|
| 52 |
EOF
|
| 53 |
|