Files changed (1) hide show
  1. run.sh +10 -2
run.sh CHANGED
@@ -1,5 +1,13 @@
1
  #!/bin/bash
2
-
 
 
 
 
 
 
 
 
3
  # تحديد مسارات المخزن الدائم (في مساحات HF عادة يكون /data)
4
  MODELS_DIR="/data/models"
5
  MODEL_FILE="gemma-4-E2B-it-UD-Q5_K_XL.gguf"
@@ -39,7 +47,7 @@ cat <<EOF > $MODELS_DIR/Modelfile
39
  FROM $MODELS_DIR/$MODEL_FILE
40
 
41
  # إعدادات مشابهة لما طلبته في llama.cpp
42
- PARAMETER num_ctx 128000
43
  PARAMETER num_thread 2
44
  EOF
45
 
 
1
  #!/bin/bash
2
+ # تأكد من تحميل النموذج الخاص بك هنا (إذا لم يكن محملاً مسبقاً في /data)
3
+ # huggingface-cli download ...
4
+
5
+ # تشغيل خادم llama-cpp المتوافق تماماً مع واجهات المحادثة (OpenAI Compatible API)
6
+ python3 -m llama_cpp.server \
7
+ --model /data/models/your-model-name.gguf \
8
+ --host 0.0.0.0 \
9
+ --port 7860 \
10
+ --n_ctx 4096 \
11
  # تحديد مسارات المخزن الدائم (في مساحات HF عادة يكون /data)
12
  MODELS_DIR="/data/models"
13
  MODEL_FILE="gemma-4-E2B-it-UD-Q5_K_XL.gguf"
 
47
  FROM $MODELS_DIR/$MODEL_FILE
48
 
49
  # إعدادات مشابهة لما طلبته في llama.cpp
50
+ PARAMETER num_ctx 8162
51
  PARAMETER num_thread 2
52
  EOF
53