gijl commited on
Commit
114c977
·
verified ·
1 Parent(s): c2805ad

Update run.sh

Browse files
Files changed (1) hide show
  1. run.sh +21 -18
run.sh CHANGED
@@ -17,11 +17,11 @@ mkdir -p /data/webui
17
 
18
  # ===================================================================
19
  # تحميل النموذج من Hugging Face (إن لم يكن موجوداً)
20
- # نحفظه مباشرة في /data/models بدون نسخ إضافية
21
  # ===================================================================
22
  if [ ! -f "$MODELS_DIR/$MODEL_FILE" ]; then
23
  echo ">>> النموذج غير موجود، جارٍ التحميل من Hugging Face..."
24
- huggingface-cli download gijl/gemma-4-E2B-it-GGUF "$MODEL_FILE" \
25
  --local-dir "$MODELS_DIR" \
26
  --local-dir-use-symlinks False
27
  echo ">>> تم تحميل النموذج بنجاح."
@@ -32,9 +32,12 @@ fi
32
  # تحميل ملف الرؤية (mmproj) إن لم يكن موجوداً
33
  if [ ! -f "$MODELS_DIR/$MMPROJ_FILE" ]; then
34
  echo ">>> تحميل ملف الرؤية (mmproj)..."
35
- huggingface-cli download gijl/gemma-4-E2B-it-GGUF "$MMPROJ_FILE" \
36
  --local-dir "$MODELS_DIR" \
37
  --local-dir-use-symlinks False
 
 
 
38
  fi
39
 
40
  # ===================================================================
@@ -47,24 +50,24 @@ fi
47
  # - يدعم OpenAI API مباشرة
48
  #
49
  # خيارات الذاكرة:
50
- # --mmap : يعيّن الملف في الذاكرة بدلاً من تحميله كاملاً (افتراضي)
51
- # --no-mlock : يسمح للنظام بتبادل الصفحات (swap) عند الضغط
52
- # --flash-attn : يقلل استهلاك ذاكرة الـ attention
53
  # ===================================================================
54
  echo ">>> تشغيل خادم llama.cpp على المنفذ $LLAMA_PORT..."
55
  python3 -m llama_cpp.server \
56
- --model "$MODELS_DIR/$MODEL_FILE" \
57
  --clip_model_path "$MODELS_DIR/$MMPROJ_FILE" \
58
- --host 0.0.0.0 \
59
- --port $LLAMA_PORT \
60
- --n_ctx 8192 \
61
- --n_threads 2 \
62
- --n_gpu_layers 0 \
63
- --chat_format gemma \
64
- --flash_attn true \
65
- --use_mmap true \
66
- --use_mlock false \
67
- --verbose false &
68
 
69
  LLAMA_PID=$!
70
  echo ">>> PID خادم llama.cpp: $LLAMA_PID"
@@ -101,4 +104,4 @@ export HOST=0.0.0.0
101
  # ===================================================================
102
  echo ">>> تشغيل Open WebUI..."
103
  cd /app/backend
104
- exec bash start.sh
 
17
 
18
  # ===================================================================
19
  # تحميل النموذج من Hugging Face (إن لم يكن موجوداً)
20
+ # huggingface-cli أصبح deprecated نستخدم "hf" الجديد
21
  # ===================================================================
22
  if [ ! -f "$MODELS_DIR/$MODEL_FILE" ]; then
23
  echo ">>> النموذج غير موجود، جارٍ التحميل من Hugging Face..."
24
+ hf download gijl/gemma-4-E2B-it-GGUF "$MODEL_FILE" \
25
  --local-dir "$MODELS_DIR" \
26
  --local-dir-use-symlinks False
27
  echo ">>> تم تحميل النموذج بنجاح."
 
32
  # تحميل ملف الرؤية (mmproj) إن لم يكن موجوداً
33
  if [ ! -f "$MODELS_DIR/$MMPROJ_FILE" ]; then
34
  echo ">>> تحميل ملف الرؤية (mmproj)..."
35
+ hf download gijl/gemma-4-E2B-it-GGUF "$MMPROJ_FILE" \
36
  --local-dir "$MODELS_DIR" \
37
  --local-dir-use-symlinks False
38
+ echo ">>> تم تحميل ملف الرؤية بنجاح."
39
+ else
40
+ echo ">>> ملف الرؤية موجود مسبقاً، تخطي التحميل."
41
  fi
42
 
43
  # ===================================================================
 
50
  # - يدعم OpenAI API مباشرة
51
  #
52
  # خيارات الذاكرة:
53
+ # --use_mmap true : يعيّن الملف في الذاكرة بدلاً من تحميله كاملاً
54
+ # --use_mlock false : يسمح للنظام بتبادل الصفحات (swap) عند الضغط
55
+ # --flash_attn true : يقلل استهلاك ذاكرة الـ attention
56
  # ===================================================================
57
  echo ">>> تشغيل خادم llama.cpp على المنفذ $LLAMA_PORT..."
58
  python3 -m llama_cpp.server \
59
+ --model "$MODELS_DIR/$MODEL_FILE" \
60
  --clip_model_path "$MODELS_DIR/$MMPROJ_FILE" \
61
+ --host 0.0.0.0 \
62
+ --port $LLAMA_PORT \
63
+ --n_ctx 8192 \
64
+ --n_threads 2 \
65
+ --n_gpu_layers 0 \
66
+ --chat_format gemma \
67
+ --flash_attn true \
68
+ --use_mmap true \
69
+ --use_mlock false \
70
+ --verbose false &
71
 
72
  LLAMA_PID=$!
73
  echo ">>> PID خادم llama.cpp: $LLAMA_PID"
 
104
  # ===================================================================
105
  echo ">>> تشغيل Open WebUI..."
106
  cd /app/backend
107
+ exec bash start.sh