Update run.sh
Browse files
run.sh
CHANGED
|
@@ -17,11 +17,11 @@ mkdir -p /data/webui
|
|
| 17 |
|
| 18 |
# ===================================================================
|
| 19 |
# تحميل النموذج من Hugging Face (إن لم يكن موجوداً)
|
| 20 |
-
#
|
| 21 |
# ===================================================================
|
| 22 |
if [ ! -f "$MODELS_DIR/$MODEL_FILE" ]; then
|
| 23 |
echo ">>> النموذج غير موجود، جارٍ التحميل من Hugging Face..."
|
| 24 |
-
|
| 25 |
--local-dir "$MODELS_DIR" \
|
| 26 |
--local-dir-use-symlinks False
|
| 27 |
echo ">>> تم تحميل النموذج بنجاح."
|
|
@@ -32,9 +32,12 @@ fi
|
|
| 32 |
# تحميل ملف الرؤية (mmproj) إن لم يكن موجوداً
|
| 33 |
if [ ! -f "$MODELS_DIR/$MMPROJ_FILE" ]; then
|
| 34 |
echo ">>> تحميل ملف الرؤية (mmproj)..."
|
| 35 |
-
|
| 36 |
--local-dir "$MODELS_DIR" \
|
| 37 |
--local-dir-use-symlinks False
|
|
|
|
|
|
|
|
|
|
| 38 |
fi
|
| 39 |
|
| 40 |
# ===================================================================
|
|
@@ -47,24 +50,24 @@ fi
|
|
| 47 |
# - يدعم OpenAI API مباشرة
|
| 48 |
#
|
| 49 |
# خيارات الذاكرة:
|
| 50 |
-
# --
|
| 51 |
-
# --
|
| 52 |
-
# --
|
| 53 |
# ===================================================================
|
| 54 |
echo ">>> تشغيل خادم llama.cpp على المنفذ $LLAMA_PORT..."
|
| 55 |
python3 -m llama_cpp.server \
|
| 56 |
-
--model
|
| 57 |
--clip_model_path "$MODELS_DIR/$MMPROJ_FILE" \
|
| 58 |
-
--host
|
| 59 |
-
--port
|
| 60 |
-
--n_ctx
|
| 61 |
-
--n_threads
|
| 62 |
-
--n_gpu_layers
|
| 63 |
-
--chat_format
|
| 64 |
-
--flash_attn
|
| 65 |
-
--use_mmap
|
| 66 |
-
--use_mlock
|
| 67 |
-
--verbose
|
| 68 |
|
| 69 |
LLAMA_PID=$!
|
| 70 |
echo ">>> PID خادم llama.cpp: $LLAMA_PID"
|
|
@@ -101,4 +104,4 @@ export HOST=0.0.0.0
|
|
| 101 |
# ===================================================================
|
| 102 |
echo ">>> تشغيل Open WebUI..."
|
| 103 |
cd /app/backend
|
| 104 |
-
exec bash start.sh
|
|
|
|
| 17 |
|
| 18 |
# ===================================================================
|
| 19 |
# تحميل النموذج من Hugging Face (إن لم يكن موجوداً)
|
| 20 |
+
# huggingface-cli أصبح deprecated — نستخدم "hf" الجديد
|
| 21 |
# ===================================================================
|
| 22 |
if [ ! -f "$MODELS_DIR/$MODEL_FILE" ]; then
|
| 23 |
echo ">>> النموذج غير موجود، جارٍ التحميل من Hugging Face..."
|
| 24 |
+
hf download gijl/gemma-4-E2B-it-GGUF "$MODEL_FILE" \
|
| 25 |
--local-dir "$MODELS_DIR" \
|
| 26 |
--local-dir-use-symlinks False
|
| 27 |
echo ">>> تم تحميل النموذج بنجاح."
|
|
|
|
| 32 |
# تحميل ملف الرؤية (mmproj) إن لم يكن موجوداً
|
| 33 |
if [ ! -f "$MODELS_DIR/$MMPROJ_FILE" ]; then
|
| 34 |
echo ">>> تحميل ملف الرؤية (mmproj)..."
|
| 35 |
+
hf download gijl/gemma-4-E2B-it-GGUF "$MMPROJ_FILE" \
|
| 36 |
--local-dir "$MODELS_DIR" \
|
| 37 |
--local-dir-use-symlinks False
|
| 38 |
+
echo ">>> تم تحميل ملف الرؤية بنجاح."
|
| 39 |
+
else
|
| 40 |
+
echo ">>> ملف الرؤية موجود مسبقاً، تخطي التحميل."
|
| 41 |
fi
|
| 42 |
|
| 43 |
# ===================================================================
|
|
|
|
| 50 |
# - يدعم OpenAI API مباشرة
|
| 51 |
#
|
| 52 |
# خيارات الذاكرة:
|
| 53 |
+
# --use_mmap true : يعيّن الملف في الذاكرة بدلاً من تحميله كاملاً
|
| 54 |
+
# --use_mlock false : يسمح للنظام بتبادل الصفحات (swap) عند الضغط
|
| 55 |
+
# --flash_attn true : يقلل استهلاك ذاكرة الـ attention
|
| 56 |
# ===================================================================
|
| 57 |
echo ">>> تشغيل خادم llama.cpp على المنفذ $LLAMA_PORT..."
|
| 58 |
python3 -m llama_cpp.server \
|
| 59 |
+
--model "$MODELS_DIR/$MODEL_FILE" \
|
| 60 |
--clip_model_path "$MODELS_DIR/$MMPROJ_FILE" \
|
| 61 |
+
--host 0.0.0.0 \
|
| 62 |
+
--port $LLAMA_PORT \
|
| 63 |
+
--n_ctx 8192 \
|
| 64 |
+
--n_threads 2 \
|
| 65 |
+
--n_gpu_layers 0 \
|
| 66 |
+
--chat_format gemma \
|
| 67 |
+
--flash_attn true \
|
| 68 |
+
--use_mmap true \
|
| 69 |
+
--use_mlock false \
|
| 70 |
+
--verbose false &
|
| 71 |
|
| 72 |
LLAMA_PID=$!
|
| 73 |
echo ">>> PID خادم llama.cpp: $LLAMA_PID"
|
|
|
|
| 104 |
# ===================================================================
|
| 105 |
echo ">>> تشغيل Open WebUI..."
|
| 106 |
cd /app/backend
|
| 107 |
+
exec bash start.sh
|