Update run.sh
Browse files
run.sh
CHANGED
|
@@ -2,7 +2,7 @@
|
|
| 2 |
set -e
|
| 3 |
|
| 4 |
# ===================================================================
|
| 5 |
-
# إعدادات المسارات
|
| 6 |
# ===================================================================
|
| 7 |
MODELS_DIR="/data/models"
|
| 8 |
MODEL_FILE="gemma-4-E2B-it-UD-Q5_K_XL.gguf"
|
|
@@ -17,13 +17,12 @@ mkdir -p /data/webui
|
|
| 17 |
|
| 18 |
# ===================================================================
|
| 19 |
# تحميل النموذج من Hugging Face (إن لم يكن موجوداً)
|
| 20 |
-
#
|
| 21 |
# ===================================================================
|
| 22 |
if [ ! -f "$MODELS_DIR/$MODEL_FILE" ]; then
|
| 23 |
echo ">>> النموذج غير موجود، جارٍ التحميل من Hugging Face..."
|
| 24 |
hf download gijl/gemma-4-E2B-it-GGUF "$MODEL_FILE" \
|
| 25 |
-
--local-dir "$MODELS_DIR"
|
| 26 |
-
--local-dir-use-symlinks False
|
| 27 |
echo ">>> تم تحميل النموذج بنجاح."
|
| 28 |
else
|
| 29 |
echo ">>> النموذج موجود مسبقاً، تخطي التحميل."
|
|
@@ -33,8 +32,7 @@ fi
|
|
| 33 |
if [ ! -f "$MODELS_DIR/$MMPROJ_FILE" ]; then
|
| 34 |
echo ">>> تحميل ملف الرؤية (mmproj)..."
|
| 35 |
hf download gijl/gemma-4-E2B-it-GGUF "$MMPROJ_FILE" \
|
| 36 |
-
--local-dir "$MODELS_DIR"
|
| 37 |
-
--local-dir-use-symlinks False
|
| 38 |
echo ">>> تم تحميل ملف الرؤية بنجاح."
|
| 39 |
else
|
| 40 |
echo ">>> ملف الرؤية موجود مسبقاً، تخطي التحميل."
|
|
@@ -42,17 +40,6 @@ fi
|
|
| 42 |
|
| 43 |
# ===================================================================
|
| 44 |
# تشغيل خادم llama.cpp
|
| 45 |
-
#
|
| 46 |
-
# مزايا على Ollama:
|
| 47 |
-
# - بلا daemon ثقيل في الخلفية
|
| 48 |
-
# - يقرأ ملف GGUF مباشرة (بدون نسخ أو blobs)
|
| 49 |
-
# - يستخدم mmap لتعيين الملف في الذاكرة (توفير RAM)
|
| 50 |
-
# - يدعم OpenAI API مباشرة
|
| 51 |
-
#
|
| 52 |
-
# خيارات الذاكرة:
|
| 53 |
-
# --use_mmap true : يعيّن الملف في الذاكرة بدلاً من تحميله كاملاً
|
| 54 |
-
# --use_mlock false : يسمح للنظام بتبادل الصفحات (swap) عند الضغط
|
| 55 |
-
# --flash_attn true : يقلل استهلاك ذاكرة الـ attention
|
| 56 |
# ===================================================================
|
| 57 |
echo ">>> تشغيل خادم llama.cpp على المنفذ $LLAMA_PORT..."
|
| 58 |
python3 -m llama_cpp.server \
|
|
|
|
| 2 |
set -e
|
| 3 |
|
| 4 |
# ===================================================================
|
| 5 |
+
# إعدادات المسارات
|
| 6 |
# ===================================================================
|
| 7 |
MODELS_DIR="/data/models"
|
| 8 |
MODEL_FILE="gemma-4-E2B-it-UD-Q5_K_XL.gguf"
|
|
|
|
| 17 |
|
| 18 |
# ===================================================================
|
| 19 |
# تحميل النموذج من Hugging Face (إن لم يكن موجوداً)
|
| 20 |
+
# --local-dir-use-symlinks أُزيل من CLI الجديد، نستخدم --local-dir فقط
|
| 21 |
# ===================================================================
|
| 22 |
if [ ! -f "$MODELS_DIR/$MODEL_FILE" ]; then
|
| 23 |
echo ">>> النموذج غير موجود، جارٍ التحميل من Hugging Face..."
|
| 24 |
hf download gijl/gemma-4-E2B-it-GGUF "$MODEL_FILE" \
|
| 25 |
+
--local-dir "$MODELS_DIR"
|
|
|
|
| 26 |
echo ">>> تم تحميل النموذج بنجاح."
|
| 27 |
else
|
| 28 |
echo ">>> النموذج موجود مسبقاً، تخطي التحميل."
|
|
|
|
| 32 |
if [ ! -f "$MODELS_DIR/$MMPROJ_FILE" ]; then
|
| 33 |
echo ">>> تحميل ملف الرؤية (mmproj)..."
|
| 34 |
hf download gijl/gemma-4-E2B-it-GGUF "$MMPROJ_FILE" \
|
| 35 |
+
--local-dir "$MODELS_DIR"
|
|
|
|
| 36 |
echo ">>> تم تحميل ملف الرؤية بنجاح."
|
| 37 |
else
|
| 38 |
echo ">>> ملف الرؤية موجود مسبقاً، تخطي التحميل."
|
|
|
|
| 40 |
|
| 41 |
# ===================================================================
|
| 42 |
# تشغيل خادم llama.cpp
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 43 |
# ===================================================================
|
| 44 |
echo ">>> تشغيل خادم llama.cpp على المنفذ $LLAMA_PORT..."
|
| 45 |
python3 -m llama_cpp.server \
|