plo2

Running

gijl commited on 12 days ago

Commit

85b3bb3

verified ·

1 Parent(s): a73b6b4

Update run.sh

Files changed (1) hide show

run.sh CHANGED Viewed

@@ -15,7 +15,7 @@ echo "Starting Ollama server..."
 OLLAMA_MODELS=/data/ollama ollama serve &
 # الانتظار بضع ثوانٍ للتأكد من أن Ollama يعمل ومستعد لتلقي الطلبات
-sleep 0.1
 # التحقق من وجود النموذج في المخزن؛ إذا لم يكن موجوداً، قم بتنزيله
 if [ ! -f "$MODELS_DIR/$MODEL_FILE" ]; then
@@ -39,8 +39,8 @@ cat <<EOF > $MODELS_DIR/Modelfile
 FROM $MODELS_DIR/$MODEL_FILE
 # إعدادات مشابهة لما طلبته في llama.cpp
-PARAMETER num_ctx 128000
-PARAMETER num_thread 2
 EOF
 # تسجيل النموذج داخل Ollama

 OLLAMA_MODELS=/data/ollama ollama serve &
 # الانتظار بضع ثوانٍ للتأكد من أن Ollama يعمل ومستعد لتلقي الطلبات
+sleep 0
 # التحقق من وجود النموذج في المخزن؛ إذا لم يكن موجوداً، قم بتنزيله
 if [ ! -f "$MODELS_DIR/$MODEL_FILE" ]; then
 FROM $MODELS_DIR/$MODEL_FILE
 # إعدادات مشابهة لما طلبته في llama.cpp
+PARAMETER num_ctx 12800
+PARAMETER num_thread 4
 EOF
 # تسجيل النموذج داخل Ollama