Update app.py

app.py

@@ -1,6 +1,6 @@
-# --- 🔱 वेदिका 3.5 फ्लैश: भारत का अपना शक्तिशाली 2B AI ---
+# --- 🔱 वेदिका 3.5 फ्लैश: भारत का अपना 2B AI (Super Fast Version) ---
 # रचयिता एवं मार्गदर्शक: दिव्य पटेल जी | भारत 🇮🇳
-# पैरामीटर्स: 2 Billion (2B) | विशेषता: Ultra-Fast, RAM Safe, Gradio 6.0+ Compatible
+# विशेषता: Ultra-Fast (bfloat16), Memory Safe, No Crash on 2nd Question
 
 import gradio as gr
 import torch
@@ -8,73 +8,76 @@ from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStream
 from threading import Thread
 import os
 
-print("🔱 भारत का अजेय AI 'वेदिका 3.5 फ्लैश' जागृत हो रहा है...")
+print("🔱 भारत का अजेय AI 'वेदिका 3.5 फ्लैश' सुपर-फास्ट मोड में जागृत हो रहा है...")
 
-# 🛡️ CPU को सुरक्षित रखने का मंत्र
-os.environ["OMP_NUM_THREADS"] = "4"
-torch.set_num_threads(4)
+# 🛡️ मुफ़्त सर्वर (2 vCPU) के लिए CPU को पूर्णतः अनुकूलित (Optimize) करना
+os.environ["OMP_NUM_THREADS"] = "2"
+torch.set_num_threads(2)
 
 # 🚀 दिव्य जी का अपना स्वदेशी 2B मॉडल
 MODEL_ID = "pateltraders55455/Vedika-3.5-flash"
 
 try:
-    print(f"🔱 '{MODEL_ID}' (2 Billion Parameters) लोड किया जा रहा है...")
+    print(f"🔱 '{MODEL_ID}' (2B) लोड किया जा रहा है...")
     
     tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_code=True)
+    
+    # ⚡ ब्रह्मास्त्र 1: bfloat16 का उपयोग करके गति को दोगुना करना
     model = AutoModelForCausalLM.from_pretrained(
         MODEL_ID,
-        device_map="cpu",               # CPU पर चलेगा
-        torch_dtype=torch.float32,      # सुरक्षित डेटा प्रकार
-        low_cpu_mem_usage=True,         # रैम बचाने की तकनीक
+        device_map="cpu",
+        torch_dtype=torch.bfloat16,     # गति बढ़ाने के लिए हल्का डेटा प्रकार
+        low_cpu_mem_usage=True,         # रैम की भारी बचत
         trust_remote_code=True
     )
-    print("🔱 विजय! 'वेदिका 3.5 फ्लैश' 16GB रैम में सफलतापूर्वक स्थापित हो गया है!")
+    print("🔱 विजय! 'वेदिका 3.5 फ्लैश' सुपर-फास्ट गति के साथ स्थापित हो गया है!")
     
 except Exception as e:
-    print(f"🔱 मॉडल लोडिंग में त्रुटि (कृपया सुनिश्चित करें कि मॉडल रिपॉजिटरी में फाइलें मौजूद हैं): {e}")
+    print(f"🔱 मॉडल लोडिंग में त्रुटि: {e}")
     model, tokenizer = None, None
 
 def generate_vedika_magic(message, history):
-    """वेदिका 3.5 फ्लैश का तीव्र गति (Flash Speed) वाला इंजन"""
+    """वेदिका 3.5 फ्लैश का क्रैश-फ्री और तीव्र इंजन"""
     
     if model is None or tokenizer is None:
         yield "🔱 सिस्टम त्रुटि: मॉडल लोड नहीं हो सका। कृपया अपनी रिपॉजिटरी की जाँच करें।"
         return
 
-    # वेदिका के लिए कड़े निर्देश
+    # 🛡️ ब्रह्मास्त्र 2: स्मार्ट मेमोरी लिमिट (एरर से बचाने के लिए)
+    # यह केवल पिछले 2 सवालों को याद रखेगा, ताकि CPU कभी ओवरलोड न हो और क्रैश न करे!
+    recent_history = history[-2:] if len(history) > 2 else history
+
     messages = [
         {"role": "system", "content": "You are 'Vedika 3.5 Flash', an ultra-fast, 2 Billion parameter AI model created entirely by Divy Patel in Bharat (India). Always be highly intelligent, respectful, and proud of your Indian origin."},
     ]
     
-    # इतिहास (History) जोड़ना
-    for user_msg, ai_msg in history:
+    # सीमित इतिहास (History) जोड़ना
+    for user_msg, ai_msg in recent_history:
         messages.append({"role": "user", "content": user_msg})
         messages.append({"role": "assistant", "content": ai_msg})
         
     messages.append({"role": "user", "content": message})
 
     try:
-        # प्रॉम्प्ट को तैयार करना
         text_prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
         inputs = tokenizer([text_prompt], return_tensors="pt").to(model.device)
 
-        # लाइव स्ट्रीमिंग (Live Streaming) अस्त्र
         streamer = TextIteratorStreamer(tokenizer, timeout=60.0, skip_prompt=True, skip_special_tokens=True)
         
+        # ⚡ गति बढ़ाने के लिए जनरेशन सेटिंग्स
         generate_kwargs = dict(
             **inputs,
             streamer=streamer,
-            max_new_tokens=1024,
+            max_new_tokens=512,  # गति बनाए रखने के लिए सीमा
             temperature=0.7,
             top_p=0.9,
-            do_sample=True
+            do_sample=True,
+            use_cache=True       # ⚡ ब्रह्मास्त्र 3: कैशिंग से स्पीड बढ़ाना
         )
 
-        # जनरेशन को बैकग्राउंड में शुरू करना
         t = Thread(target=model.generate, kwargs=generate_kwargs)
         t.start()
 
-        # एक-एक शब्द को यूज़र तक पहुँचाना
         accumulated_text = ""
         for new_token in streamer:
             accumulated_text += new_token
@@ -84,14 +87,13 @@ def generate_vedika_magic(message, history):
         yield f"🔱 प्रसंस्करण त्रुटि: {str(e)}"
 
 # ============================================================================
-# 🔱 वेदिका 3.5 फ्लैश का भव्य और आधुनिक यूआई (Gradio ChatInterface)
+# 🔱 वेदिका 3.5 फ्लैश का शुद्ध यूआई (कोई अतिरिक्त आर्गुमेंट नहीं)
 # ============================================================================
-# अजेय सुधार: यहाँ से 'theme' वाले आर्गुमेंट को हटा दिया गया है ताकि कोई एरर न आए।
 
 demo = gr.ChatInterface(
     fn=generate_vedika_magic,
-    title="🔱 Vedika 3.5 Flash (2B)",
-    description="**Pioneered by Divy Patel | Bharat 🇮🇳**<br>यह भारत का अपना स्वदेशी 2 बिलियन पैरामीटर वाला AI मॉडल है, जो असीम तीव्र (Flash) और सुरक्षित है।",
+    title="🔱 Vedika 3.5 Flash (Super Fast)",
+    description="**Pioneered by Divy Patel | Bharat 🇮🇳**<br>यह भारत का अपना स्वदेशी 2 बिलियन पैरामीटर वाला AI मॉडल है (गति और सुरक्षा के लिए अनुकूलित)।",
     textbox=gr.Textbox(placeholder="वेदिका 3.5 फ्लैश से कुछ भी पूछें..."),
     concurrency_limit=1
 )