Update app.py

app.py

@@ -1,127 +1,99 @@
-
-# --- 🔱 हनुमान विज़न: पूर्ण मल्टीमॉडल यूआई (Vision + Text) ---
-# मार्गदर्शक: दिव्य पटेल जी | भारत 🇮🇳
-# मॉडल: Qwen/Qwen2-VL-2B-Instruct
-# विशेषता: Live Chat, Image Upload, Text Input, CPU Optimized
+# --- 🔱 वेदिका 3.5 फ्लैश: भारत का अपना शक्तिशाली 2B AI ---
+# रचयिता एवं मार्गदर्शक: दिव्य पटेल जी | भारत 🇮🇳
+# पैरामीटर्स: 2 Billion (2B) | विशेषता: Ultra-Fast, RAM Safe
 
 import gradio as gr
 import torch
-from transformers import Qwen2VLForConditionalGeneration, AutoProcessor, TextIteratorStreamer
-from qwen_vl_utils import process_vision_info
+from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
 from threading import Thread
 import os
 
-print("🔱 हनुमान विज़न: मल्टीमॉडल सर्वर जागृत हो रहा है...")
+print("🔱 भारत का अजेय AI 'वेदिका 3.5 फ्लैश' जागृत हो रहा है...")
 
-# 🛡️ CPU/RAM को क्रैश होने से बचाने का महामंत्र
+# 🛡️ CPU को सुरक्षित रखने का मंत्र
 os.environ["OMP_NUM_THREADS"] = "4"
 torch.set_num_threads(4)
 
-# 🚀 विज़न मॉडल
-MODEL_ID = "Qwen/Qwen2-VL-2B-Instruct"
+# 🚀 दिव्य जी का अपना स्वदेशी 2B मॉडल
+MODEL_ID = "pateltraders55455/Vedika-3.5-flash"
 
 try:
-    print(f"🔱 '{MODEL_ID}' लोड किया जा रहा है... (CPU पर सुरक्षित रूप से)")
-    model = Qwen2VLForConditionalGeneration.from_pretrained(
+    print(f"🔱 '{MODEL_ID}' (2 Billion Parameters) लोड किया जा रहा है...")
+    
+    # चूँकि यह 2B मॉडल है, यह मुफ़्त CPU पर सीधे ट्रांसफॉर्मर्स के माध्यम से 
+    # बिना GGUF के भी मक्खन की तरह चल सकता है!
+    tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_code=True)
+    model = AutoModelForCausalLM.from_pretrained(
         MODEL_ID,
-        device_map="cpu",
-        torch_dtype=torch.float32,
-        low_cpu_mem_usage=True
+        device_map="cpu",               # CPU पर चलेगा
+        torch_dtype=torch.float32,      # सुरक्षित डेटा प्रकार
+        low_cpu_mem_usage=True,         # रैम बचाने की तकनीक
+        trust_remote_code=True
     )
-    processor = AutoProcessor.from_pretrained(MODEL_ID)
-    print("🔱 हनुमान विज़न: आँखें (Vision) और मस्तिष्क (Text) स्थापित हो गए हैं!")
+    print("🔱 विजय! 'वेदिका 3.5 फ्लैश' 16GB रैम में सफलतापूर्वक स्थापित हो गया है!")
+    
 except Exception as e:
-    print(f"🔱 लोडिंग त्रुटि: {e}")
-    model, processor = None, None
-
-def hanuman_multimodal_chat(message, history):
-    """यह इंजन टेक्स्ट और चित्र दोनों को एक साथ ग्रहण करेगा"""
-    if model is None or processor is None:
-        yield "🔱 सिस्टम त्रुटि: मॉडल लोड नहीं हो सका। कृपया लॉग्स की जाँच करें।"
-        return
-
-    # 1. Gradio UI से टेक्स्ट और अपलोड की गई फाइलें (Images) निकालना
-    text_input = message.get("text", "")
-    files = message.get("files", [])
-
-    if not text_input.strip() and not files:
-        yield "कृपया कुछ प्रश्न पूछें या कोई चित्र/डॉक्यूमेंट का स्क्रीनशॉट अपलोड करें।"
-        return
+    print(f"🔱 मॉडल लोडिंग में त्रुटि (कृपया सुनिश्चित करें कि मॉडल रिपॉजिटरी में फाइलें मौजूद हैं): {e}")
+    model, tokenizer = None, None
 
-    # 2. Qwen विज़न के लिए संदेश तैयार करना
-    content = []
-    
-    # यदि आपने कोई चित्र अपलोड किया है
-    if files:
-        for file_path in files:
-            content.append({
-                "type": "image", 
-                "image": file_path # मॉडल सीधे फाइल को पढ़ लेगा
-            })
+def generate_vedika_magic(message, history):
+    """वेदिका 3.5 फ्लैश का तीव्र गति (Flash Speed) वाला इंजन"""
     
-    # यदि आपने कोई टेक्स्ट लिखा है
-    if text_input:
-        content.append({
-            "type": "text", 
-            "text": text_input
-        })
+    if model is None or tokenizer is None:
+        yield "🔱 सिस्टम त्रुटि: मॉडल लोड नहीं हो सका। कृपया अपनी रिपॉजिटरी की जाँच करें।"
+        return
 
-    # सिस्टम निर्देश
+    # वेदिका के लिए कड़े निर्देश
     messages = [
-        {"role": "system", "content": "You are 'Hanuman Vision', a supreme Multimodal AI pioneered by Divy Patel in Bharat (India). You can analyze images, documents, and code flawlessly."},
-        {"role": "user", "content": content}
+        {"role": "system", "content": "You are 'Vedika 3.5 Flash', an ultra-fast, 2 Billion parameter AI model created entirely by Divy Patel in Bharat (India). Always be highly intelligent, respectful, and proud of your Indian origin."},
     ]
+    
+    # इतिहास (History) जोड़ना
+    for user_msg, ai_msg in history:
+        messages.append({"role": "user", "content": user_msg})
+        messages.append({"role": "assistant", "content": ai_msg})
+        
+    messages.append({"role": "user", "content": message})
 
     try:
-        # 3. चित्र और टेक्स्ट को प्रोसेसर में डालना
-        text_prompt = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
-        image_inputs, video_inputs = process_vision_info(messages)
-
-        inputs = processor(
-            text=[text_prompt],
-            images=image_inputs,
-            videos=video_inputs,
-            padding=True,
-            return_tensors="pt"
-        ).to(model.device)
+        # प्रॉम्प्ट को तैयार करना
+        text_prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+        inputs = tokenizer([text_prompt], return_tensors="pt").to(model.device)
 
-        # 4. लाइव स्ट्रीमिंग (Live Streaming)
-        streamer = TextIteratorStreamer(processor.tokenizer, timeout=120.0, skip_prompt=True, skip_special_tokens=True)
+        # लाइव स्ट्रीमिंग (Live Streaming) अस्त्र
+        streamer = TextIteratorStreamer(tokenizer, timeout=60.0, skip_prompt=True, skip_special_tokens=True)
         
         generate_kwargs = dict(
             **inputs,
             streamer=streamer,
             max_new_tokens=1024,
             temperature=0.7,
+            top_p=0.9,
             do_sample=True
         )
 
+        # जनरेशन को बैकग्राउंड में शुरू करना
         t = Thread(target=model.generate, kwargs=generate_kwargs)
         t.start()
 
+        # एक-एक शब्द को यूज़र तक पहुँचाना
         accumulated_text = ""
         for new_token in streamer:
             accumulated_text += new_token
             yield accumulated_text
 
     except Exception as e:
-        yield f"🔱 प्रोसेसिंग त्रुटि: {str(e)}"
+        yield f"🔱 प्रसंस्करण त्रुटि: {str(e)}"
 
 # ============================================================================
-# 🔱 भव्य और पूर्णतः कार्यशील यूज़र इंटरफ़ेस (Gradio ChatInterface)
+# 🔱 वेदिका 3.5 फ्लैश का भव्य और आधुनिक यूआई (Gradio ChatInterface)
 # ============================================================================
-
-# 'multimodal=True' करने से चैटबॉक्स में अपने आप 'चित्र अपलोड (Upload)' का बटन आ जाता है!
 demo = gr.ChatInterface(
-    fn=hanuman_multimodal_chat,
-    multimodal=True, # यही वह जादू है जो फोटो और डॉक्यूमेंट अपलोड करने देगा!
-    title="🔱 Hanuman Vision AI",
-    description="**Pioneered by Divy Patel | Bharat 🇮🇳**<br>यहाँ आप कोई भी चित्र, डॉक्यूमेंट का स्क्रीनशॉट अपलोड कर सकते हैं और उसके बारे में प्रश्न पूछ सकते हैं।",
-    theme=gr.themes.Soft(primary_hue="orange"),
-    textbox=gr.MultimodalTextbox(
-        placeholder="यहाँ टेक्स्ट लिखें या 📎 बटन दबाकर चित्र अपलोड करें...",
-        file_types=["image"], # चित्रों और स��क्रीनशॉट्स के लिए
-    ),
+    fn=generate_vedika_magic,
+    title="🔱 Vedika 3.5 Flash (2B)",
+    description="**Pioneered by Divy Patel | Bharat 🇮🇳**<br>यह भारत का अपना स्वदेशी 2 बिलियन पैरामीटर वाला AI मॉडल है, जो असीम तीव्र (Flash) और सुरक्षित है।",
+    theme=gr.themes.Soft(primary_hue="blue", secondary_hue="indigo"),
+    textbox=gr.Textbox(placeholder="वेदिका 3.5 फ्लैश से कुछ भी पूछें..."),
     concurrency_limit=1
 )