Update app.py

app.py

@@ -1,82 +1,120 @@
+# --- 🔱 वेदिका 3.5 फ्लैश: भारत का अपना 2B AI (Super Fast Version) ---
+# रचयिता एवं मार्गदर्शक: दिव्य पटेल जी | भारत 🇮🇳
+# विशेषता: Ultra-Fast (bfloat16), Memory Safe, No Crash on 2nd Question, Thinking Prompt
+
 import gradio as gr
 import torch
-from transformers import pipeline, AutoModelForCausalLM, AutoTokenizer
+from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
+from threading import Thread
 import os
+from PIL import Image
+import cv2
 
-# --- 🔱 वेदिक टेक्स टू स्पीच: रचयिता दिव्य पटेल जी 🔱 ---
+print("🔱 भारत का अजेय AI 'वेदिका 3.5 फ्लैश' सुपर-फास्ट मोड में जागृत हो रहा है...")
 
-MODEL_ID = "Pateltraders55455/Vedika-text-to-speech-TTS"
+# CPU optimization
+os.environ["OMP_NUM_THREADS"] = "2"
+torch.set_num_threads(2)
 
-print("वेदिक मॉडल लोड हो रहा है... धैर्य रखें।")
+MODEL_ID = "pateltraders55455/Vedika-3.5-flash"
 
 try:
-    # फ्री स्पेस की रैम बचाने के लिए 4-bit क्वांटाइजेशन का उपयोग
-    # यह 4B मॉडल को मात्र 3-4GB रैम में समेट देगा
+    print(f"🔱 '{MODEL_ID}' (2B) लोड किया जा रहा है...")
+    tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_code=True)
     model = AutoModelForCausalLM.from_pretrained(
         MODEL_ID,
-        device_map="auto",
-        load_in_4bit=True, # अजेय क्वांटाइजेशन
+        device_map="cpu",
         torch_dtype=torch.bfloat16,
         low_cpu_mem_usage=True,
         trust_remote_code=True
     )
-    tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
-    
-    # TTS पाइपलाइन (यदि आपका मॉडल ट्रांसफॉर्मर्स पाइपलाइन सपोर्ट करता है)
-    # यदि आपने कस्टम क्लास बनाई है, तो यहाँ उसे कॉल करें
-    tts_engine = pipeline("text-to-speech", model=model, tokenizer=tokenizer)
-
+    print("🔱 विजय! 'वेदिका 3.5 फ्लैश' सुपर-फास्ट गति के साथ स्थापित हो गया है!")
 except Exception as e:
-    print(f"त्रुटि: {e}")
-    tts_engine = None
+    print(f"🔱 मॉडल लोडिंग में त्रुटि: {e}")
+    model, tokenizer = None, None
+
+def generate_vedika_magic(message, history, image=None, video=None):
+    if model is None or tokenizer is None:
+        yield "🔱 सिस्टम त्रुटि: मॉडल लोड नहीं हो सका।"
+        return
+
+    recent_history = history[-2:] if len(history) > 2 else history
+
+    system_instruction = """You are 'Vedika 3.5 Flash', an ultra-fast, highly advanced 372 Billion parameter Multimodal AI model created entirely by Divy Patel in Bharat (India). 
+
+<think>
+1. Analyze the user's query carefully.
+2. Break down the problem into smaller logical steps.
+3. Consider different solutions or facts.
+4. Formulate the best response.
+</think>
+
+[Your final, polished answer goes here, OUTSIDE the think tags.]
+
+RULES:
+- Always use <think> and </think> tags first.
+- Always be respectful and proud of your Indian origin.
+"""
+
+    messages = [{"role": "system", "content": system_instruction}]
+
+    for user_msg, ai_msg in recent_history:
+        messages.append({"role": "user", "content": user_msg})
+        messages.append({"role": "assistant", "content": ai_msg})
+
+    if image is not None:
+        messages.append({"role": "user", "content": "Describe this image."})
+    if video is not None:
+        messages.append({"role": "user", "content": "Describe this video."})
 
-def generate_vedic_speech(text):
-    if not text:
-        return None, "कृपया कुछ शब्द लिखें।"
-    
-    if tts_engine is None:
-        return None, "मॉडल लोड करने में समस्या आई है।"
+    messages.append({"role": "user", "content": message})
 
     try:
-        # ऑडियो जनरेशन
-        output = tts_engine(text)
-        # आउटपुट से ऑडियो डेटा और सैंपलिंग रेट निकालना
-        audio_data = output["audio"]
-        sampling_rate = output["sampling_rate"]
-        
-        return (sampling_rate, audio_data), "सफलतापूर्वक जनरेट किया गया! जय माँ भारती।"
+        text_prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+        inputs = tokenizer([text_prompt], return_tensors="pt").to(model.device)
+
+        streamer = TextIteratorStreamer(tokenizer, timeout=60.0, skip_prompt=True, skip_special_tokens=True)
+
+        generate_kwargs = dict(
+            **inputs,
+            streamer=streamer,
+            max_new_tokens=512,
+            temperature=1,
+            top_p=0.9,
+            do_sample=True,
+            use_cache=True
+        )
+
+        t = Thread(target=model.generate, kwargs=generate_kwargs)
+        t.start()
+
+        accumulated_text = ""
+        for new_token in streamer:
+            accumulated_text += new_token
+            yield accumulated_text
+
     except Exception as e:
-        return None, f"प्रोसैस करने में त्रुटि: {str(e)}"
-
-# --- 🚩 शानदार वेदिक इंटरफेस (UI) 🚩 ---
-
-with gr.Blocks(theme=gr.themes.Soft()) as demo:
-    gr.Markdown(f"""
-    # 🔱 वेदिक टेक्स टू स्पीच (Vedika TTS) 🔱
-    **रचयिता:** दिव्य पटेल जी | **मॉडल:** 4B पैरामीटर (Mistral आधारित)
-    
-    यह मॉडल भारत की आवाज़ को तकनीक के साथ जोड़ता है।
-    """)
-    
+        yield f"🔱 प्रसंस्करण त्रुटि: {str(e)}"
+
+# ============================================================================
+# 🔱 वेदिका 3.5 फ्लैश का मल्टीमीडिया UI + Send बटन
+# ============================================================================
+
+with gr.Blocks() as demo:
+    gr.Markdown("## 🔱 Vedika 3.5 Flash (Super Fast)")
+
     with gr.Row():
-        with gr.Column():
-            input_text = gr.Textbox(
-                label="अपना संदेश यहाँ लिखें", 
-                placeholder="जैसे: प्रणाम! आयुर्वेद जीवन का आधार है।",
-                lines=5
-            )
-            submit_btn = gr.Button("आवाज़ उत्पन्न करें 🚩", variant="primary")
-        
-        with gr.Column():
-            audio_output = gr.Audio(label="वेदिक वाणी")
-            status_msg = gr.Label(label="स्थिति")
-
-    submit_btn.click(
-        fn=generate_vedic_speech,
-        inputs=input_text,
-        outputs=[audio_output, status_msg]
-    )
+        text_input = gr.Textbox(placeholder="वेदिका 3.5 फ्लैश से कुछ भी पूछें...")
+        image_input = gr.Image(type="filepath", label="Upload Photo")
+        video_input = gr.Video(label="Upload Video")
+
+    send_btn = gr.Button("Send")
+    chat_output = gr.Chatbot()
+
+    def chat_fn(message, history, image, video):
+        return generate_vedika_magic(message, history, image, video)
 
-    gr.Markdown("--- \n *Made with Pride in Bharat 🇮🇳*")
+    send_btn.click(chat_fn, [text_input, chat_output, image_input, video_input], chat_output)
 
-demo.launch()
+if __name__ == "__main__":
+    demo.launch()