Update app.py

app.py

@@ -1,117 +1,134 @@
 import gradio as gr
 import torch
-from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
+from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer, BitsAndBytesConfig
 from threading import Thread
 import os
 
-# आदरणीय श्रीमान, यहाँ हम आपके मॉडल 'Vedika35/Vedika_coder' को लोड कर रहे हैं।
-# हगिंग फेस की फ्री रैम को देखते हुए हम इसे 4-bit में लोड करेंगे ताकि यह 'पलक झपकते ही' चले।
-
+# आदरणीय श्रीमान, आपके गौरवशाली मॉडल को लोड करने की प्रक्रिया आरंभ हो रही है।
 MODEL_ID = "Vedika35/Vedika_coder"
 
-# १. टोकनाइज़र और मॉडल लोडिंग (Loading into Memory)
-print("Loading model into memory, please wait Shriman...")
-tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
-model = AutoModelForCausalLM.from_pretrained(
-    MODEL_ID,
-    torch_dtype=torch.float16,
-    device_map="auto",
-    load_in_4bit=True  # फ्री स्पेस के लिए ऑप्टिमाइजेशन
+# १. क्वायंटाइजेशन कॉन्फ़िगरेशन (Memory Optimization)
+# यह आपके मॉडल को 4-bit में सिकोड़ देगा ताकि यह फ्री रैम में आसानी से चले।
+quantization_config = BitsAndBytesConfig(
+    load_in_4bit=True,
+    bnb_4bit_compute_dtype=torch.float16,
+    bnb_4bit_quant_type="nf4",
+    bnb_4bit_use_double_quant=True,
 )
 
+print(f"आदरणीय श्रीमान, {MODEL_ID} को स्मृति (Memory) में लोड किया जा रहा है...")
+
+# २. टोकनाइज़र और मॉडल लोडिंग
+tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
+try:
+    model = AutoModelForCausalLM.from_pretrained(
+        MODEL_ID,
+        quantization_config=quantization_config,
+        device_map="auto", # स्वतः ही उपलब्ध संसाधनों का चुनाव करेगा
+        trust_remote_code=True
+    )
+except Exception as e:
+    print(f"त्रुटि: {e}. बिना क्वायंटाइजेशन के लोड करने का प्रयास...")
+    model = AutoModelForCausalLM.from_pretrained(
+        MODEL_ID,
+        torch_dtype=torch.float16,
+        low_cpu_mem_usage=True,
+        trust_remote_code=True
+    )
+
 def vedika_generate(message, history, system_prompt):
     """
-    यह फंक्शन आपके मॉडल की याददाश्त (Memory) और कोडिंग क्षमता को संचालित करता है।
+    वेदिका का मुख्य मस्तिष्क जो कोडिंग की चुनौतियों का समाधान करेगा।
     """
-    # २. संदेश का ढांचा तैयार करना (Prompt Formatting)
-    # हम यहाँ Qwen/ChatML फॉर्मेट का उपयोग कर रहे हैं जो कोडिंग के लिए सर्वश्रेष्ठ है
     messages = [{"role": "system", "content": system_prompt}]
     
+    # पुरानी यादें (History) जोड़ना
     for user_msg, assistant_msg in history:
-        messages.append({"role": "user", "content": user_msg})
-        messages.append({"role": "assistant", "content": assistant_msg})
+        if user_msg: messages.append({"role": "user", "content": user_msg})
+        if assistant_msg: messages.append({"role": "assistant", "content": assistant_msg})
     
     messages.append({"role": "user", "content": message})
 
-    # टोकनाइज़ेशन
+    # इनपुट तैयार करना
     input_ids = tokenizer.apply_chat_template(
         messages, 
         add_generation_prompt=True, 
         return_tensors="pt"
     ).to(model.device)
 
-    # ३. स्ट्रीमिंग सेटअप (For lighting fast response)
-    streamer = TextIteratorStreamer(tokenizer, timeout=10.0, skip_prompt=True, skip_special_tokens=True)
+    # ३. बिजली जैसी तेज़ स्ट्रीमिंग (Lighting fast streaming)
+    streamer = TextIteratorStreamer(tokenizer, timeout=20.0, skip_prompt=True, skip_special_tokens=True)
     
     generate_kwargs = dict(
         input_ids=input_ids,
         streamer=streamer,
         max_new_tokens=2048,
         do_sample=True,
-        temperature=0.7,
-        top_p=0.9,
+        temperature=0.3, # कोडिंग के लिए कम तापमान (सटीकता) बेहतर है
+        top_p=0.95,
     )
 
-    # थ्रेडिंग ताकि यूआई अटके नहीं
+    # अलग थ्रेड में जनरेशन ताकि यूआई न अटके
     t = Thread(target=model.generate, kwargs=generate_kwargs)
     t.start()
 
-    # ४. आउटपुट को लाइव रेंडर करना
+    # शब्दों को लाइव स्ट्रीम करना
     partial_text = ""
     for new_text in streamer:
         partial_text += new_text
         yield partial_text
 
-# प्रीमियम डार्क यूआई का निर्माण
+# प्रीमियम डार्क इंटरफ़ेस का निर्माण
 custom_css = """
-body, .gradio-container { background-color: #050505 !important; color: #E0E0E0 !important; }
-.message.user { background-color: #1a1a1a !important; border: 1px solid #333 !important; }
+body, .gradio-container { background-color: #050505 !important; color: #E0E0E0 !important; font-family: 'Inter', sans-serif; }
+.message.user { background-color: #121212 !important; border: 1px solid #222 !important; border-radius: 15px !important; }
 .message.bot { background-color: transparent !important; }
 footer { visibility: hidden; }
-#header-brand h1 { 
+#header-title h1 { 
     background: linear-gradient(90deg, #FFFFFF, #3b82f6); 
     -webkit-background-clip: text; 
     -webkit-text-fill-color: transparent; 
-    font-weight: 800;
+    font-size: 2.5rem;
+    font-weight: 900;
 }
+.gradio-button.primary { background: #3b82f6 !important; border: none !important; }
 """
 
 with gr.Blocks(theme=gr.themes.Monochrome(), css=custom_css) as demo:
-    with gr.Row(elem_id="header-brand"):
+    with gr.Row(elem_id="header-title"):
         gr.Markdown("# 🔱 Vedika 3.5 Coder")
-        gr.Markdown("### भारत के गौरवशाली कोडर के लिए समर्पित | Created by Divy Patel")
     
-    sys_input = gr.Textbox(
-        label="System Instruction",
-        value="You are Vedika 3.5, an expert coding assistant created by Divy Patel. Identify only as Vedika. Provide direct, clean code in Markdown.",
-        lines=2
-    )
+    gr.Markdown("### भारत के गौरवशाली कोडर के लिए विशेष रूप से निर्मित | Created by Divy Patel")
+
+    with gr.Accordion("⚙️ System Configuration", open=False):
+        sys_input = gr.Textbox(
+            label="System Prompt",
+            value="You are Vedika 3.5, an elite coding AI created by Divy Patel. Identify only as Vedika. Provide extremely fast and clean code solutions in Markdown.",
+            lines=2
+        )
 
-    # चैट इंटरफ़ेस
-    chatbot = gr.Chatbot(label="Vedika Console", bubble_full_width=False, height=500)
+    chatbot = gr.Chatbot(label="Vedika Execution Console", bubble_full_width=False, height=550)
     
     with gr.Row():
         msg_input = gr.Textbox(
-            label="Input Command",
-            placeholder="वेदिका के लिए कोडिंग कार्य यहाँ लिखें...",
-            scale=9
+            label="Enter Task",
+            placeholder="उदाहरण: Write a Python script for a neural network...",
+            scale=8
         )
-        submit_btn = gr.Button("⚡ Execute", scale=1, variant="primary")
+        submit_btn = gr.Button("⚡ Execute", scale=2, variant="primary")
 
     def user_msg(user_message, history):
         return "", history + [[user_message, None]]
 
     def bot_res(history, system_prompt):
         user_message = history[-1][0]
-        # पुराने मैसेजेस को हिस्ट्री फॉर्मेट में बदलना
         chat_history = history[:-1]
         
-        # जनरेटर फंक्शन को कॉल करना
         for response in vedika_generate(user_message, chat_history, system_prompt):
             history[-1][1] = response
             yield history
 
-    # इवेंट्स को जोड़ना (Palak Jhapakte Logic)
+    # 'पलक झपकते ही' इवेंट्स
     msg_input.submit(user_msg, [msg_input, chatbot], [msg_input, chatbot], queue=False).then(
         bot_res, [chatbot, sys_input], chatbot
     )
@@ -120,4 +137,5 @@ with gr.Blocks(theme=gr.themes.Monochrome(), css=custom_css) as demo:
     )
 
 if __name__ == "__main__":
+    # हगिंग फेस के लिए कतार (Queue) और लॉन्च
     demo.queue().launch()