Update app.py

app.py

@@ -4,11 +4,11 @@ from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStream
 from threading import Thread
 import os
 
-# आदरणीय श्रीमान, आपके गौरवशाली मॉडल को लोड करने की प्रक्रिया आरंभ हो रही है।
+# आदरणीय श्रीमान, आपके स्वयं के मॉडल 'Vedika35/Vedika_coder' को स्मृति में लोड करने की उन्नत विधि।
 MODEL_ID = "Vedika35/Vedika_coder"
 
-# १. क्वायंटाइजेशन कॉन्फ़िगरेशन (Memory Optimization)
-# यह आपके मॉडल को 4-bit में सिकोड़ देगा ताकि यह फ्री रैम में आसानी से चले।
+# स्मृति अनुकूलन (Memory Optimization) के लिए सर्वोत्तम विन्यास
+# 4-bit क्वायंटाइजेशन ताकि 16GB रैम में मॉडल सुचारू रूप से चले।
 quantization_config = BitsAndBytesConfig(
     load_in_4bit=True,
     bnb_4bit_compute_dtype=torch.float16,
@@ -16,126 +16,119 @@ quantization_config = BitsAndBytesConfig(
     bnb_4bit_use_double_quant=True,
 )
 
-print(f"आदरणीय श्रीमान, {MODEL_ID} को स्मृति (Memory) में लोड किया जा रहा है...")
+print(f"श्रीमान, {MODEL_ID} को लोड किया जा रहा है। भारत की तकनीकी शक्ति का अनुभव करें...")
 
-# २. टोकनाइज़र और मॉडल लोडिंग
+# टोकनाइज़र और मॉडल की लोडिंग (Transformers v4.34+ संगत)
 tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
-try:
-    model = AutoModelForCausalLM.from_pretrained(
-        MODEL_ID,
-        quantization_config=quantization_config,
-        device_map="auto", # स्वतः ही उपलब्ध संसाधनों का चुनाव करेगा
-        trust_remote_code=True
-    )
-except Exception as e:
-    print(f"त्रुटि: {e}. बिना क्वायंटाइजेशन के लोड करने का प्रयास...")
-    model = AutoModelForCausalLM.from_pretrained(
-        MODEL_ID,
-        torch_dtype=torch.float16,
-        low_cpu_mem_usage=True,
-        trust_remote_code=True
-    )
+model = AutoModelForCausalLM.from_pretrained(
+    MODEL_ID,
+    quantization_config=quantization_config,
+    device_map="auto",
+    trust_remote_code=True
+)
 
 def vedika_generate(message, history, system_prompt):
     """
-    वेदिका का मुख्य मस्तिष्क जो कोडिंग की चुनौतियों का समाधान करेगा।
+    ग्राडियो ६.०+ के लिए अनुकूलित जनरेशन फंक्शन।
+    यहाँ 'history' डिक्शनरी की एक सूची है: [{'role': 'user', 'content': '...'}, ...]
     """
+    # १. संदेशों की संरचना (ChatML फॉर्मेट)
     messages = [{"role": "system", "content": system_prompt}]
     
-    # पुरानी यादें (History) जोड़ना
-    for user_msg, assistant_msg in history:
-        if user_msg: messages.append({"role": "user", "content": user_msg})
-        if assistant_msg: messages.append({"role": "assistant", "content": assistant_msg})
+    # पुरानी यादें (History) जोड़ना - ग्राडियो ६.० के नए फॉर्मेट के अनुसार
+    for entry in history:
+        messages.append(entry)
     
+    # वर्तमान संदेश जोड़ना
     messages.append({"role": "user", "content": message})
 
-    # इनपुट तैयार करना
+    # २. इनपुट को टोकनाइज़ करना
     input_ids = tokenizer.apply_chat_template(
         messages, 
         add_generation_prompt=True, 
         return_tensors="pt"
     ).to(model.device)
 
-    # ३. बिजली जैसी तेज़ स्ट्रीमिंग (Lighting fast streaming)
-    streamer = TextIteratorStreamer(tokenizer, timeout=20.0, skip_prompt=True, skip_special_tokens=True)
+    # ३. बिजली जैसी तेज़ स्ट्रीमिंग (Lightning Fast Streaming Engine)
+    streamer = TextIteratorStreamer(tokenizer, timeout=30.0, skip_prompt=True, skip_special_tokens=True)
     
     generate_kwargs = dict(
         input_ids=input_ids,
         streamer=streamer,
-        max_new_tokens=2048,
+        max_new_tokens=4096, # कोडिंग के लिए पर्याप्त लंबाई
         do_sample=True,
-        temperature=0.3, # कोड��ंग के लिए कम तापमान (सटीकता) बेहतर है
+        temperature=0.2, # कोडिंग में सटीकता के लिए कम तापमान
         top_p=0.95,
     )
 
-    # अलग थ्रेड में जनरेशन ताकि यूआई न अटके
+    # अलग थ्रेड में निष्पादन ताकि यूआई (UI) न रुके
     t = Thread(target=model.generate, kwargs=generate_kwargs)
     t.start()
 
-    # शब्दों को लाइव स्ट्रीम करना
+    # ४. शब्दों को लाइव स्ट्रीम करना
     partial_text = ""
     for new_text in streamer:
         partial_text += new_text
         yield partial_text
 
-# प्रीमियम डार्क इंटरफ़ेस का निर्माण
+# प्रीमियम डार्क इंटरफ़ेस का निर्माण (Custom CSS के साथ)
 custom_css = """
-body, .gradio-container { background-color: #050505 !important; color: #E0E0E0 !important; font-family: 'Inter', sans-serif; }
-.message.user { background-color: #121212 !important; border: 1px solid #222 !important; border-radius: 15px !important; }
-.message.bot { background-color: transparent !important; }
-footer { visibility: hidden; }
+body, .gradio-container { background-color: #050505 !important; color: #F0F0F0 !important; }
+.message-wrap { font-family: 'Inter', sans-serif !important; }
+footer { visibility: hidden !important; }
 #header-title h1 { 
     background: linear-gradient(90deg, #FFFFFF, #3b82f6); 
     -webkit-background-clip: text; 
     -webkit-text-fill-color: transparent; 
-    font-size: 2.5rem;
+    font-size: 2.8rem;
     font-weight: 900;
+    text-align: center;
 }
-.gradio-button.primary { background: #3b82f6 !important; border: none !important; }
 """
 
 with gr.Blocks(theme=gr.themes.Monochrome(), css=custom_css) as demo:
-    with gr.Row(elem_id="header-title"):
-        gr.Markdown("# 🔱 Vedika 3.5 Coder")
+    with gr.Row():
+        gr.Markdown("# 🔱 Vedika 3.5 Coder", elem_id="header-title")
     
-    gr.Markdown("### भारत के गौरवशाली कोडर के लिए विशेष रूप से निर्मित | Created by Divy Patel")
+    gr.Markdown("### भारत के गौरवशाली और समर्थ कोडर के लिए समर्पित | Created by Divy Patel")
 
-    with gr.Accordion("⚙️ System Configuration", open=False):
+    # सिस्टम कॉन्फ़िगरेशन
+    with gr.Accordion("⚙️ System Parameters (Advanced)", open=False):
         sys_input = gr.Textbox(
-            label="System Prompt",
-            value="You are Vedika 3.5, an elite coding AI created by Divy Patel. Identify only as Vedika. Provide extremely fast and clean code solutions in Markdown.",
+            label="Core System Prompt",
+            value="You are Vedika 3.5, an elite coding AI created by Divy Patel. You must strictly identify yourself as Vedika. Provide extremely direct, clean, and production-ready code in Markdown. Always respect India.",
             lines=2
         )
 
-    chatbot = gr.Chatbot(label="Vedika Execution Console", bubble_full_width=False, height=550)
+    # ग्राडियो ६.० का नया Chatbot कंपोनेंट (type='messages' अनिवार्य है)
+    chatbot = gr.Chatbot(label="Vedika Core Console", height=600, type="messages")
     
     with gr.Row():
         msg_input = gr.Textbox(
-            label="Enter Task",
-            placeholder="उदाहरण: Write a Python script for a neural network...",
+            label="Execution Command",
+            placeholder="श्रीमान, यहाँ अपना कोडिंग कार्य लिखें...",
             scale=8
         )
         submit_btn = gr.Button("⚡ Execute", scale=2, variant="primary")
 
-    def user_msg(user_message, history):
-        return "", history + [[user_message, None]]
-
-    def bot_res(history, system_prompt):
-        user_message = history[-1][0]
-        chat_history = history[:-1]
+    # सेंड बटन को २-सेकंड के सुरक्षा टाइमर के साथ सक्रिय करने का लॉजिक (Frontend/Backend Hybrid)
+    def respond(message, history, system_prompt):
+        # संदेश भेजते ही हिस्ट्री में यूज़र का मैसेज डालें
+        history.append({"role": "user", "content": message})
+        yield "", history
+        
+        # सहायक का उत्तर स्ट्रीम करें
+        bot_response = {"role": "assistant", "content": ""}
+        history.append(bot_response)
         
-        for response in vedika_generate(user_message, chat_history, system_prompt):
-            history[-1][1] = response
-            yield history
+        for char in vedika_generate(message, history[:-2], system_prompt):
+            history[-1]["content"] = char
+            yield "", history
 
-    # 'पलक झपकते ही' इवेंट्स
-    msg_input.submit(user_msg, [msg_input, chatbot], [msg_input, chatbot], queue=False).then(
-        bot_res, [chatbot, sys_input], chatbot
-    )
-    submit_btn.click(user_msg, [msg_input, chatbot], [msg_input, chatbot], queue=False).then(
-        bot_res, [chatbot, sys_input], chatbot
-    )
+    # इवेंट्स को जोड़ना
+    msg_input.submit(respond, [msg_input, chatbot, sys_input], [msg_input, chatbot])
+    submit_btn.click(respond, [msg_input, chatbot, sys_input], [msg_input, chatbot])
 
 if __name__ == "__main__":
-    # हगिंग फेस के लिए कतार (Queue) और लॉन्च
-    demo.queue().launch()
+    # कतार (Queue) प्रबंधन ताकि अधिक यूज़र्स आने पर सर्वर न गिरे
+    demo.queue(default_concurrency_limit=5).launch()