Update app.py

app.py

@@ -1,91 +1,123 @@
 import gradio as gr
-from gradio_client import Client
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
+from threading import Thread
 import os
-import time
 
-# श्रीमान, यहाँ हम आपके द्वारा निर्मित 'Vedika35/Vedika_coder' से जुड़ रहे हैं।
-# पलक झपकते ही परिणाम देने के लिए हम 'submit' (Streaming) का उपयोग करेंगे।
+# आदरणीय श्रीमान, यहाँ हम आपके मॉडल 'Vedika35/Vedika_coder' को लोड कर रहे हैं।
+# हगिंग फेस की फ्री रैम को देखते हुए हम इसे 4-bit में लोड करेंगे ताकि यह 'पलक झपकते ही' चले।
 
-MODAL_NAME = "Vedika35/Vedika_coder"
+MODEL_ID = "Vedika35/Vedika_coder"
 
-def vedika_omni_stream(text, files, system_prompt):
+# १. टोकनाइज़र और मॉडल लोडिंग (Loading into Memory)
+print("Loading model into memory, please wait Shriman...")
+tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
+model = AutoModelForCausalLM.from_pretrained(
+    MODEL_ID,
+    torch_dtype=torch.float16,
+    device_map="auto",
+    load_in_4bit=True  # फ्री स्पेस के लिए ऑप्टिमाइजेशन
+)
+
+def vedika_generate(message, history, system_prompt):
     """
-    वेदिका का मुख्य इंजन जो टेक्स्ट और मल्टीमीडिया को बिजली की गति से प्रोसेस करता है।
+    यह फंक्शन आपके मॉडल की याददाश्त (Memory) और कोडिंग क्षमता को संचालित करता है।
     """
-    try:
-        # क्रेडिओ क्लाइंट सेटअप
-        client = Client(MODAL_NAME)
-        
-        # १. सिस्टम प्रॉम्प्ट को तुरंत लागू करना (apply_prompt)
-        client.predict(input_value=system_prompt, api_name="/apply_prompt")
+    # २. संदेश का ढांचा तैयार करना (Prompt Formatting)
+    # हम यहाँ Qwen/ChatML फॉर्मेट का उपयोग कर रहे हैं जो कोडिंग के लिए सर्वश्रेष्ठ है
+    messages = [{"role": "system", "content": system_prompt}]
+    
+    for user_msg, assistant_msg in history:
+        messages.append({"role": "user", "content": user_msg})
+        messages.append({"role": "assistant", "content": assistant_msg})
+    
+    messages.append({"role": "user", "content": message})
 
-        # २. आपके द्वारा निर्धारित 'नन' (None) पेलोड लॉजिक
-        # यदि टेक्स्ट नहीं है तो None, यदि फाइल नहीं है तो None
-        final_text = text if text and text.strip() != "" else None
-        final_files = files if files else None
+    # टोकनाइज़ेशन
+    input_ids = tokenizer.apply_chat_template(
+        messages, 
+        add_generation_prompt=True, 
+        return_tensors="pt"
+    ).to(model.device)
 
-        # ३. आउटपुट जेनरेट करना (Streaming logic for speed)
-        # हम यहाँ 'submit' का उपयोग कर रहे हैं जो एक-एक शब्द को 'स्ट्रीम' करेगा
-        job = client.submit(
-            input_value={"files": final_files, "text": final_text},
-            api_name="/generation_code"
-        )
+    # ३. स्ट्रीमिंग सेटअप (For lighting fast response)
+    streamer = TextIteratorStreamer(tokenizer, timeout=10.0, skip_prompt=True, skip_special_tokens=True)
+    
+    generate_kwargs = dict(
+        input_ids=input_ids,
+        streamer=streamer,
+        max_new_tokens=2048,
+        do_sample=True,
+        temperature=0.7,
+        top_p=0.9,
+    )
 
-        # ४. परिणाम को तुरंत यूआई पर भेजना
-        for update in job:
-            # अपडेट डेटा को सुरक्षित रूप से निकालना
-            if isinstance(update, str):
-                yield update
-            elif isinstance(update, list) and len(update) > 0:
-                # यदि हिस्ट्री या लिस्ट प्राप्त होती है
-                last_msg = update[-1]
-                if isinstance(last_msg, dict) and 'content' in last_msg:
-                    yield last_msg['content']
-                else:
-                    yield str(update[0])
-            else:
-                yield str(update)
+    # थ्रे���िंग ताकि यूआई अटके नहीं
+    t = Thread(target=model.generate, kwargs=generate_kwargs)
+    t.start()
 
-    except Exception as e:
-        yield f"⚠️ सिस्टम में त्रुटि: {str(e)}"
+    # ४. आउटपुट को लाइव रेंडर करना
+    partial_text = ""
+    for new_text in streamer:
+        partial_text += new_text
+        yield partial_text
 
-# प्रीमियम डार्क यूआई का निर्माण (प्रीमियम कोडिंग थीम)
+# प्रीमियम डार्क यूआई का निर्माण
 custom_css = """
-footer {visibility: hidden}
-.gradio-container {background-color: #050505 !important; color: #E0E0E0 !important;}
-#title-header h1 {background: linear-gradient(90deg, #fff, #3b82f6); -webkit-background-clip: text; -webkit-text-fill-color: transparent;}
+body, .gradio-container { background-color: #050505 !important; color: #E0E0E0 !important; }
+.message.user { background-color: #1a1a1a !important; border: 1px solid #333 !important; }
+.message.bot { background-color: transparent !important; }
+footer { visibility: hidden; }
+#header-brand h1 { 
+    background: linear-gradient(90deg, #FFFFFF, #3b82f6); 
+    -webkit-background-clip: text; 
+    -webkit-text-fill-color: transparent; 
+    font-weight: 800;
+}
 """
 
 with gr.Blocks(theme=gr.themes.Monochrome(), css=custom_css) as demo:
-    with gr.Row(elem_id="title-header"):
-        gr.Markdown("# 🔱 Vedika 3.5 Coder Engine")
+    with gr.Row(elem_id="header-brand"):
+        gr.Markdown("# 🔱 Vedika 3.5 Coder")
+        gr.Markdown("### भारत के गौरवशाली कोडर के लिए समर्पित | Created by Divy Patel")
+    
+    sys_input = gr.Textbox(
+        label="System Instruction",
+        value="You are Vedika 3.5, an expert coding assistant created by Divy Patel. Identify only as Vedika. Provide direct, clean code in Markdown.",
+        lines=2
+    )
+
+    # चैट इंटरफ़ेस
+    chatbot = gr.Chatbot(label="Vedika Console", bubble_full_width=False, height=500)
     
     with gr.Row():
-        with gr.Column(scale=1):
-            sys_input = gr.Textbox(
-                label="System Prompt Configuration",
-                value="You are Vedika 3.5, an elite coding AI assistant. Identify only as Vedika. Provide robust, production-ready code in Markdown.",
-                lines=3
-            )
-            file_input = gr.File(label="Attach Media (None by default)", file_count="multiple")
-            
-        with gr.Column(scale=2):
-            chat_output = gr.Markdown(label="Vedika Core Output")
-            user_input = gr.Textbox(label="User Query", placeholder="वेदिका के लिए कोडिंग कार्य यहाँ लिखें...", lines=4)
-            
-            with gr.Row():
-                submit_btn = gr.Button("⚡ Execute (Palak Jhapakte)", variant="primary")
-                clear_btn = gr.Button("Clear Memory")
+        msg_input = gr.Textbox(
+            label="Input Command",
+            placeholder="वेदिका के लिए कोडिंग कार्य यहाँ लिखें...",
+            scale=9
+        )
+        submit_btn = gr.Button("⚡ Execute", scale=1, variant="primary")
+
+    def user_msg(user_message, history):
+        return "", history + [[user_message, None]]
 
-    # इवेंट्स को जोड़ना
-    submit_btn.click(
-        fn=vedika_omni_stream,
-        inputs=[user_input, file_input, sys_input],
-        outputs=chat_output
+    def bot_res(history, system_prompt):
+        user_message = history[-1][0]
+        # पुराने मैसेजेस को हिस्ट्री फॉर्मेट में बदलना
+        chat_history = history[:-1]
+        
+        # जनरेटर फंक्शन को कॉल करना
+        for response in vedika_generate(user_message, chat_history, system_prompt):
+            history[-1][1] = response
+            yield history
+
+    # इवेंट्स को जोड़ना (Palak Jhapakte Logic)
+    msg_input.submit(user_msg, [msg_input, chatbot], [msg_input, chatbot], queue=False).then(
+        bot_res, [chatbot, sys_input], chatbot
+    )
+    submit_btn.click(user_msg, [msg_input, chatbot], [msg_input, chatbot], queue=False).then(
+        bot_res, [chatbot, sys_input], chatbot
     )
-    
-    clear_btn.click(lambda: (None, None, ""), None, [chat_output, file_input, user_input])
 
 if __name__ == "__main__":
-    # हगिंग फेस स्पेस के लिए लॉन्च
-    demo.launch()
+    demo.queue().launch()