Update app.py

app.py

@@ -1,115 +1,146 @@
-# --- 🔱 हनुमान AI: अजेय वीडियो जनरेशन (CogVideoX-2b) ---
+# --- 🔱 हनुमान AI: स्वदेशी Qwen संस्करण ---
 # मार्गदर्शक: दिव्य पटेल जी | भारत 🇮🇳
-# मॉडल: THUDM/CogVideoX-2b (अत्यंत आधुनिक और 16GB रैम सुरक्षित)
-# विशेषता: CPU पर बिना क्रैश हुए वीडियो निर्माण
+# मॉडल: Pateltraders55455/Qwen3.5-397B-A17B
+# विशेषता: Live Streaming, Transformers Optimization & Custom Bhagwa UI
 
 import gradio as gr
 import torch
-from diffusers import CogVideoXPipeline
-from diffusers.utils import export_to_video
+from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
+from threading import Thread
 import os
-from datetime import datetime
 
-# 🛡️ CPU को ओवरलोड से बचाने के लिए थ्रेड्स की सेटिंग
-os.environ["OMP_NUM_THREADS"] = "2"
-torch.set_num_threads(2)
+# 🛡️ CPU/RAM को क्रैश होने से बचाने के लिए थ्रेड्स सेट करना
+os.environ["OMP_NUM_THREADS"] = "4"
+torch.set_num_threads(4)
 
-MODEL_ID = "THUDM/CogVideoX-2b"
+# 🚀 दिव्य जी की अपनी रिपॉजिटरी
+HF_REPO = "Pateltraders55455/Qwen3.5-397B-A17B"
 
-print(f"🔱 हनुमान AI: वीडियो महा-अस्त्र '{MODEL_ID}' लोड हो रहा है...")
+print(f"🔱 हनुमान AI जागृत हो रहा है... '{HF_REPO}' लोड किया जा रहा है...")
 
-# 🛠️ रैम ऑप्टिमाइजेशन: मॉडल को सुरक्षित रूप से लोड करना
 try:
-    # 16GB रैम में फिट करने के लिए bfloat16 का उपयोग आवश्यक है
-    pipe = CogVideoXPipeline.from_pretrained(
-        MODEL_ID,
-        torch_dtype=torch.bfloat16
+    # Qwen के लिए अत्यंत सुरक्षित लोडिंग विधि
+    tokenizer = AutoTokenizer.from_pretrained(HF_REPO)
+    model = AutoModelForCausalLM.from_pretrained(
+        HF_REPO,
+        device_map="auto",         # उपलब्ध हार्डवेयर के अनुसार स्वयं सेट हो जाएगा
+        torch_dtype="auto",        # मेमोरी बचाने के लिए स्वचालित डेटा टाइप
+        low_cpu_mem_usage=True     # RAM को ओवरलोड होने से बचाएगा
     )
-    # मेमोरी बचाने के लिए अजेय अस्त्र (Attention Slicing)
-    pipe.enable_attention_slicing()
-    print("🔱 हनुमान AI: वीडियो अस्त्र पूर्णतः सक्रिय है!")
+    print("🔱 हनुमान AI: अजेय मॉडल सफलतापूर्वक लोड हो गया है!")
 except Exception as e:
     print(f"🔱 गंभीर त्रुटि: {e}")
-    pipe = None
+    tokenizer, model = None, None
 
-# आउटपुट फोल्डर बनाना
-if not os.path.exists("outputs"):
-    os.makedirs("outputs")
-
-def hanuman_video_engine(prompt):
-    """CogVideoX का उपयोग करके टेक्स्ट से वीडियो बनाने वाला अजेय इंजन"""
-    if pipe is None:
-        return None, "🔱 सिस्टम त्रुटि: वीडियो मॉडल लोड नहीं हो सका। कृपया रैम की जाँच करें।"
+# ============================================================================
+# ⚡ जनरेशन फंक्शन (Live Streaming के साथ)
+# ============================================================================
+def generate_divine_text(prompt, max_tokens, temperature, top_k):
+    if not prompt.strip():
+        yield "Please enter a prompt to start."
+        return
     
-    if not prompt or len(prompt.strip()) == 0:
-        return None, "कृपया कोई संदेश (Prompt) लिखें।"
+    if model is None or tokenizer is None:
+        yield "🔱 सिस्टम त्रुटि: मॉडल लोड नहीं हो सका। कृपया स्पेस के लॉग्स (Logs) की जाँच करें।"
+        return
 
+    # Qwen के लिए सिस्टम निर्देश
+    messages = [
+        {"role": "system", "content": "You are 'Hanuman AI', a supreme intelligence model pioneered by Divy Patel in Bharat. You must provide clean, accurate, and highly detailed responses."},
+        {"role": "user", "content": prompt}
+    ]
+    
     try:
-        # ��� CPU के लिए विशेष सुरक्षित सेटिंग्स
-        # num_inference_steps और num_frames को कम रखा गया है ताकि CPU पर क्रैश न हो और जल्दी बने
-        video_frames = pipe(
-            prompt=prompt,
-            num_inference_steps=15, # CPU पर इसे 15 से ज्यादा न रखें
-            num_frames=16,          # 16 फ्रेम का एक छोटा वीडियो
-            guidance_scale=6.0
-        ).frames[0]
+        # आधुनिक Qwen चैट टेम्पलेट
+        text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+    except:
+        # यदि मॉडल साधारण टेक्स्ट-मॉडल हुआ
+        text = prompt
         
-        # वीडियो को MP4 फॉर्मेट में सुरक्षित करना
-        filename = f"outputs/divy_video_{datetime.now().strftime('%Y%m%d_%H%M%S')}.mp4"
-        export_to_video(video_frames, filename, fps=8)
-        
-        return filename, "🔱 वीडियो सफलतापूर्वक बन गया है!"
-    except Exception as e:
-        return None, f"🔱 तकनीकी बाधा: {str(e)}"
+    model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
+    
+    # लाइव स्ट्रीमिंग के लिए स्ट्रीमर (Streamer) अस्त्र
+    streamer = TextIteratorStreamer(tokenizer, timeout=30.0, skip_prompt=True, skip_special_tokens=True)
+    
+    top_k_val = int(top_k) if top_k > 0 else 50
+    
+    # जनरेशन के पैरामीटर्स
+    generate_kwargs = dict(
+        model_inputs,
+        streamer=streamer,
+        max_new_tokens=int(max_tokens),
+        temperature=float(temperature),
+        top_k=top_k_val,
+        do_sample=True if temperature > 0.1 else False
+    )
+    
+    # पीछे बैकग्राउंड में मॉडल को सोचने का आदेश देना
+    t = Thread(target=model.generate, kwargs=generate_kwargs)
+    t.start()
+    
+    # 🔄 जैसे-जैसे शब्द आएँगे, यूआई पर लाइव दिखेंगे
+    accumulated_text = ""
+    for new_token in streamer:
+        accumulated_text += new_token
+        yield accumulated_text
 
-# --- 🔱 दिव्य भगवा यूआई ---
+# ============================================================================
+# 🔱 दिव्य भगवा यूआई (Gradio Interface)
+# ============================================================================
 divine_ui = """
 <style>
 .gradio-container { background-color: #fffaf0 !important; }
 .bhagwa-header { 
     background: linear-gradient(135deg, #ff8833, #b33c00); 
-    padding: 30px; border-radius: 20px; color: white; 
+    padding: 30px; border-radius: 15px; color: white; 
     text-align: center; box-shadow: 0 10px 25px rgba(179, 60, 0, 0.4);
-    margin-bottom: 25px;
+    margin-bottom: 20px;
 }
-.bhagwa-header h1 { color: white !important; font-size: 32px !important; margin: 0; text-shadow: 0 4px 8px rgba(0,0,0,0.5); }
-.bhagwa-header p { font-size: 16px !important; opacity: 0.95; font-weight: 500; }
+.bhagwa-header h1 { color: white !important; font-size: 36px !important; margin: 0; text-shadow: 0 4px 8px rgba(0,0,0,0.5); font-weight: 900; }
+.bhagwa-header p { font-size: 16px !important; opacity: 0.95; font-weight: 500; margin-top: 10px; }
 </style>
 <div class="bhagwa-header">
-    <h1>🔱 हनुमान AI - वीडियो जनरेटर (CogVideoX)</h1>
-    <p>Pioneered by Divy Patel | भारत 🇮🇳 | अजेय वीडियो तकनीक</p>
+    <h1>🔱 Hanuman AI (Qwen Edition)</h1>
+    <p>Pioneered by Divy Patel | Bharat 🇮🇳 | Hosted on Private Space</p>
 </div>
 """
 
-with gr.Blocks() as demo:
+with gr.Blocks(title="Hanuman AI", theme=gr.themes.Soft()) as demo:
     gr.HTML(divine_ui)
     
     with gr.Row():
-        with gr.Column(scale=1):
+        with gr.Column(scale=2):
             prompt_input = gr.Textbox(
-                label="वीडियो का विवरण (Prompt)", 
-                placeholder="यहाँ लिखें कि आप कैसा वीडियो बनाना चाहते हैं (सर्वोत्तम परिणाम के लिए अंग्रेजी का प्रयोग करें)...",
-                lines=5
+                label="Your Prompt", 
+                placeholder="Ask me to write a story, write code, or answer a question...", 
+                lines=4
             )
-            submit_btn = gr.Button("वीडियो निर्माण प्रारंभ करें", variant="primary")
-            status_text = gr.Textbox(label="सिस्टम स्थिति", interactive=False)
             
-        with gr.Column(scale=1):
-            video_output = gr.Video(label="हनुमान AI द्वारा निर्मित वीडियो")
-            gr.Markdown("""
-            ### 🚩 दिव्य निर्देश एवं चेतावनी:
-            1. अपना प्रॉम्प्ट बायीं ओर लिखें।
-            2. **चेतावनी:** चूँकि यह एक भारी वीडियो मॉडल है और आप फ्री CPU का उपयोग कर रहे हैं, इसलिए एक छोटा वीडियो (2-3 सेकंड) बनने में **10 से 30 मिनट** का समय लग सकता है।
-            3. कृपया बटन दबाने के बाद धैर्य रखें और पेज को बंद न करें।
-            """)
-
-    # इवेंट बाइंडिंग
-    submit_btn.click(
-        fn=hanuman_video_engine,
-        inputs=[prompt_input],
-        outputs=[video_output, status_text]
+            with gr.Row():
+                max_tokens_slider = gr.Slider(minimum=50, maximum=4096, value=512, step=10, label="Max Tokens")
+                temperature_slider = gr.Slider(minimum=0.1, maximum=2.0, value=0.7, step=0.05, label="Temperature")
+                top_k_slider = gr.Slider(minimum=0, maximum=100, value=50, step=5, label="Top-K (0 = disabled)")
+                
+            generate_btn = gr.Button("Generate Request", variant="primary")
+            
+        with gr.Column(scale=3):
+            output_box = gr.Textbox(
+                label="Generated Output", 
+                lines=16, 
+                show_copy_button=True
+            )
+            
+    # इवेंट बाइंडिंग (Live Streaming Yield के लिए)
+    generate_btn.click(
+        fn=generate_divine_text, 
+        inputs=[prompt_input, max_tokens_slider, temperature_slider, top_k_slider], 
+        outputs=output_box
     )
+    
+    gr.Markdown(f"""
+    ---
+    **Model:** `[ {HF_REPO} ]` | **Architecture:** Qwen 3.5 | **Status:** Active & Ready
+    """)
 
-# 🛠️ Queue को इनेबल करना अत्यंत आवश्यक है ताकि लंबा समय लगने पर Gradio क्रैश न हो (Timeout Fix)
 if __name__ == "__main__":
-    demo.queue().launch()
+    demo.launch()