Add round-robin index for load balancing

app.py

@@ -26,6 +26,9 @@ if not OLLAMA_KEYS:
     OLLAMA_KEYS.append("ollam") # Dummy key jika ENV kosong
 
 # Inisialisasi Status Key
+# Round-Robin Index for load balancing
+last_used_index = 0
+
 key_status = {}
 for idx, k in enumerate(OLLAMA_KEYS, 1):
     key_status[k] = {
@@ -42,27 +45,33 @@ def log(msg):
 
 def get_and_lock_key(exclude_keys=None):
     """
-    Fungsi ATOMIC: Mencari key yang idle sekaligus langsung MENGUNCINYA.
-    Ini menghilangkan celah kebocoran saat burst request.
+    Round-Robin + Atomic Lock: Pilih key berurutan dari last_used_index.
+    Ini memastikan burst request terdistribusi merata ke semua key.
     """
+    global last_used_index
+    
     if exclude_keys is None:
         exclude_keys = set()
         
-    # Cek apakah semua key mati? Jika ya, reset semuanya agar sistem tidak macet permanen
+    # Cek apakah semua key mati? Jika ya, reset semuanya
     if not any(v["healthy"] for v in key_status.values()):
         log("⚠️ Semua API Key berstatus mati/unhealthy. Melakukan RESET MASSAL...")
         for v in key_status.values():
             v["failures"] = 0
             v["healthy"] = True
+        last_used_index = 0
             
-    # Proses pencarian dan penguncian instan
-    for k, v in key_status.items():
-        if v["healthy"] and not v["in_use"] and k not in exclude_keys:
-            # ---> GEMBOK DIPASANG DI SINI (ATOMIC) <---
-            v["in_use"] = True 
-            return k
-            
-    return None # Mengembalikan None jika semua key sedang dipakai
+    # Round-robin: cari key berurutan dari last_used_index
+    for i in range(len(OLLAMA_KEYS)):
+        idx = (last_used_index + i) % len(OLLAMA_KEYS)
+        key = OLLAMA_KEYS[idx]
+        
+        if key_status[key]["healthy"] and not key_status[key]["in_use"] and key not in exclude_keys:
+            last_used_index = idx
+            key_status[key]["in_use"] = True
+            return key
+    
+    return None
 
 # ==========================================
 # ENDPOINTS