Upload 13 files

.env.example

@@ -1,10 +1,11 @@
 PASSWORD=change-me
 SESSION_SECRET=change-me-too
-GATEWAY_API_KEY=
+PASS_APIKEY=change-me-api-key
 NVIDIA_API_BASE=https://integrate.api.nvidia.com/v1
 NVIDIA_NIM_API_KEY=
 HEALTHCHECK_INTERVAL_MINUTES=60
 HEALTHCHECK_PROMPT=请只回复 OK。
 PUBLIC_HISTORY_HOURS=48
+MAX_UPSTREAM_CONNECTIONS=256
+MAX_KEEPALIVE_CONNECTIONS=64
 DATABASE_PATH=./data.sqlite3
-

README.md

@@ -1,127 +1,136 @@
----
-title: NVIDIA NIM 响应网关
-sdk: docker
-app_port: 7860
-pinned: false
----
-
-# NVIDIA NIM 响应网关
-
-这是一个基于 FastAPI 的兼容层项目，用来把 NVIDIA 官方接口：
-
-`https://integrate.api.nvidia.com/v1/chat/completions`
-
-转换为 OpenAI 风格的 `/v1/responses` 接口，并附带一个公开健康看板和一个中文后台管理系统。
-
-## 已支持能力
-
-- `POST /v1/responses`
-- `GET /v1/models`
-- `GET /v1/responses/{response_id}`
-- tool calling / function calling 转换
-- `function_call_output` 回灌转换
-- `previous_response_id` 对话续写
-- 模型管理
-- NVIDIA NIM Key 管理
-- 按小时健康巡检与公开状态页展示
-- Docker 方式部署到 Hugging Face Space
-
-## 预置模型
-
-首次启动会自动写入以下模型：
-
-- `z-ai/glm5`
-- `minimaxai/minimax-m2.5`
-- `moonshotai/kimi-k2.5`
-- `deepseek-ai/deepseek-v3.2`
-- `google/gemma-4-31b-it`
-- `qwen/qwen3.5-397b-a17b`
-
-你也可以在后台继续添加、删除和测试模型。
-
-## 页面与接口
-
-公开页面：
-
-- `GET /` 模型健康度看板
-- `GET /api/health/public` 公开健康数据
-
-兼容接口：
-
-- `POST /v1/responses`
-- `GET /v1/models`
-- `GET /v1/responses/{response_id}`
-
-后台页面：
-
-- `GET /admin`
-- `POST /admin/api/login`
-- `GET /admin/api/overview`
-- `GET/POST/DELETE /admin/api/models...`
-- `GET/POST/DELETE /admin/api/keys...`
-- `GET /admin/api/healthchecks`
-- `POST /admin/api/healthchecks/run`
-- `GET/PUT /admin/api/settings`
-
-## 环境变量
-
-- `PASSWORD`：后台登录密码，必填
-- `SESSION_SECRET`：后台会话签名密钥，可选；默认回退到 `PASSWORD`
-- `GATEWAY_API_KEY`：如果需要给 `/v1/models` 和 `/v1/responses` 再加一层 Bearer 保护，可以设置它
-- `NVIDIA_API_BASE`：默认 `https://integrate.api.nvidia.com/v1`
-- `NVIDIA_NIM_API_KEY`：可选，首次启动时自动导入为默认 Key
-- `HEALTHCHECK_INTERVAL_MINUTES`：默认 `60`
-- `HEALTHCHECK_PROMPT`：默认 `请只回复 OK。`
-- `PUBLIC_HISTORY_HOURS`：默认 `48`
-- `DATABASE_PATH`：默认 `./data.sqlite3`
-
-示例配置见 `.env.example`。
-
-## 本地运行
-
-安装运行依赖：
-
-```bash
-pip install -r requirements.txt
-```
-
-如需本地联调与 smoke test：
-
-```bash
-pip install -r requirements-dev.txt
-python scripts/local_smoke_test.py
-```
-
-启动服务：
-
-```bash
-uvicorn app.main:app --host 0.0.0.0 --port 7860
-```
-
-## 部署到 Hugging Face Space
-
-这个仓库已经按 Docker Space 准备好了部署文件。
-
-1. 新建一个 Hugging Face Space，SDK 选择 `Docker`
-2. 将 `hf_space` 目录内的内容作为 Space 根目录上传
-3. 在 Space Secrets 中至少配置 `PASSWORD` 和一个 NVIDIA NIM Key
-4. 打开 `/admin`，确认 Key 可用，并执行一次巡检
-
-## 本地验证情况
-
-我已经通过本地 smoke test 验证了以下链路：
-
-- 中文首页与中文后台页面可正常返回
-- HTML 响应头包含 `charset=utf-8`
-- `/v1/responses` 文本回复转换正常
-- tool call / function call 转换正常
-- `function_call_output` 回灌到上游消息格式正常
-- `previous_response_id` 上下文拼接正常
-- 后台登录、手动巡检、公开健康页同步正常
-
-## 参考资料
-
-- OpenAI Responses API: https://platform.openai.com/docs/guides/responses-vs-chat-completions
-- OpenAI Function Calling: https://platform.openai.com/docs/guides/function-calling
-- NVIDIA Build: https://build.nvidia.com/
+---
+title: NVIDIA NIM 响应网关
+sdk: docker
+app_port: 7860
+pinned: false
+---
+
+# NVIDIA NIM 响应网关
+
+这是一个基于 FastAPI 的兼容层项目，用来把 NVIDIA 官方接口：
+
+`https://integrate.api.nvidia.com/v1/chat/completions`
+
+转换为 OpenAI 风格的 `/v1/responses` 接口，并附带一个公开健康看板和一个中文后台管理系统。
+
+## 已支持能力
+
+- `POST /v1/responses`
+- `GET /v1/models`
+- `GET /v1/responses/{response_id}`
+- tool calling / function calling 转换
+- `function_call_output` 回灌转换
+- `previous_response_id` 对话续写
+- `PASS_APIKEY` 鉴权保护 `/v1/responses`
+- 多个 NVIDIA NIM Key 轮询分发
+- 共享 HTTP 连接池，支持高并发转发
+- 模型管理
+- NVIDIA NIM Key 管理
+- 后台一键测试全部模型
+- 按小时健康巡检与公开状态页展示
+- Docker 方式部署到 Hugging Face Space
+
+## 预置模型
+
+首次启动会自动写入以下模型：
+
+- `z-ai/glm5`
+- `minimaxai/minimax-m2.5`
+- `moonshotai/kimi-k2.5`
+- `deepseek-ai/deepseek-v3.2`
+- `google/gemma-4-31b-it`
+- `qwen/qwen3.5-397b-a17b`
+
+你也可以在后台继续添加、删除和测试模型。
+
+## 页面与接口
+
+公开页面：
+
+- `GET /` 模型健康度看板
+- `GET /api/health/public` 公开健康数据
+
+兼容接口：
+
+- `POST /v1/responses`
+- `GET /v1/models`
+- `GET /v1/responses/{response_id}`
+
+后台页面：
+
+- `GET /admin`
+- `POST /admin/api/login`
+- `GET /admin/api/overview`
+- `GET/POST/DELETE /admin/api/models...`
+- `GET/POST/DELETE /admin/api/keys...`
+- `GET /admin/api/healthchecks`
+- `POST /admin/api/healthchecks/run`
+- `GET/PUT /admin/api/settings`
+
+## 环境变量
+
+- `PASSWORD`：后台登录密码，必填
+- `SESSION_SECRET`：后台会话签名密钥，可选；默认回退到 `PASSWORD`
+- `PASS_APIKEY`：外部调用 `/v1/responses` 时使用的鉴权密钥，支持 `Authorization: Bearer ...` 或 `X-API-Key`
+- `NVIDIA_API_BASE`：默认 `https://integrate.api.nvidia.com/v1`
+- `NVIDIA_NIM_API_KEY`：可选，首次启动时自动导入为默认 Key
+- `HEALTHCHECK_INTERVAL_MINUTES`：默认 `60`
+- `HEALTHCHECK_PROMPT`：默认 `请只回复 OK。`
+- `PUBLIC_HISTORY_HOURS`：默认 `48`
+- `MAX_UPSTREAM_CONNECTIONS`：默认 `256`
+- `MAX_KEEPALIVE_CONNECTIONS`：默认 `64`
+- `DATABASE_PATH`：默认 `./data.sqlite3`
+
+示例配置见 `.env.example`。
+
+## 本地运行
+
+安装运行依赖：
+
+```bash
+pip install -r requirements.txt
+```
+
+如需本地联调与 smoke test：
+
+```bash
+pip install -r requirements-dev.txt
+python scripts/local_smoke_test.py
+```
+
+启动服务：
+
+```bash
+uvicorn app.main:app --host 0.0.0.0 --port 7860
+```
+
+## 部署到 Hugging Face Space
+
+这个仓库已经按 Docker Space 准备好了部署文件。
+
+1. 新建一个 Hugging Face Space，SDK 选择 `Docker`
+2. 将 `hf_space` 目录内的内容作为 Space 根目录上传
+3. 在 Space Secrets 中至少配置 `PASSWORD`、`PASS_APIKEY` 和一个 NVIDIA NIM Key
+4. 打开 `/admin`，确认 Key 可用，并执行一次巡检
+
+## 本地验证情况
+
+我已经通过本地 smoke test 验证了以下链路：
+
+- 中文首页与中文后台页面可正常返回
+- HTML 响应头包含 `charset=utf-8`
+- `/v1/responses` 鉴权正常
+- `/v1/responses` 文本回复转换正常
+- tool call / function call 转换正常
+- `function_call_output` 回灌到上游消息格式正常
+- `previous_response_id` 上下文拼接正常
+- 多个 NIM Key 轮询分发正常
+- 并发请求转发正常
+- 后台登录、手动巡检、公开健康页同步正常
+
+## 参考资料
+
+- OpenAI Responses API: https://platform.openai.com/docs/guides/responses-vs-chat-completions
+- OpenAI Function Calling: https://platform.openai.com/docs/guides/function-calling
+- NVIDIA Build: https://build.nvidia.com/
 - NVIDIA NIM API 文档: https://docs.api.nvidia.com/

static/admin.html

@@ -68,8 +68,11 @@
               <span class="section-tag">目录配置</span>
               <h2>模型管理</h2>
             </div>
-            <p class="status-text">添加、删除、连通性测试，以及使用与巡检统计。</p>
+            <div class="inline-actions panel-actions">
+              <button class="secondary-btn" id="test-all-models" type="button">测试全部模型</button>
+            </div>
           </div>
+          <p class="status-text">添加、删除、连通性测试，以及使用与巡检统计。</p>
           <div class="section-grid compact-grid">
             <div class="metric-card">
               <h3>模型总数</h3>
@@ -106,8 +109,11 @@
               <span class="section-tag">凭据配置</span>
               <h2>NVIDIA NIM Key 管理</h2>
             </div>
-            <p class="status-text">统一维护可用 Key，并统计请求和巡检使用情况。</p>
+            <div class="inline-actions panel-actions">
+              <button class="secondary-btn" id="test-all-keys" type="button">测试全部 Key</button>
+            </div>
           </div>
+          <p class="status-text">统一维护可用 Key，并统计请求和巡检使用情况。</p>
           <div class="form-grid compact-grid">
             <input id="key-label" placeholder="Key 名称，例如 主生产 Key" />
             <input id="key-value" placeholder="输入 NVIDIA NIM Key" />
@@ -134,7 +140,7 @@
               <span class="section-tag">健康巡检</span>
               <h2>巡检记录</h2>
             </div>
-            <button id="run-healthcheck" type="button">立即执行巡检</button>
+            <button id="run-healthcheck" type="button">立即巡检全部模型</button>
           </div>
           <p class="status-text">手动触发的巡检结果会立刻写入数据库，并同步更新到公开健康页。</p>
           <div class="section-grid" id="health-grid"></div>
@@ -148,15 +154,15 @@
             </div>
             <p class="status-text">设置巡检开关、时间间隔、公开页保留时长和巡检提示词。</p>
           </div>
-          <div class="form-grid">
-            <label class="checkbox-row">
+          <div class="form-grid settings-grid">
+            <label class="checkbox-row field-span-full">
               <input id="healthcheck-enabled" type="checkbox" />
               <span>启用定时健康巡检</span>
             </label>
             <input id="healthcheck-interval" type="number" min="5" step="5" placeholder="巡检间隔，单位分钟" />
             <input id="public-history-hours" type="number" min="1" step="1" placeholder="公开页保留时长，单位小时" />
             <textarea id="healthcheck-prompt" placeholder="用于健康巡检的提示词"></textarea>
-            <div class="inline-actions">
+            <div class="inline-actions settings-actions field-span-full">
               <button id="settings-save" type="button">保存设置</button>
               <button class="secondary-btn" id="refresh-now" type="button">重新加载面板</button>
             </div>

static/admin.js

@@ -12,6 +12,9 @@ const healthGrid = document.getElementById("health-grid");
 const modelCount = document.getElementById("model-count");
 const modelHealthy = document.getElementById("model-healthy");
 const settingsStatus = document.getElementById("settings-status");
+const testAllModelsBtn = document.getElementById("test-all-models");
+const testAllKeysBtn = document.getElementById("test-all-keys");
+const runHealthcheckBtn = document.getElementById("run-healthcheck");
 
 const state = {
   token: sessionStorage.getItem("nim_token"),
@@ -51,7 +54,10 @@ sidebarButtons.forEach((button) => button.addEventListener("click", () => showPa
 async function apiRequest(endpoint, opts = {}) {
   const headers = { "Content-Type": "application/json", Accept: "application/json" };
   if (state.token) headers.Authorization = `Bearer ${state.token}`;
-  const response = await fetch(`/admin/api/${endpoint}`, { ...opts, headers: { ...headers, ...(opts.headers || {}) } });
+  const response = await fetch(`/admin/api/${endpoint}`, {
+    ...opts,
+    headers: { ...headers, ...(opts.headers || {}) },
+  });
   if (!response.ok) {
     const payload = await response.json().catch(() => ({}));
     throw new Error(payload.message || payload.detail || payload.error?.message || "请求失败");
@@ -192,6 +198,24 @@ async function loadAll() {
   await Promise.all([renderOverview(), renderModels(), renderKeys(), renderHealth(), renderSettings()]);
 }
 
+async function runAllModelChecks() {
+  const payload = await apiRequest("healthchecks/run", { method: "POST", body: JSON.stringify({}) });
+  const items = payload.items || [];
+  const success = items.filter((item) => item.status === "healthy").length;
+  alert(`已完成全部模型巡检，共 ${items.length} 个模型，其中 ${success} 个正常。`);
+  showPanel("health");
+  await loadAll();
+}
+
+async function runAllKeyChecks() {
+  const payload = await apiRequest("keys/test-all", { method: "POST", body: JSON.stringify({}) });
+  const items = payload.items || [];
+  const success = items.filter((item) => item.status === "healthy").length;
+  alert(`已完成全部 Key 测试，共 ${items.length} 个 Key，其中 ${success} 个正常。`);
+  showPanel("keys");
+  await loadAll();
+}
+
 async function testModel(modelId) {
   const payload = await apiRequest(`models/${encodeURIComponent(modelId)}/test`, { method: "POST", body: JSON.stringify({}) });
   alert(`${payload.display_name || payload.model} 当前状态：${STATUS_LABELS[payload.status] || payload.status}`);
@@ -259,10 +283,9 @@ document.getElementById("key-add")?.addEventListener("click", async () => {
   await renderKeys();
 });
 
-document.getElementById("run-healthcheck")?.addEventListener("click", async () => {
-  await apiRequest("healthchecks/run", { method: "POST", body: JSON.stringify({}) });
-  await loadAll();
-});
+testAllModelsBtn?.addEventListener("click", runAllModelChecks);
+testAllKeysBtn?.addEventListener("click", runAllKeyChecks);
+runHealthcheckBtn?.addEventListener("click", runAllModelChecks);
 
 document.getElementById("settings-save")?.addEventListener("click", async () => {
   try {
@@ -318,4 +341,3 @@ window.addEventListener("DOMContentLoaded", async () => {
     loginOverlay.classList.remove("hidden");
   }
 });
-

static/style.css

@@ -720,3 +720,56 @@ button {
     grid-template-columns: 1fr;
   }
 }
+.panel-actions {
+  align-items: center;
+}
+
+.settings-grid {
+  align-items: start;
+}
+
+.field-span-full {
+  grid-column: 1 / -1;
+}
+
+.settings-grid .checkbox-row {
+  min-height: 58px;
+  padding: 14px 16px;
+  border-radius: 16px;
+  border: 1px solid rgba(255, 255, 255, 0.1);
+  background: rgba(255, 255, 255, 0.045);
+}
+
+.settings-grid .checkbox-row input {
+  width: 18px;
+  min-width: 18px;
+  height: 18px;
+  padding: 0;
+  margin: 0;
+  border-radius: 6px;
+  background: rgba(255, 255, 255, 0.02);
+  box-shadow: none;
+}
+
+.settings-actions {
+  justify-content: flex-start;
+  align-items: center;
+}
+
+.form-grid > button {
+  min-height: 54px;
+  justify-self: start;
+}
+
+@media (max-width: 720px) {
+  .settings-actions {
+    flex-direction: column;
+    align-items: stretch;
+  }
+
+  .settings-actions button,
+  .panel-actions button,
+  .form-grid > button {
+    width: 100%;
+  }
+}