我们关注的四类信号
请求成功率
区分成功、客户端错误和上游错误，避免只用单一状态掩盖问题。
首 Token 时间
统计流式请求从网关接收到首个有效输出的耗时分布。
总响应耗时
观察完整生成时间，辅助区分首字等待与长输出本身的耗时。
如何理解 TTFT
首 Token 时间（TTFT）会受到请求体大小、模型推理、上游排队、账号状态、网络路径和客户端显示方式共同影响。本站统计可使用 P50、P90、P95、P99 等分位数，但任何数字都应同时给出时间窗口与有效样本数。
单次慢请求不等于网关整体故障
诊断时应对比相同模型、相近输入长度和同一时间窗口内的多条样本，并把本站处理时间与上游首字时间分别观察。
账号健康与调度
- 调度会结合账号可用性、并发、错误率与延迟信号选择可用资源。
- 遇到可重试的上游错误时，网关可按规则退避、临时避开异常账号或切换账号。
- 部分核心线路根据当前资源配置优先调度标记为 PLUS / PRO 的付费等级账号。
- PLUS / PRO 是上游账号订阅等级，不是本站套餐名，也不构成延迟、容量、可用性或官方 API 等同性保证。
客户端也会影响体感
请求上传
大型上下文必须先被服务端完整或足够地接收，网络上行慢会增加首字等待。
流式解析
客户端应实时消费 SSE，不要在代理或应用层缓冲整个响应。
超时设置
连接、首事件和流式空闲超时应分别配置，避免把正常长推理误判成断线。
出现波动时如何提供有效信息
- 记录时间与请求 ID
使用带时区的准确时间，并保留响应头或控制台中的请求标识。
- 说明模型与客户端
提供模型 ID、接口路径、是否流式、客户端名称与版本。
- 提供至少 10 条同口径样本
同时记录首字、总耗时、状态码和输入规模，避免只比较两次不同请求。
SLA 与历史指标边界
历史监控用于发现趋势、定位故障和持续优化，不代表未来表现。除非双方另有书面协议，公开页面中的运行说明、付费账号标签和历史数据均不构成可用率、延迟或容量的 SLA 承诺。