每日 AI 情报
SGLang 把 Responses API 接进 P/D 双路由并默认关闭无界内存存储;Google ADK、llama.cpp 与 LiteLLM 分别补上取消清理、复杂工具参数和代理鉴权/错误回执。目标交易样本仍为空,本期只收运行证据,不外推旧行情。
公开 AI 机会情报
01SGLang|Responses API 进入 P/D 双路由,响应存储改为显式开启且默认关闭
9 月 13 日 21:20–22:48(上海时间)合并的两项变更,让 HTTP prefill/decode 路由支持前台、流式与非流式
/v1/responses,同时新增--enable-response-store,默认不再把响应和消息写进两个无 TTL、无淘汰的内存字典。P/D 部署不能开启该存储,并会在生成前拒绝链式、后台和需要二次生成的内置工具;两项变更合计 1,083 行新增、16 行删除、11 个文件。→ 为什么现在:目标日前,网关虽已注册 Responses 路径,P/D 路由却会返回 501;默认存储还会让 prefill 节点永久增长不可达记录。
→ 今天能做什么:≤2 小时发送前台缓冲、前台流式、链式、后台和内置工具 5 类请求;产出两腿 ID、SSE、状态、KV、内存与恢复表。前台 200、不支持项生成前 400、拒绝后可恢复且内存稳定即通过。
→ 怎么变现:可卖“Responses API 自托管迁移 + P/D 能力验收”,降低推理成本并提前挡住内存泄漏、KV 卡死和错误能力承诺。相关链接:P/D Responses 路由 ↗ · 响应存储能力门 ↗
02Google ADK|取消任务也会补 after 回调,条件不相交的同向边不再被误判重复
9 月 13 日 07:34–14:35(上海时间)两项提交分别为
run_async/run_live增加取消清理路径,并重写图校验的同向边规则。取消发生在 before 完成后、after 执行前时,after 会执行一次且自身报错不会遮住原始取消;互不重叠的 route 集可通过,重叠或无条件边仍拒绝。两项共 459 行新增、13 行删除。→ 为什么现在:超时、人工停止与分支路由常同时出现;旧行为可能漏归档、计费或资源释放,又会把合法条件分支误挡。
→ 今天能做什么:≤90 分钟构造两条互斥 route、一条重叠 route,并分别取消 async/live 运行;产出 route、回调、资源、span 与取消传播表。互斥通过、重叠拒绝、每个取消只有一次 after 即通过。
→ 怎么变现:可卖“ADK 工作流上线前检 + 取消账本验收”,减少孤儿任务、重复计费和合法流程误挡造成的返工。相关链接:取消后回调修复 ↗ · 条件边校验更新 ↗
03llama.cpp × Qwen3-Coder|复杂工具参数不再把对象、整数或 null 一律吞成字符串
9 月 13 日 08:08(上海时间)合并的 87 行新增、3 行删除修复,按 JSON Schema 联合类型先尝试 object、array、number/integer、boolean 与 null,再把其余文本保留为 string。官方回归覆盖
null与字符串"null"、合法对象、无效 JSON 回退、整数42与文本2 dollars。→ 为什么现在:旧解析器只要看到 schema 允许 string,就可能把其他合法类型一起当字符串;下游会收到格式正确但类型错误的工具调用。
→ 今天能做什么:≤90 分钟给同一工具跑 12 组联合参数;产出原始输出、schema、解析类型、工具入参与失败表。12/12 类型正确、坏对象只回退字符串且无越权执行即通过。
→ 怎么变现:可卖“本地 Qwen 工具调用兼容认证 + schema 回归包”,让客户采购 GPU 或迁移低成本模型前先排除订单与配置字段的静默强转。相关链接:Qwen3-Coder 复杂参数修复 ↗
04新进展:LiteLLM|MCP 委托鉴权、Azure Entra 凭证复用与 Claude Code 流式错误同日补齐
9 月 13 日 10:11–12:13(上海时间)合并三项修复:旧式 delegated OAuth 现在必须先通过 LiteLLM 身份准入,网关凭证不会转发到上游,匿名 passthrough 工具调用会进入支出日志;Entra 的 tenant/client/secret 不再在复用时丢失;Bedrock 中途失败会转换成 Anthropic 规范的
event: error。→ 为什么现在:三处故障分别制造匿名工具支出、保存成功但无法认证、以及部分输出后没有可重试终态;MCP 修复公开覆盖 1,419 项回归测试。
→ 今天能做什么:≤2 小时跑 bearer-only、双凭证、Entra 复用和中途错误四组夹具;产出 HTTP/会话/上游凭证状态、request/spend ID、Azure 结果与 SSE 终态。401/no-session、密钥不出站、Entra 可用、错误事件齐全即通过。
→ 怎么变现:可卖“LiteLLM 代理鉴权迁移 + 账单/流式故障验收”,减少密钥外泄、匿名消耗、假成功凭证和网络误判售后。相关链接:MCP 委托准入修复 ↗ · Azure Entra 凭证复用 ↗ · Anthropic 流式错误回执 ↗
AI 基础设施交易情报
SGLang Responses / P-D 路由|47 天无新增端点、GPU 或有状态能力成交证据
9 月 13 日目标样本为 0。供需情况分析:新增 Responses 兼容端点、prefill/decode 节点、GPU 时段、迁移交付和售后记录均为 0,供需强弱未知。产品以及价格/容量线索:47 个日历日中 45 个为已校验空样本日、2 个缺失;新增模型、GPU、并行度、RPM、并发、流式、KV、内存与买卖报价字段均为 0。公开单卡验证不是可售容量。热点议题:前台/后台能力、存储、P/D 一致性、SSE 终态、KV 释放、内存上限与赔付需在同一实例回勾。
→ 为什么现在:目标日首次同时具备 P/D Responses 路由和默认关闭存储的能力门,但盘面没有证据证明任一线路已经稳定承载。
→ 交易判断 / 今天动作:只收最小运行证据;要求 model/commit、双腿 ID、5 类请求状态、峰值内存、KV/错误日志、并发与账单。
→ 怎么省钱:把接口兼容与有状态能力可交付分开,避免为 501、内存增长或后台不可用承担迁移与退款成本。相关链接:P/D Responses 路由 ↗ · 响应存储能力门 ↗
Google ADK 工作流运行|47 天无新增托管任务、取消账本或图编排订单
供需情况分析:新增 ADK 工作流需求、托管运行供给、取消处理、条件路由实施和售后均为 0,供需方向未知。产品以及价格/容量线索:新增运行时长、并发、route、取消、callback/span、云账号、买卖报价与计费责任字段均为 0;代码规模不等于服务容量。热点议题:取消是否释放资源、after 是否幂等、异常是否遮住终态、互斥 route 是否误挡、重叠 route 是否误放需要逐流程验收。
→ 为什么现在:取消回调和条件边规则在 9 月 13 日同日变化,旧夹具可能既漏清理又误拒合法分支。
→ 交易判断 / 今天动作:先收一个两分支流程与两次可控取消;交付必须带 graph hash、route 命中、回调次数、释放、span 和账单。
→ 怎么省钱:先筛掉孤儿任务与无效编排,减少长任务空转、重复执行和现场排障费。相关链接:取消后回调修复 ↗ · 条件边校验更新 ↗
本地 Qwen3-Coder 工具调用|47 天无新增模型、GPU 或 schema 兼容样本
供需情况分析:新增本地模型接入需求、llama.cpp 托管供给、工具调用适配、机器和售后记录均为 0,无法判断采购热度。产品以及价格/容量线索:新增量化、上下文、tokens/s、并发、12 组 schema 通过率、机器、报价和容量字段均为 0;解析补丁不能证明任一部署的生产能力。热点议题:联合类型、字符串回退、null、金额/数量、工具白名单、坏参数重试与业务二次校验需一起测。
→ 为什么现在:目标日修复 complex types 静默强转,但只覆盖 Qwen3-Coder 路径,已有部署是否带补丁仍待确认。
→ 交易判断 / 今天动作:收一份 12 组联合类型回归;要求模型/量化/提交哈希、原始输出、解析类型、工具状态、延迟和机器配置。
→ 怎么省钱:在采购机器或迁移流量前暴露 schema 不兼容,避免错误参数写入后补单、回滚和人工对账。相关链接:Qwen3-Coder 复杂参数修复 ↗
LiteLLM MCP / Azure / Anthropic 代理链|47 天无新增 Key、云账号或代理成交样本
供需情况分析:新增中转需求、MCP 工具供给、Azure Entra 账号、Bedrock/Claude Code 路由、迁移与售后记录均为 0,无法判断哪条线路紧缺或有货。产品以及价格/容量线索:新增身份、tenant、region、模型、RPM、并发、流错误、工具调用、支出日志、报价和容量字段均为 0;公开测试不是渠道报价。热点议题:双凭证分离、匿名支出、Entra secret、跨区流错误、部分输出、重试归因和售后边界需在同一请求链回勾。
→ 为什么现在:三项修复同日改变鉴权、凭证和错误语义;未迁移旧 delegate 的端点可能直接 401,旧版又存在匿名调用与密钥出站风险。
→ 交易判断 / 今天动作:先要四组脱敏回归与版本证明,不收代持身份;样本必须含双凭证状态、会话/请求/支出 ID、Azure 结果、SSE 终态与回退方案。
→ 怎么省钱:把匿名消耗、认证失败和流故障在采购前归因,减少额度损失、重复重试和跨方扯皮。相关链接:MCP 委托准入修复 ↗ · Azure Entra 凭证复用 ↗ · Anthropic 流式错误回执 ↗
今日可执行项
今天可试
- SGLang Responses 五路验收:≤2 小时,跑缓冲、流式、链式、后台和内置工具;前台 200、不支持项生成前 400、拒绝后可恢复且内存稳定即通过。
- ADK 取消与条件边夹具:≤90 分钟,测两条互斥 route、一条重叠 route 及 async/live 取消;互斥通过、重叠拒绝、每次取消只跑一次 after 即通过。
- Qwen 联合类型回归:≤90 分钟跑 12 组 string/object/array/integer/boolean/null;12/12 类型正确且坏对象安全回退即通过。
需要跟进
- 核 SGLang commit、模型、GPU、P/D 拓扑、存储、SSE、KV/内存与并发上限。
- 核 ADK after 副作用幂等、取消传播、资源回收、route 与账单。
- 核 llama.cpp 量化和 chat template 是否含目标日修复,以及业务 schema 二次校验。
- 核 LiteLLM 旧 delegate 迁移、双凭证、匿名日志与 Entra secret 生命周期。
- 核 Bedrock 流错误的重试责任、部分输出、request ID 与供应商事件。
- 下一份非空样本优先补 endpoint/GPU/P-D、ADK、Qwen schema、MCP/Azure/流错误字段。
暂缓观察
- 不把 SGLang 前台 Responses 写成 P/D 下的后台、链式、检索、取消或内置工具可用。
- 无 TTL/淘汰后端前不启用生产 response store,不把单卡结果外推为并发容量。
- 不把 ADK after 回调当业务补偿成功;先验证副作用幂等与账单一致。
- 模型、量化、模板和 12 组 schema 未通过前,不因解析器修复采购本地 Qwen 算力。
- 双凭证、Entra 与流终态未复测前,不沿用 LiteLLM 旧 delegate 或扩量。
- 当前交易证据不足,不发布账号、Key、号码、IP、池子、倍率、席位、GPU 或容量方向。
风控 / 政策动态
- 行情证据:9 月 13 日目标样本为 0;距最后非空记录 47 天,区间含 45 个已校验空样本日与 2 个缺失日,只补证,不报行情。
- SGLang 响应存储仍是进程内、无 TTL、无淘汰:独立服务器显式开启后仍需外部容量与删除边界;P/D 不支持存储、链式、后台和内置工具。相关链接:能力门与迁移说明 ↗
- ADK after 回调不是任意退出都执行:before 未完成、短路或生成器关闭有不同语义;回调应幂等,不在其中放无法回滚的付款、删库或外发动作。相关链接:取消语义与回归 ↗
- 类型解析不等于业务授权:金额、数量、路径和工具权限仍需业务校验;不要把模型输出直接当支付、删除或高权限命令。相关链接:解析修复与用例 ↗
- LiteLLM MCP 修复包含破坏性鉴权变化:旧 delegated OAuth 仅带上游 bearer 会改为 401;迁移前盘点路由、双凭证、discovery、匿名 passthrough 和支出日志。相关链接:MCP 迁移边界 ↗
- 部分输出后的流错误要单独计费和重试:收到
event: error不代表上游没有产生消耗或副作用;保存 request ID、已交付 token、重试键与责任方。相关链接:流式错误回执 ↗ - 账号、邮箱、号码、IP、KYC 与支付只支持合规诊断:不支持批量注册、绕过验证、支付风控规避、越权安全测试或自动化退款;价格、倍率与容量只作市场观察,本报告不构成 AIRelay 报价、库存承诺、法律意见或可用性承诺。
一句话总结 / 今日提醒
9 月 13 日最值得收费的是 SGLang 的 Responses/P-D 迁移、Google ADK 的取消与路由验收、Qwen3-Coder 的联合类型回归,以及 LiteLLM 的鉴权/凭证/流错误前检;交易侧因 47 天证据间隔继续只收运行证据、不报行情。