推理 Infra:从计算特征推导系统架构
推理系统不应从组件名开始,而应先问三个问题:一次请求怎样消耗算力和显存,哪些状态能复用,用户能等多久。架构是这些约束推出来的分工,不是产品清单。
本文讨论常见 decoder-only、自回归 Tr
2026-09-15