推理 Infra：从计算特征推导系统架构
推理系统不应从组件名开始，而应先问三个问题：一次请求怎样消耗算力和显存，哪些状态能复用，用户能等多久。架构是这些约束推出来的分工，不是产品清单。
本文讨论常见 decoder-only、自回归 Tr
2026-09-15
