Onefly's Blog
推理 Infra:从计算特征推导系统架构 推理 Infra:从计算特征推导系统架构
推理 Infra:从计算特征推导系统架构 推理系统不应从组件名开始,而应先问三个问题:一次请求怎样消耗算力和显存,哪些状态能复用,用户能等多久。架构是这些约束推出来的分工,不是产品清单。 本文讨论常见 decoder-only、自回归 Tr
2026-09-15
Agent 走向生产:从任务完成到证据闭环 Agent 走向生产:从任务完成到证据闭环
Agent 走向生产:从任务完成到证据闭环 一个 Agent 能调用工具、输出 JSON,只能说明流程跑通。生产系统还要回答:结果有依据吗?工具失败有没有被掩盖?修改之后,正常任务会不会反而变差? 可信的 Agent,需要把业务判断、错误处
2026-09-15
AI把代码变便宜之后,独立开发者真正要学什么 AI把代码变便宜之后,独立开发者真正要学什么
AI把代码变便宜之后,独立开发者真正要学什么AI 编程工具让“把功能做出来”变得越来越容易。 以前,一个独立开发者的主要障碍可能是不会写某种语言、缺少前端经验,或者没有时间处理工程细节。现在,这些问题依然存在,但模型已经能承担大量编码、测试
2026-08-09
克制:AI时代最稀缺的工程能力 克制:AI时代最稀缺的工程能力
克制:AI时代最稀缺的工程能力我们习惯把能力理解为“能做什么”。 前段时间,我和面试官讨论如何平衡学习与工作。我提到,自己会同时打开多个终端,让多个 Agent 并行推进任务。后来,领导也问过我平时是怎样工作的。当我描述完这套方法后,他们不
2026-07-29
GEO:让 AI 主动推荐你 GEO:让 AI 主动推荐你
GEO:让 AI 主动推荐你用户找工具、买软件、做决策的入口,正在从搜索框转向对话框。 以前你想买一个会议记录工具,大概率会去 Google / 百度搜“AI 会议记录工具推荐”,再从一堆结果里点开、比较、筛选。现在越来越多的人会直接问
2026-06-23
AI代码合入哲学:大型基础设施不能只追求生成速度 AI代码合入哲学:大型基础设施不能只追求生成速度
AI 真正改变软件工程的地方,不是“代码写得更快”,而是让我们第一次正面撞上一个更棘手的问题:代码生产速度已经超过了代码验证速度。 这件事在普通应用里已经足够麻烦,在 Kubernetes、云原生平台、IaC、分布式存储、Servic
2026-06-19