Onefly's Blog
端侧 AI Infra:VLM 推理优化与软硬件协同 端侧 AI Infra:VLM 推理优化与软硬件协同
端侧 AI Infra:VLM 推理优化与软硬件协同 在机器人、自动驾驶和无人机系统中,多模态模型的价值不只取决于回答是否准确,还取决于它能否在规定时间内稳定地产生动作。一个模型即使离线评测很好,如果首 Token 延迟过高、设备持续运行后
2026-09-08
AI Infra入门与职业发展:从推理优化到系统能力 AI Infra入门与职业发展:从推理优化到系统能力
AI Infra入门与职业发展:从推理优化到系统能力 AI Infra 不是简单地把模型部署到服务器上,也不只是为算法同学提供一套运行环境。它位于模型、软件系统和计算硬件之间,负责把模型变成稳定、可扩展、可观测且成本可控的生产能力。 一场面
2026-08-15