新闻资讯7

小米杨永杰：端侧大模型商业化待突破

InfoQ2025-06-24

AI 摘要

小米小爱同学端侧AI负责人杨永杰表示，端侧大模型商业化落地慢，受设备资源和模型迭代影响。团队自研推理框架，实现超180 tokens/s速度。未来突破方向在硬件进步和模型架构演进。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

Mobius能否颠覆Transformer架构？

自ChatGPT问世，Transformer上限备受关注。前OpenAI、Google负责人称其走到尽头。国内改进架构受算力限制。上海人工智能实验室的书生Mobius团队提出分离知识与推理的架构，有望解决商用等关键问题。

IJCAI 2026将召开，AI算力成本高，参数扩张边际收益低，技术创新逻辑转向‘用得更省’。华为四篇被收录论文，用精巧架构和训练策略，在四方向展现系统化工程能力，提供技术转型路径。

AI-Infra-Auto-Driven-SKILLS v0.1.0 版本整理可用 AI Infra SKILLS 并补充说明，沉淀推理框架开发流程约束，适用于 Codex 和 Claude Code，包含核心技能、SOTA loop、OpenAI 目标和提示等内容。

近年来，CoT 推理成为提升大模型复杂问题求解能力的重要路径，但带来效率问题。浙江大学等团队提出 Heima 框架，将冗长 CoT 压缩为少量 thinking tokens，在减少 token 数的同时保留推理能力，已被 ICML 2026 接收。