「同策略蒸馏」共找到 1178 篇相关文章
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。
无法蒸馏的美国市场，谁在分食 Frontier Labs 百亿美金预算？
本文围绕美国数据市场展开，分析了数据赛道的投资判断、公司增长难题、需求结构、最新趋势等。指出数据虽重要，但外部数据公司份额难线性外推；真实世界数据成新热点，各细分领域格局和投资方向不同。
同一天两件大事！小模型直接掀翻千亿参数，走向效率为王
5月13日AI圈有两件大事，何恺明团队发布语言模型ELF，面壁智能开源MiniCPM-V 4.6。二者显示AI正从‘堆算力’转向‘省算力’，拉开AI轻量化浪潮序幕，未来小模型或成关注方向。
GLM-5架构曝光，智谱两日涨60%：采用DeepSeek同款稀疏注意力
GitHub代码确认GLM - 5架构细节，它采用DeepSeek - V3/V3.2架构，含稀疏注意力和多Token预测，参数量745B。OpenRouter上神秘「Pony Alpha」被指是其测试版，受消息影响智谱AI港股两日涨60%。
每周产业洞察 | AI视听内容工业化:阶段性风口下的行业应对策略
北京AIGC视听产业创新中心位于朝阳东坝，是朝阳区推动影视制作基地建设的举措。由多方参与，首创郎园负责运营，提供六大服务平台，截至2025年8月汇聚60余家生态伙伴，首创郎园业务多地开花。
微软上线Deep Research：OpenAI同款智能体，o3+必应双王炸
今天凌晨微软在官网宣布，Azure AI Foundry中上线Deep Research公开预览版，这是支持API和SDK的OpenAI高级智能体研究能力产品。它通过必应搜索与GPT系列模型深度协同，将研究流程全面自动化。
同一天，Cursor、ClaudeCode都把 Agent 的手脚伸进了你的内网
9月2、3日，Cursor和Claude Code分别发布功能，让AI Agent工具执行跑在用户网络而非云上，解决企业代码不出内网痛点。这标志AI编程工具进入to B基础设施之争，不过要关注安全信任问题。
你写的Skill，正在拖慢模型？策略式Gene才是正确答案
EvoMap团队与清华围绕‘Skill拖慢模型’问题研究，提出‘Gene’概念。经实验，Gene在控制模型表现上优于Skill，还定义了GEP协议。其成果在CritPt基准测试表现出色，为Agent经验复用提供新方向。
10 年后，Kimi 团队重新发明残差连接。马斯克和 Karpathy 同时点赞
Kimi团队发布技术报告，提出用Attention Residuals替换残差连接。实验显示其在各尺度模型上表现优于基线，降低训练成本。马斯克和Karpathy点赞，这或标志深度学习基础范式进入重新讨论阶段。
56倍加速生成式策略：西交大提出EfficientFlow，迈向高效具身智能
生成式模型在机器人和具身智能领域面临训练依赖大量数据、推理慢的问题。西安交通大学团队提出EfficientFlow，融合等变建模与高效流匹配，提升数据效率，压缩推理迭代步数，在多基准实现SOTA，推理提效显著。