「自蒸馏策略优化」共找到 2064 篇相关文章
Transformer终结者！谷歌DeepMind全新MoR架构问世，新一代魔王来了
KAIST、谷歌DeepMind等机构发布的MoR架构，推理速度翻倍、内存减半，重塑LLM性能边界，碾压传统Transformer。它融合参数共享与按需计算，有路由和KV缓存策略，实验显示其性能优越、可扩展性好。
国产芯片比英伟达整体效率更高！？华为 CloudMatrix384 超节点首曝论文，跑 DeepSeek 效率超越英伟达
今年4月，网上曾争论华为芯片效率是否超国际主流。近日华为团队论文公开，阐述在CloudMatrix 384超节点部署DeepSeek大模型细节，性能指标超英伟达体系，还介绍架构、软件栈及适配优化方案。
说句话就能飞！北航发布语言交互的无人机控制模型
北航刘偲教授团队提出语言引导的细粒度无人机轨迹控制研究框架，定义Flow范式。采用模仿学习法让无人机响应指令，构建数据集和仿真评测基准，还提出协作策略和算法，实现真机部署。
破解300年数学难题，智能体大突破！谷歌发布超强AI Agent
今天凌晨谷歌Deepmind发布编程AI Agent——AlphaEvolve，它与Gemini深度集成，能评估算法。它解决了300多年的数学难题，还提出新算法，提升大模型计算效率，可优化GPU指令，架构含多模块。
多模态技术爆发元年，行业应用如何落地？
InfoQ《极客有约》X AICon 直播栏目，邀上海交大赵波、快手高欢、腾讯邵帅探讨多模态大模型。谈及技术挑战、开源闭源、行业落地等，还分享精彩观点，如先大后小蒸馏提效，垂直模型现阶段更优。
在最“卷”的功率半导体市场，罗姆的“中国式打法”
功率半导体行业竞争激烈，罗姆素有“半导体小超市”之称。2026财年一季度，其车载营收增20%，AI服务器业务涨67%。罗姆不打“爆款”，靠“一站式配齐”策略竞争，各领域打法独特，其动向值得关注。
AI工具已成为史上最大流量入口？
作者白杨SEO看到一张称主流AI工具成史上最大流量入口的图，提出质疑。他指出数据存疑，AI用户使用量远不及搜索，商业化也不成熟，还对比国内外AI搜索优化GEO差异，认为企业要提前布局。
告别随机性：Thinking Machines Lab如何实现了LLM推理的完全确定性？
文章指出LLM推理非确定性根源并非GPU并发和浮点非结合性，而是批大小变化致核函数非不变性。作者提出实现批不变操作的策略，实验验证有效，还阐述其对训练、系统可靠性等方面的意义。
ICML 2025 Spotlight | 用傅里叶分解探讨图像对抗扰动，代码已开源
文章聚焦图像对抗净化，现有基于扩散模型策略在时域难解耦干净像素与扰动，损害图像语义。作者从频域研究，用傅里叶分解，发现扰动倾向破坏高频谱，提出注入低频信息，效果显著，论文与代码已开源。
马斯克悄悄改了战场：Grok Build 0.2.60 剑指 Agent Runtime
2026年6月21日，Grok Build发布0.2.60版本更新，未推新模型能力，而是聚焦Runtime细节，针对会话难恢复、长任务易卡住、工具输出易污染上下文等痛点优化，让Agent更稳定可靠。