「蒸馏方法」共找到 1632 篇相关文章
DeepSeek-R1推理智能从哪儿来？谷歌新研究：模型内心多个角色吵翻了
过去两年大模型推理能力跃迁，谷歌等机构研究指出，推理能力提升源于模型推理时隐式模拟类多智能体交互结构“思维社会”，还提出利用“群体智慧”新方向，并介绍了研究方法、实验结果等。
腾讯LLM团队：对下一个 Token 预测的深入剖析，多样性 or 精准度？
最新研究证实RL能增强LLM推理，但成效受限预训练token分布。腾讯LLM部把交叉熵重写成单步策略梯度，用超参压熵，为RL打造‘低熵高信号’起点，经实验验证低熵模型优势明显。
谷歌推出 Conductor：一款面向 Gemini CLI 的上下文驱动开发扩展
谷歌发布新的 Gemini CLI 预览扩展 Conductor，为 AI 辅助软件开发引入结构化、上下文驱动方法，解决跨会话丢失项目上下文问题。它将开发上下文存于持久 Markdown 文件，支持团队配置，还强调规划优先工作流。
大模型听懂语音却反而变笨？港中深与微软联合解决语音大模型降智问题
从GPT - 4o开启全能交互时代后，Speech LLM面临“模态推理鸿沟”问题，输入从文本变语音，推理能力显著衰退。港中深与微软联合提出TARS框架，通过三项创新解决此问题，实验显示推理能力100%复原。
构建 Agent Native 软件的完整技术指南
Dan Shipper 和 Claude 联合撰写构建 Agent 原生软件技术指南，总结如何重新思考软件架构，让 Agent 成软件一等公民。指南源于实战，介绍构建原则、方法、执行模式等，还提及产品影响、移动端挑战及应对。
AAAI 2026 Oral｜LENS：基于统一强化推理的分割大模型
文本提示图像分割技术有战略意义，但基于监督式微调的方法有泛化能力瓶颈。为此引入LENS框架，采用强化学习机制，还介绍其架构、奖励机制，该框架在测试中表现优异，代码已开源。
极简主义的胜利：清华团队用最简单的强化学习配方刷新1.5B模型纪录
清华、伊利诺伊大学和上海AI实验室团队提出JustRL架构，仅用单阶段训练和固定超参数，在1.5B模型上刷新性能纪录，计算量仅为复杂方法50%，挑战了复杂技术堆叠现状。
倒反天罡！Gemini Flash表现超越Pro，“帕累托前沿已经反转了”
Gemini 3 Flash在SWE - Bench Verified测试中分数超Pro，速度和性价比也更优。谷歌解释是因Flash有未用于Pro的优化技术。开发者认为应停止‘旗舰版迷信’，强化学习让小模型也能实现‘降维打击’。
NeurIPS 2025｜指哪打哪，可控对抗样本生成器来了！
近日，清华大学和蚂蚁数科在NeurIPS上联合提出Dual - Flow新型对抗攻击生成框架。它能从海量图像数据学“通用扰动规律”，对多模型、多类别发起黑盒攻击，为AI安全带来挑战，已用于蚂蚁数科产品。
陶哲轩震撼！数学家1975年埋下的「坑」，被AI和全球网友用48小时填平了
2025年12月，困扰数学界50年的Erdos#1026问题被攻克。陶哲轩宣布，在AI辅助下人类团队仅用48小时就完成证明。传统方法可能需数周甚至数月，AI带来全新理解，生成了新数学洞见。