「模型行为团队」共找到 9291 篇相关文章
VLM剪枝新SOTA：无需重训练，注意力去偏置超越6大主流方案
常用的attention机制存在位置偏置和padding异常，影响剪枝效果。上海大学曾丹团队提出无需重新训练的attention去偏方法，在多模型、剪枝策略及基准上验证有效，为多模态模型部署提供新思路。
推翻「预测下一个token」范式！微信AI新研究：把token压缩成连续向量更具性价比
微信AI和清华团队提出新范式CALM，把token打包成连续向量，让大模型从预测下一个token转变为预测下一个向量。实验表明它能减少生成步骤，在平衡性能和计算成本时性价比更高。
The Batch: 919 | 本地 AI 能否替代云端？
大语言模型预测输出需求推动数据中心扩建，研究人员探讨本地小型模型能否分担算力负荷。斯坦福与Together AI团队研究发现，本地系统单瓦特智能量与云端有差距但在缩小，若准确率相近可节省能耗。
OpenAI和Anthropic费尽心机加密的思维链，竟然能被轻松提取？
围绕大模型蒸馏争议已久，此前外部团队难获闭源模型完整推理。8 月 10 日研究者公开方法，可让弱模型读取旗舰模型密文并输出推理，还发现公开智能体轨迹存在隐私泄露问题，不过未为蒸馏指控提供决定性证据。
算力成本大降！马尔可夫思考机来了，LLM推理成本直接降为线性
用强化学习让LLM具备推理能力耗费颇高，计算量会二次级增长。Mila和微软研究院等团队提出马尔可夫式思考机，重构强化学习形式，让计算量呈线性，实验效果显著，还能与先进模型兼容。
跨芯片统一优化，DLCompiler与DLBlas驱动算子极致表现
9月10日，上海AI实验室DeepLink团队开源DLCompiler和DLBlas。前者是扩展Triton的深度学习编译器，后者是面向大模型的高性能算子库。它们有跨架构DSL扩展等亮点，在多芯片上实现性能优化，还解决了DSA芯片优化难题。
错过它＝落伍！只用一张照片+14秒，腾讯开源 HunyuanVideo-Avatar 带你玩转多角色数字人
HunyuanVideo-Avatar 是腾讯混元团队最新开放的多模态数字人生成模型。上传一张人物图片，再配上一段音频，模型即可在约 14 秒内输出分辨率最高 720p、情绪可控、动作丰富且支持多角色同屏的短视频。
当 AI 下场炒 A 股，「推理」成了新的直觉
海外“AI Trading Battle”实验中，不同大模型交易表现差异大。港科大等团队提出RETuning方法，基于A股数据集验证，显著提升大模型金融预测准确率、推理可解释性，是综合改进方案，但有算力等局限。
DeepSeek-R1超级外挂！“人类最后的考试”首次突破30分，上海交大等开源方案碾压OpenAI、谷歌
上海交大联合深势科技团队发布新研究，在“人类最后的考试”（HLE）上获32.1分创纪录。团队推出工具增强推理智能体X - Master、多智能体工作流系统X - Masters并开源，方案表现优于OpenAI、谷歌相关模型。
DeepSeek揭秘o1后，小红书似乎破解了o3的技术路线，还开源了~
OpenAI闭源后，大家不知其先进模型技术路线，解密成重要任务。DeepSeek R1年初开源后引发关注，小红书团队核心贡献的论文似破解o3谜题，还开源模型等，为训练调优提供可行路线。