「SFT训练集」共找到 2532 篇相关文章
AGI 新技术路线：下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术，用块间代表交流机制实现线性复杂度，兼具多种注意力机制优点，可满足宇宙尺度建模的上下文长度需求。
Hugging Face 推出 GOLD：让不同模型家族也能做知识蒸馏
Hugging Face研究团队提出GOLD方法，解决了知识蒸馏中老师和学生模型需用同一套分词器的痛点，让不同模型家族间也能做知识蒸馏。它通过三步解决跨分词器蒸馏，实验效果良好，已集成到TRL库。
AI时代，为什么你又焦虑又学不进去？这个人破解了专注力的秘密
文章指出AI时代人们学不进去，原因在于信息爆炸、AI工具易致分心，本质是没学会处理学习不适。介绍了Time Boxing、“10分钟法则”等应对方法，强调专注力是新学习力，要预先规划建立学习系统。
AI打通第一/第三人称视觉，跨视角视觉理解新SOTA｜ICCV 2025 Highlight
INSAIT、复旦大学等联合提出ObjectRelator框架，让AI精准匹配不同视角下同一物体，实现跨视角统一表征与理解。它在Ego转Exo和Exo转Ego任务上超基线模型，已被ICCV 2025接收，代码开源。
谢赛宁团队用RAE实现从8%到84%的飞跃，宣告VAE时代结束
谢赛宁团队用RAE新架构将ImageNet图像生成FID刷到1.13，宣告VAE组件过时。RAE结合先进表征学习成果与强大生成模型框架，解决诸多问题，还为其高维潜空间定制DiTDH架构，性能优异。
一个模型装下整个物种树！伯克利GPN-Star斩获基因预测双料冠军
加州大学伯克利分校等机构推出基因组语言模型GPN - Star，可将全基因组比对和物种树信息装进大模型。它克服传统GLMs短板，实现三点升级，在多基准测试表现出色，是强大的全基因组变异解读框架。
Andrej Karpathy回应强化学习之父Sutton最新观点「LLM是“死路一条”」
图灵奖获得者、强化学习之父Richard Sutton认为当前热门的大语言模型是“死路一条”，因其缺乏从实际互动中学习的能力。AI大神Andrej Karpathy认同其批评，认为当前LLM是向现实妥协的产物，还提出了“幽灵”比喻。
NeurIPS Spotlight｜运动遮挡都不怕，0先验、一段视频精准预测相机参数
论文一作李放等为解决传统方法在动态场景预测相机参数的难题，提出 ROS - Cam 方法，涵盖补丁式跟踪滤波器、异常值感知联合优化、双阶段训练策略，代码即将开源。
他，37岁华裔，靠AI成为福布斯400最年轻亿万富翁，身价180亿美金！
37岁华裔Edwin Chen成《福布斯400》最年轻亿万富翁，身价180亿美元。他拒绝VC融资，用积蓄打造估值300亿美元的AI数据标注公司Surge，希望让AI学会「人类的复杂性」，还担忧AI模型被错误优化。
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS，能处理一千万token输入。它替代注意力层，训练后在长上下文任务中表现佳，但小模型，大规模表现未知。