「预训练研究」共找到 3727 篇相关文章
ICCV 2025 | 清华&腾讯混元X发现「视觉头」机制：仅5%注意力头负责多模态视觉理解
本文聚焦多模态大模型，提出基于 OCR 任务量化注意力头视觉偏好的方法，发现仅不到 5%“视觉头”主导视觉理解。还提出 SparseMM 策略优化 KV - Cache 资源分配，经多基准评测，性能和效率表现优。
揭示隐藏联系：RLHF/DPO即对比学习！
大型语言模型输出符合人类价值观是挑战，主流技术RLHF复杂、昂贵且不稳定，DPO简化流程但有训练崩溃问题。论文揭示RLHF/DPO即对比学习，提出MIO算法解决DPO崩溃，实验验证其性能优势。
Hinton为给儿子赚钱加入谷歌，现在痛悔毕生AI工作，“青少年学做水管工吧”
被誉为‘AI教父’的Geoffrey Hinton在访谈中称后悔毕生AI工作。他列举网络犯罪、超级智能威胁等AI风险，建议青少年学做水管工避职业危机，呼吁AI公司研究安全并加强监管。
AI发现医生看不见的隐藏心脏病风险，近90%准确率远超人类专家｜Nature子刊
登上《Nature》子刊的研究显示，约翰霍普金斯大学团队开发的多模态AI模型MAARS，用深度学习处理原始MRI图像，实现对心源性猝死风险高精度预测，准确率达89%，还能辅助制定个性化医疗方案。
这个推理模型：HRM ，只用2700万参数，超越了DeepSeek和Claude
Sapient Intelligence研究者受大脑机制启发提出分层推理模型HRM，它是全新循环架构，仅2700万参数、1000个训练样本，就在复杂推理任务上表现卓越，还引入近似梯度等方法，有推动通用计算变革潜力。
微软推出深度视频探索智能体，登顶多个长视频理解基准
尽管LLMs和VLMs在视频分析和长语境处理有进展，但处理数小时长视频有局限。微软提出智能体Deep Video Discovery (DVD)，以简洁框架在LVBench取得高准确率，将以MCP Server形式开源。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
更多thinking≠更好结果，精准thinking可砍掉一半长度
当前大模型如GPT - 4、DeepSeek推理又长又啰嗦，论文发现其在简单题目上过度推理。作者提出‘无效思考’概念，还给出解决原则，用LC - R1方法训练，效果显著，揭示精准思考才是王道。
田渊栋：连续思维链效率更高，可同时编码多个路径，“叠加态”式并行搜索
AI大牛田渊栋团队利用连续空间“叠加态”让大模型并行推理，提升图可达性等任务表现，为连续思维链提供理论支持。还设计注意力选择器等机制，实验显示连续思维链模型准确率更高。此外，田渊栋还是科幻小说家。
40岁开始预防衰老最有效！1.9万人脑扫描揭秘：大脑衰老有“关键窗口期”
一项发表于《美国国家科学院院刊》的研究，分析超1.9万人功能性磁共振成像，发现大脑衰老非线性，与胰岛素抵抗增加相关。还发现酮体可绕过胰岛素抵抗供能，40 - 59岁干预效果最佳。