「预训练研究」共找到 3718 篇相关文章
TPAMI 2025 | AI对抗迁移性评估的「拨乱反正」：那些年效果虚高的攻防算法们
本文第一作者赵正宇来自西安交大，针对现有迁移攻击方法缺乏系统公平对比分析的问题，将其分为五大类，在 ImageNet 上对 23 种攻击与 11 种防御方法开展评估，证实评估缺陷会误导结论，解决后有新见解。
让强化学习快如闪电：FlashRL一条命令实现极速Rollout，已全部开源
清华AIR、字节联合团队曾发布DAPO实现大规模LLM强化学习。刘力源、姚峰团队发现DAPO-32B中rollout生成是瓶颈，推出FlashRL，应用INT8/FP8，用TIS解决不匹配问题，加速显著且不牺牲性能，一条命令即可使用。
14%论文都有AI代写？Nature：每7篇就有1篇藏有ChatGPT特征词
据Nature报道，研究发现在2024年PubMed上超20万篇生物医学研究摘要频繁出现LLM特征词。部分国家和学科中，AI辅助写作比例超五分之一且趋势上升，作者还会引导LLM规避痕迹。
微软再放LLM量化大招！原生4bit量化，成本暴减，性能几乎0损失
微软公布BitNet v2，性能几乎0损失，占用内存和计算成本显著降低。它首次实现对1比特LLMs的原生4比特激活值量化，通过H - BitLinear模块处理异常通道，实验显示其在多方面表现优异。
RAG搜对了却答错？德国萨尔大学找到了真相丨ACL'26
RAG已成大模型落地标配技术，但存在搜到对的文档、模型答案却离谱的痛点。德国萨尔大学等组成的团队诊断出问题在阅读理解，提出Disco - RAG框架，在“搜”和“答”间加“读懂”环节，已被ACL 2026主会录用。
吞下17亿图片，Meta最强巨兽DINOv3开源！重新定义CV天花板
Meta训出70亿参数「视觉巨兽」DINOv3并完全开源。它用自监督学习，无需人工标注，可生成强大图像特征，在多任务超专用方案，NASA已用其探索火星，还能推动多行业进步。
无需外部数据！AI自问自答实现推理能力进化
卡内基梅隆大学团队提出SQLM框架，这是无需外部数据的自我提问模型，含提问者和解答者角色。通过强化学习最大化期望奖励，设计自监督奖励函数。实验显示其能提升Qwen2.5 - 3B - Instruct多任务准确率。
为什么 AI 搞不定体力活——对话清华大学刘嘉：这才是生物智能最难攻克的“万里长征” | 万有引力
本文是对清华大学刘嘉教授的访谈。他回顾 AI 研究经历，谈 AI 寒冬、研究错误及第一性原理，还分析学术界与工业界差异、AI 现状与挑战，指出大模型缺创造力，人应与 AI 共进化。
林俊旸从阿里离开后首度发声：推理模型的时代快结束了
前通义千问Qwen负责人林俊旸离职后发长文，指出AI正从「推理思考」转向「智能体思考」，分析推理模型发展，谈混合思考模式失败，还提及智能体思考挑战及相关企业、学术界进展。
LLM内部竟藏着众多策略模型？自所&腾讯团队首次揭示大模型RL新机制
中国科学院自动化研究所与腾讯AI Lab团队从可解释性分析出发，发现LLM内部含多个可采样内部策略，揭示不同模型推理熵模式，提出BuPO算法，在复杂推理任务上性能显著优于传统算法。