「预训练研究」共找到 3703 篇相关文章
挺搞笑，MiniMax模型就是不认识「马嘉祺」
网友发现 MiniMax 模型不认识「马嘉祺」，不同接口和平台均能稳定复现。这或因训练数据清洗和分布问题，使特定词汇生成异常。论文指出 tokenizer 机制缺陷或致模型异常，问题不会随参数规模增大消失。
首个测试时共进化合成框架TTCS：在「左右互搏」中突破推理瓶颈
厦门大学DeepLIT课题组提出全新测试时课程合成框架TTCS，不依赖外部标注，通过生成器与求解器共进化博弈合成课程数据，解决测试样本过难导致的训练坍塌问题，实验显示其推理能力提升显著。
智普入局OCR! GLM-OCR 0.9B 也杀进来了~
OCR是上古任务，如今大模型纷纷入局，用1B以下小参数模型搅动解析市场。GLM-OCR能做文本识别等，采用三级架构，有两阶段流水线及训练机制创新，在多场景表现出色。
Science重磅：AI编程新手与资深开发者之间的差距巨大
《科学》杂志发表的AI编程全球调查研究显示，美国程序员提交的Python代码中29%由AI代笔，资深开发者借此拉大与新手差距。研究团队用GraphCodeBert模型分类器扫描代码，揭示技术扩散差异与隐忧。
缩放定律Scaling正慢性死亡，算力收益递减，AI的下一个增长极是模型如何交互
前Google Brain科学家Sara Hooker论文指出，统治AI十年的缩放定律Scaling走向慢性死亡，算力收益递减，研究重点将转向推理时算力和模型如何交互，还分析了算力崇拜兴起、缩放法则裂痕及未来方向。
VinciCoder：多模态统一代码生成框架和视觉反馈强化学习，数据代码模型权重已开源
中科院与美团团队推出 VinciCoder，打破多模态代码生成中 SFT 范式瓶颈。它将奖励机制转向视觉域，通过两阶段策略统一多样化代码生成任务，在多基准测试中表现卓越，为领域研究提供新范式。
拜拜了GUI！中科院团队“LLM友好”计算机使用接口来了
中科院软件所团队研究指出，现有LLM智能体成功率低、效率差的瓶颈在于GUI。其设计与LLM能力错配，团队提出声明式接口GOI，实现策略 - 机制分离，经测试性能提升显著。
复旦、同济和港中文等重磅发布：强化学习在大语言模型全周期的全面综述
来自多所顶尖科研机构的研究者完成长文综述，总结大语言模型全生命周期的强化学习研究，阐述其各阶段应用策略，分析未来挑战与趋势，重点关注 RLVR 技术，有全生命周期梳理等三大贡献。
忘掉大模型，微软实证：小模型才是Agentic AI的未来！
过去两年大模型在数学竞赛题上靠Test - Time Scaling发展遇天花板。微软rStar2 - Agent让14B小模型学会‘写代码→跑结果→改思路’，表现出色。还介绍了其基础设施、算法、训练配方等方法。
波士顿动力Atlas人形机器人再现逆天进化：通用AI机器人真的要来了
波士顿动力为Atlas人形机器人训练全新大型行为模型LBMs，它是语言指令驱动的策略模型，能完成复杂操作任务。构建模型有四步骤，实践遵循三大原则，还展示了其多方面操作能力与特点。