「预训练研究」共找到 3695 篇相关文章
Linear-MoE：线性注意力遇上混合专家的开源实践
近年来，线性序列建模和混合专家（MoE）研究进步大，但两者结合研究少，相关开源实现缺失。上海人工智能实验室团队的 Linear - MoE 首次实现两者高效结合并开源技术框架，实验验证其有诸多优势。
jina-reranker-v3刷新全球重排榜，效率狂飙4.79%
jina-reranker-v3作为LLM时代向量模型，提出“最后但不晚”交互机制，解决文档检索效率与效果权衡、多语言文档重排性能与效率平衡、模型泛化能力和适应性等问题，架构与训练方案有创新。
攻克大模型训推差异难题，蚂蚁开源新一代推理模型Ring-flash-2.0
9月19日，蚂蚁百灵大模型团队开源新一代推理模型Ring-flash-2.0，独创棒冰算法解决训推差异难题，实现稳定训练。该模型仅激活6.1B参数就能打平40B Dense模型性能，降低推理成本。
伯克利最强代码Agent屠榜SWE-Bench！用Scaling RL打造，配方全公开
开源软件工程模型DeepSWE横空出世，基于Qwen3 - 32B，仅用强化学习训练，以59%准确率刷新SOTA。它采用rLLM框架、R2E - Gym环境，用改良GRPO++算法，还介绍了评估策略及训练挑战的解决办法。
刚刚，Anthropic 宣布：Claude 自己长出了意识
Anthropic新研究《语言模型中的全局工作空间》，在Claude神经网络里找到特殊区域J - space，它有独特性质，对应全局工作空间理论。还介绍了发现方法及多个实验，探讨其与意识关系，研究已开源。
我们开源了一个可以降低 AIGC 率的模型
毕业季学校查 AI 率，作者为降 AIGC 率，经尝试不同路径后训练出模型。介绍训练数据和过程，包括 SFT、DPO 各阶段，展示改写效果，还开源模型和数据，最后引发对教育检测的思考。
北大团队发布首篇大语言模型心理测量学系统综述：评估、验证、增强
随着大语言模型（LLM）能力迭代，传统评估方法难满足需求。北大宋国杰教授团队论文首次系统梳理LLM心理测量学研究进展，革新评估原则，扩展测量构念与方法，还给出增强方法与未来研究方向。
苹果新论文发出惊人一问：What do your logits know?
苹果AI研究团队提交论文《你的logits知道些什么？（答案可能会让你惊讶！）》，触及大模型底层逻辑及苹果看重的用户隐私与数据安全。研究通过实验揭示模型信息留存状态，指出存在隐私泄露隐患。
论文深度解读：大模型（LLM）加持下的自主无人机分层智能体框架，实现自主规划
文章解读《A Hierarchical Agentic Framework for Autonomous Drone-Based Visual Inspection》论文，介绍分层智能体框架让无人机群自主规划。研究对比三种‘思考模式’与不同‘大脑’组合，还指出未来研究可开发混合系统、混合能力智能体及自适应系统。
幸好图灵不是一位好棋手
本文讲述图灵因棋艺平庸常和唐纳德·米奇对弈，二人合作博弈树算法成AlphaGo核心。米奇受其影响成AI研究先驱，开发算法、程序，其对国际象棋残局的研究影响众多后来者。