「简单持续预训练」共找到 2892 篇相关文章
华为盘古首次露出，昇腾原生72B MoE架构，SuperCLUE千亿内模型并列国内第一
当前传统 MoE 有专家激活不均衡问题，华为盘古团队提出 MoGE 解决。基于此架构的盘古 Pro MoE 大模型在昇腾集群高效训练，推理性能强，在 SuperCLUE 榜单千亿内模型并列国内第一，赋能业务落地。
Ilya的第一个模型，被曝本月上线
新智元报道，投资人Gavin Baker称Ilya Sutskever创立的SSI本月将发布首个模型。他还提及持续学习等技术或影响英伟达显卡需求，且指出Claude成华尔街“克朗凯特”，带来市场共识同质化。
让AI看懂科研图表：深势科技开源150万高质量科研图文数据集
深势科技开源OmniScience数据集，含150万个高质量图文对。它利用先进工具攻克图文提取难题，经严格筛选成型，涵盖多学科。还设计重写流水线提升图文语义契合度，基于此训练的模型表现优异。
让Agent画思维导图稳固长期记忆：新框架实现稳定长期学习，准确率提升38%
中国电信人工智能研究院研究团队提出TeleMem框架，从数据结构层重新设计Agent记忆组织方式，使记忆可检索、累积、回溯和演化。该框架解决了传统RAG在长期记忆管理和持续学习方面的瓶颈，准确率提升38%。
定位大模型「作弊」神经回路！新研究首次揭示：虚假奖励如何精准激活第18-20层记忆
此前学术界发现大模型用虚假奖励训练也能提升准确率，背后微观机制是黑盒。南科大等团队深度拆解，定位到关键记忆节点，发现‘困惑度悖论’，还能操控记忆，成果对评估、检测和去污染有意义。
揭秘存储超级周期下的机遇与挑战
随着AI算力需求爆发与存储行业超级周期开启，存储芯片价格飙升，引发全产业链连锁反应。这源于AI需求引发的结构性供需失衡，涨价将持续至2026年，还推动半导体产业结构升级。
NeurIPS 2025 | Code Graph Model：重塑代码大模型架构，利用“代码图”突破仓库级编程瓶颈
在 NeurIPS 2025 上，蚂蚁全模态代码算法团队展示「Code Graph Model (CGM)」，它将代码库图结构注入 LLM 底层注意力机制，打破业界刻板印象，在权威榜单上表现出色。文章解析其架构、训练策略和配套框架。
破解空间智能数据稀缺难题，影石开源DiT架构全景生成模型，在线可玩
影石研究院团队推出基于DiT架构的全景图像生成模型DiT360，设计分层混合训练框架，结合透视与全景图像数据，提升真实感和几何一致性。它支持多任务，优于现有方法，为三维场景生成提供新思路。
一篇大模型Agentic框架到应用最新综述
这是首篇系统拆解“大模型Agentic推理框架”的综述，不聊训练，只聚焦如何把LLM组织成会思考、协作、调工具的Agent，横跨科学发现、医疗、软件工程、社会经济模拟四大战场，给出统一语言、视角和评测。
估值840亿AI实验室再放大招，他们要给大模型戴上「紧箍咒」
新智元报道，OpenAI前CTO创办的Thinking Machines Lab发布研究「模块流形」，将传统数值修正转为「预防式」约束优化。它提出新范式，为训练大模型提供新思路，还介绍了流形优化器及相关算法。