「预训练研究」共找到 3695 篇相关文章
博士宿舍激情脑暴，革新了Scaling Law？Qwen和浙大联手推出新定律，直接干掉95.5%推理内存！
近日，阿里与浙大合作提出并行计算缩放定律 ParScale，可在不增参数下提升大模型能力，推理效率更高。它通过引入并行流实现，在数学、编程等任务表现佳，适合边缘设备，代码已开源。
双榜SOTA！微软ACL2026新作重新定义AI长记忆
大语言模型落地中，AI长期记忆能力成瓶颈，传统RAG方案有局限。微软研究团队提出AI记忆框架Mnemis，受认识论与认知科学启发，在两大权威长期记忆基准达SOTA性能，工作被ACL2026主会议接收。
刚刚，OpenAI内部推理模型斩获IOI 2025金牌！所有AI选手中第一
OpenAI内部推理模型获IOI 2025金牌，总排名第6、AI组第1，沿用IMO金牌版本且未专门训练。商业模型在IOI表现不足，Grok 4相对领先。巨头热衷竞赛，源于竞争、技术迭代及多方利益考量。
千人千面的真人级AI名师，劈开教育「不可能三角」
与爱为舞推出的AI导师能个性化教学，服务百万用户。其用「模型+语音+工程」铸造技术巨剑。经训练，AI可驾驭课堂，再经自研语音模型实现交互，通过链路优化等实现规模化落地，践行「全员皆超级个体」理念。
Day0迁移、一键部署，华为开源的昇思MindSpore成为大模型开发的“万能钥匙”
在大模型无法一统天下的背景下，开发者面临在一个框架、生态体验众多主流大模型和AI技术的难题。华为开源的昇思MindSpore可实现训练Day0迁移、推理一键部署，还介绍了其相关技术和实测效果。
刚刚，OpenAI新Transformer火了！Astra架构首次曝光
OpenAI下一代Astra采用「循环深度」推理方法，思考Token减少但性能提升，不过其思考过程难监控。此前业界已对「循环Transformer」有研究，该架构适合数学编程任务，Astra实力获验证，GPT - 6或即将发布。
Claude的脑子里，也长出了一块「意识」
Anthropic论文研究Claude潜意识与意识，发现其内部有类似人脑功能分层，揪出J - space。经多实验验证其特性，还能用J - lens检验AI“心里话”，但离“AI有意识”尚远。
商汤SenseNova U1深度拆解，原生统一架构终结缝合时代
文章深度拆解商汤科技开源的新一代模型「日日新 SenseNova U1」，介绍其基于 NEO - Unify 原生统一架构，在数据、训练与推理深度协同，多维度测试成绩亮眼，代表多模态从拼接走向原生建模新方向。
Seedance 2.0之后，又一中国视频模型SkyReels-V4登上全球第二
昆仑天工发布SkyReels V4视频大模型，在Artificial Analysis Arena基准测试中排全球第二。它支持多模态输入、音视频同步生成等，采用独特架构与技术，经多阶段训练，有全新评估基准，表现出色。
登顶Hugging Face论文热榜，LLM重写数据准备的游戏规则
企业数据团队面临数据准备难题，传统方法依赖人工规则，有诸多局限。上海交通大学等机构研究团队综述指出，LLM正推动数据准备从“规则驱动”向“语义驱动”转变，还给出技术选型、评估基准及工程指南。