「预训练范式」共找到 2917 篇相关文章
多模态大模型中Attention机制暗藏「骗局」，需用一个公式修正丨上大×南开
上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。
规范驱动开发：让架构变得可执行
文章介绍规范驱动开发（SDD），它是软件架构重大转变，以可执行规范为核心，构建五层执行模型，反转传统架构关系，强调漂移检测，明确人机分工，具备五项核心能力，但采用时也面临多种权衡。
世界最强医疗模型百川M3发布：AI医疗，奇点已至
百川智能发布并开源全球最强医疗模型Baichuan - M3，各项指标SOTA且超越人类医生平均水平。它告别机械‘背医书’，学会主动追问、排查病因，解决AI‘胡说八道’问题，准确度超GPT - 5.2 - High。
DeepSeek开源大模型记忆模块！梁文锋署名新论文，下一代稀疏模型提前剧透
DeepSeek最新论文给Transformer加上“条件记忆”，补上原生知识查找机制。梁文锋署名，与北大团队合作。提出全新范式及Engram模块，解决传统N - gram问题，研究稀疏性分配，验证推理能力提升，兼顾工程优化。
大模型最难的AI Infra，用Vibe Coding搞定
Andrej Karpathy 力荐的 Vibe Coding 在 AI Infra 开发中常「水土不服」，存在上下文丢失、决策偏离、质量不稳定等问题。文章提出文本驱动的 Vibe Coding 方法，并以 Agentic RL 中的资源调度系统为例验证其有效性，还介绍了相关团队和工具。
独家解读｜2025年AI五大趋势与底层数据革命
2025 年 AI 发展重心转移，高质量数据成新基石。本文解读五大技术趋势，如多语种 TTS 与全双工交互、多模态大模型等，还介绍了各趋势的数据需求及数据堂提供的相应数据服务方案。
QwenLong-L1.5发布：一套配方，三大法宝，让30B MoE模型长文本推理能力媲美GPT-5
通义文档智能团队推出QwenLong - L1.5长文本推理专家，提供端到端长文本推理后训练“配方”，含数据合成管线、强化学习方法、智能体架构，在多基准测试成绩佳，代码已开源。
全自研仿真GPU求解器x虚实对标物理测量工厂，打造具身合成数据SuperApp，加速具身仿真生态丨光轮智能@MEET2026
在量子位MEET2026大会上，光轮智能杨海波指出具身智能核心是数据，仿真是解决数据问题的唯一方案。光轮智能自研“测量、生成、求解”基础设施，建立全栈仿真平台，还打造多个“爆品应用”，为具身智能发展提供支撑。
从豆包手机谈起：端侧智能的愿景与路线图
近日，字节跳动发布豆包手机助手，标志大模型应用从‘Chat’迈向‘Action’。文章解析其关键技术，指出虽具实用价值，但端侧智能体面临安全、自主任务、个性化服务等挑战，还展望了手机助手与端侧智能体的未来发展。
刚刚，DeepSeek梁文锋入选Nature年度十大人物！被称为「科技颠覆者」
《自然》评出2025年度十大科学人物，DeepSeek梁文锋入选，被称为「科技颠覆者」。他的公司发布的R1模型功能强大、价格低廉，训练成本低，还开放权重，为研究者提供经验，其成果已融入国人生活。