「AI预训练范式」共找到 11498 篇相关文章
解决算力瓶颈，给多模态瘦身！Token压缩完整图谱与选型指南
给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余，提升训练与推理效率。北大等团队剖析其全貌，给出完整图谱与选型指南，还揭示了未来演进路径。
多模态大模型中Attention机制暗藏「骗局」，需用一个公式修正丨上大×南开
上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。
GPT-5.3爆更前夜，全网都被一张图吓到！ChatGPT人格大赏
OpenAI华人研究员Joanne Jang一条推文引发ChatGPT生图玩法热潮，它能根据聊天记录生成反映‘待遇’的自画像。近期ChatGPT记忆功能优化，已向全球Pro和Plus用户推出。还有爆料称GPT - 5.3要来了。
本周 5 个超酷 GitHub 开源项目，实用到飞起！
本文介绍本周5个超酷GitHub开源项目。有显示苹果设备电池状态的AirBattery，开源卫星可视化平台keeptrack.space，本地图片压缩工具Pic - Smaller，跨平台端口助手Port - Killer，轻量级AI证件照工具HivisionIDPhotos。
Claude Cowork 解读和 Open-Cowork开源实现
Claude Cowork是Anthropic推出的AI工作代理工具，可操作文件、执行长期任务，现处研究预览阶段。因使用门槛高，GitHub出现开源项目Open - Cowork，零代码门槛、多模型支持，有文件管理等功能。
规范驱动开发：让架构变得可执行
文章介绍规范驱动开发（SDD），它是软件架构重大转变，以可执行规范为核心，构建五层执行模型，反转传统架构关系，强调漂移检测，明确人机分工，具备五项核心能力，但采用时也面临多种权衡。
DeepSeek开源大模型记忆模块！梁文锋署名新论文，下一代稀疏模型提前剧透
DeepSeek最新论文给Transformer加上“条件记忆”，补上原生知识查找机制。梁文锋署名，与北大团队合作。提出全新范式及Engram模块，解决传统N - gram问题，研究稀疏性分配，验证推理能力提升，兼顾工程优化。
Qwen3-VL-Embedding系列上新：探索统一多模态表征与排序
2025年6月曾开源Qwen3-Embedding和Qwen3-ReRanker，现推出Qwen3-VL-Embedding和Qwen3-VL-Reranker。它们基于Qwen3-VL构建，能处理多模态输入，在多任务达业界领先，还介绍了特性、评测及使用方法。
QwenLong-L1.5发布：一套配方，三大法宝，让30B MoE模型长文本推理能力媲美GPT-5
通义文档智能团队推出QwenLong - L1.5长文本推理专家，提供端到端长文本推理后训练“配方”，含数据合成管线、强化学习方法、智能体架构，在多基准测试成绩佳，代码已开源。
全自研仿真GPU求解器x虚实对标物理测量工厂，打造具身合成数据SuperApp，加速具身仿真生态丨光轮智能@MEET2026
在量子位MEET2026大会上，光轮智能杨海波指出具身智能核心是数据，仿真是解决数据问题的唯一方案。光轮智能自研“测量、生成、求解”基础设施，建立全栈仿真平台，还打造多个“爆品应用”，为具身智能发展提供支撑。