「attention去偏」共找到 297 篇相关文章
ICLR 2026｜首个微观世界模型MicroVerse来了，AI开始模拟看不见的世界
过去两年，世界模型成为大模型演进重要方向，但现有模型多聚焦宏观世界。本文提出MicroVerse模拟框架，将研究边界拓展到微观尺度，还推出MicroWorldBench评测基准和MicroSim - 10K数据集，推动AI从视觉模拟迈向科学模拟。
传统训练效率很低？我们靠 “给模型降噪” 重新审视长上下文建模难题
文章指出长上下文模型处理长文本时易受噪声干扰，提出新评估指标IG分数和“上下文去噪训练（CDT）”方法。实验表明CDT优于现有策略，经其训练的开源模型在长上下文任务中性能媲美GPT - 4o。
DeepSeek-R2为什么还没发？
全网期待的DeepSeek - R2再次被曝推迟。The Information称因CEO不满其表现，且可能因缺英伟达H20芯片致研发慢。回顾其“难产”过程，网友看法不一，有人认为延迟值得，有人推测要等V4。
读完这篇，你就搞懂 DeepSeek v4 了
2026年4月24日，DeepSeek全新系列模型DeepSeek - V4预览版上线并开源，评分接近‘闭源三巨头’。该模型强在1.6T参数+1M上下文，还有从attention到kernel的系统级重构与优化，在架构和工程层面均有创新。
OpenAI推理第一人离职，7年打造了o3/o1/GPT-4/Codex
刚开年，OpenAI推理模型第一人Jerry Tworek离职，他在OpenAI近七年，是构建o3、o1、GPT - 4等的关键人物。他称离职是去探索在OpenAI难以开展的研究，网友有感谢赞叹也有因人才流失而沮丧。
软件的新玩法：如何 Fork 一个技能库｜AGIX PM Notes
文章围绕软件新玩法展开，指出软件正从面向人向面向机器转变，Claude Skills 代表新范式，软件或消解为面向 LLM 的 skill.md 文件。还涵盖市场总结、AI 动态及 ETF 知识等内容。
ICCV 2025 | EPD-Solver:西湖大学发布并行加速扩散采样算法
扩散模型成生成任务主流技术，但逐步去噪机制致推理延迟大。西湖大学提出 EPD - Solver 算法，融合三类加速思路优势，可减少积分误差、提升生成质量，还能作插件集成，突破扩散模型速度与质量权衡瓶颈。
性能最高提升7倍？探究大语言模型推理之缓存优化
文章探讨大语言模型推理缓存优化技术演进与未来展望，介绍了主流推理框架vLLM、SGLang，分析KV Cache、Paged Attention、Prefix Caching等技术的优化点，还提及LMCache、DeepSeek的缓存技术，最后提到MCP赋能可视化OLAP智能体应用。
Qwen3.8-Flash：全新架构，更强更稳更划算
本文介绍了 Qwen3.8-Flash 多模态 MoE 模型，它原生支持 262,144 token 上下文。该模型在 Attention、Residual、Embedding 与 Optimization 四个方面系统升级，降低训练与推理成本，即将上线千问 AI 平台。还发布了 Qwen3.8-Flash-Next 开源权重。
11篇顶会论文之外，美图影像研究院做了一件事：让大众爱用AI
过去两年，AI 生成图片、视频变得容易，但让 AI 理解并按创作者意图创作很难。美图影像研究院过去几年围绕高频创作场景痛点展开研究，11 篇论文被国际顶会接收，成果通过产品落地转化为 AI 影像能力。