「Merge Attention States」共找到 90 篇相关文章
中国AI创业者重登GTC舞台：杨植麟用技术语言讲了一个智能上限突破的浪漫故事｜甲子光年
美国当地时间3月17日，月之暗面（Kimi）创始人杨植麟在英伟达GTC演讲，介绍Kimi技术路线图。他提出开源模型要出色，给出Token效率、长上下文、智能体集群三个概念，还探索了未来架构，且将创新开源。
100万亿Token揭示今年AI趋势！硅谷的这份报告火了
OpenRouter和a16z联合发布《State of AI：An Empirical 100 Trillion Token Study with OpenRouter》，基于100万亿Token分析模型真实使用情况，揭示2025年AI发展趋势，如开源模型崛起、推理模型成新范式等。
Agent项目最头疼的不是技术，这可能是近期最棒的Agent调研。
MMC深入访谈多家AI Agent创业公司创始人和企业用户，撰写《State of Agentic AI: Founder’s edition》。调研显示创始人头疼的多是非技术问题，还分析了准确率与主动性、定价策略等情况。
为MoE解绑：全新「专家即服务」推理架构发布，超细粒度扩展锐减37.5%成本
近年来大模型推理开销增长，MoE架构虽能避免计算量同比增，但带来扩展性差、容错性低、负载不均等问题。为此作者提出全新「专家即服务」推理架构EaaS，实验显示它能锐减37.5%成本。
「我受够了Transformer」：其作者Llion Jones称AI领域已僵化，正错失下一个突破
颠覆性论文《Attention is all you need》作者之一Llion Jones在TED AI大会称厌倦Transformer。他认为AI领域资源多但创造力降，过度聚焦单一架构或错失重大突破，建议调高‘探索旋钮’并分享结果。
ICLR2025 | LLM为什么能拒绝回答有害问题呢？
该论文首次系统性研究注意力头在LLM安全中的作用，提出Ships和Sahara方法，在极少参数改动下显著降低模型安全性，发现不同模型安全头高度重叠，为理解模型安全机制提供新视角。
视频世界模型困在像素网格里：腾讯开源SCoPE，用射线空间重写位置关系
香港大学、香港科大与腾讯ARC Lab联合提出SCoPE，让视频模型处理位置关系的基底从张量网格转向射线空间。它将相机射线坐标注入Video DiT，新增参数不到原模型0.1%，多方面表现获改善。
清华刘知远团队论文：最小化结构改动，短文本到长文本丝滑升级 | ICLR 2026
大语言模型发展中，上下文长度成关键瓶颈，主流架构计算开销大。清华刘知远团队提出《InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation》，提出可切换注意力框架，为长上下文研究提供新思路。
美国知名风投 BVP 年度 AI 报告：Memory 和 Context 将是新的护城河
美国知名风投 BVP 发布《The State of AI 2025》报告，研究 20 家 AI 创业公司，梳理 2025 年 AI 创业现状，认为记忆和上下文是新护城河，还对未来趋势如浏览器竞争、视频生成等进行了预测。
从0开发大模型的17种Agent架构演进详细拆解
文章详细拆解从0开发大模型的17种Agent架构演进，介绍各架构解决的问题、状态、拓扑、路由、失败模式等，指出Agent架构本质是控制流设计，还给出架构选择建议及判断新架构的方法。