「几何上下文注意力」共找到 899 篇相关文章
GLM-5架构曝光，智谱两日涨60%：采用DeepSeek同款稀疏注意力
GitHub代码确认GLM - 5架构细节，它采用DeepSeek - V3/V3.2架构，含稀疏注意力和多Token预测，参数量745B。OpenRouter上神秘「Pony Alpha」被指是其测试版，受消息影响智谱AI港股两日涨60%。
Claude 这个更新，让模型能力提升10%+！
Claude开放100万上下文长度更新，实际可用空间接近8倍提升。数据显示，上下文越长Claude与其他模型差距越大。API取消溢价，还更新图片/PDF上限、将Adaptive Thinking转正式版。
Gemini CLI 新升级：深度集成 VS Code，终于不用在终端和编辑器之间反复横跳了
Google发布Gemini CLI重要更新，实现与VS Code深度集成，从架构层面解决AI编程助手的上下文感知问题。新版本有工作区上下文感知和原生差异对比界面两个核心功能，还给出部署要求。
轻量级开源AI多智能体框架！智能路由+上下文管理，前后端接口支持！
随着多智能体系统成对话式AI新趋势，GitHub现轻量级高灵活性多AI智能体协调框架Agent - Squad，它能实现多智能体协作、路由和上下文共享，支持双语言，部署灵活，功能强大且安装友好。
ICML 2025 | M+框架来了，增加LLM隐空间记忆，不再受上下文窗口限制
本文提出M+长期隐空间记忆扩展框架，在MemoryLLM之上，将8B级模型有效记忆跨度从不到20k提升到160k+，显存占用不变。它解决了现有记忆模型冗余、冲突难解等问题，为下一代语言模型提供支撑。
万字长文！大模型(LLM)推理优化技术总结（非常详细）
文章聚焦大模型推理优化技术，介绍推理过程分预填充与解码阶段，还阐述模型并行、注意力机制优化、模型优化及服务技术等，如多查询注意力减少内存，FlashAttention 优化计算顺序。
AI失忆术！只需3个注意力头，就能让大模型忘记「狗会叫」
Meta和纽约大学团队发布论文《From Concepts to Components》，提出SAMD和SAMI方法。前者定位模型概念注意力模块，后者微调强度。能让模型‘失忆’，还可增强推理、控制安全，为AI研究开新方向。
普通人也能用得上的 Context Engineering 技巧
现在讨论Context Engineering大多关注高级AI Agent，对普通用户实用性不强。本文总结普通人用AI时的上下文工程技巧，如用更少、更准确的上下文控制输出，从精简和准确两方面展开阐述。
TPAMI | DC-SAM：打破SAM交互限制，基于循环一致性的图像与视频上下文分割方法
北京邮电大学联合南洋理工大学等机构发表论文，提出 DC - SAM 框架及 IC - VOS 基准。DC - SAM 含特征融合、正负双分支循环一致性提示生成等部分，实验在多基准测试获 SOTA 性能，为视觉大模型落地提供方案。
从DeepSeek-V3到Kimi K2：八种现代 LLM 架构大比较
文章对比了DeepSeek-V3、Kimi K2等八种现代LLM架构。介绍各模型独特技术，如DeepSeek V3的多头潜在注意力和混合专家技术，OLMo 2的后归一化策略，Gemma 3的滑动窗口注意力等，探讨架构改进与突破。