搜索：长上下文理解

「长上下文理解」共找到 830 篇相关文章

SGLang Hierarchical Sparse Attention 技术深度解析

阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架，介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈，以 DeepSeek DSA 集成测试，使推理性能大幅提升，目前项目处于开发阶段。

具身智能有泛化能力瓶颈，构建‘世界模型’成热门赛道。Aether AI获2000万美元种子轮融资，走因果世界模型路线，创始人黄碧薇认为这是世界模型‘终局形态’，能让机器人理解物理规律。

Google加速将Gemini融入核心产品线，向Google翻译引入其能力，带来实时语音翻译Beta版，提升文本语境理解，扩展语言学习工具；还推出实验性浏览器Disco，用AI重构网页浏览体验。

文章围绕使用PTX指令高效加载和存储矩阵展开，介绍`ldmatrix`和`stmatrix`指令格式、适用GPU版本、地址计算逻辑等，给出不同矩阵数量的实现代码示例，助读者理解和应用。

OpenAI 发布语音对语音模型 gpt - realtime，开放 Realtime API。其结合可端到端处理语音，缩短响应时间。模型语音质量、理解能力、函数调用能力提升，API 全面升级，多家企业已试点，还强化了安全措施。

Claude Code创始人Boris Cherny公开团队使用该AI编程工具的完整经验，涵盖并行处理、计划模式等10个实战技巧，还指出理解思想、找到适合自己的工作流程更关键。

Ling-1T是Ling 2.0系列首款旗舰“非思维”模型，总参数量达1万亿。预训练数据超20万亿token，支持128K上下文长度。在多项任务中表现出色，是目前已知最大的FP8训练基座模型，已完成全面评测。

现代大型语言模型（LLM）存在「记忆缺陷」，难以维持长期记忆。近期关于大模型记忆的研究增多，如 MemOS 等。文中介绍了长上下文处理能力与记忆的关系、记忆类型，以及实现 LLM 记忆的多种方法和相关研究成果。

Mamba核心作者Tri Dao团队提出GTA和GLA两种专为推理定制的注意力机制，在减少KV缓存用量、保持模型质量的同时，显著提升解码速度，优化长上下文推理能力。

Andrej Karpathy在推文中反驳将大模型视作「更聪明人类」的观点，指出大模型是「非生物」智能，其进化压力、学习机制、运行方式与人类不同。清楚这是全新智能，对理解大模型很重要。