搜索：上下文架构 - AI Reading Hub

「上下文架构」共找到 2347 篇相关文章

融资 1200亿后 Kimi 再扔王牌，新架构爆改 Transformer 老配件，比 DeepSeek 同款还省钱

Kimi 发布新论文，提出“注意力残差”架构改进 Transformer 残差连接，解决“稀释问题”，让 AI 更聪明、更省钱，还推出“分块注意力残差”优化成本。与 DeepSeek 方案对比，Kimi 方案性价比更高。

最近基模发布多，OpenAI 俩更新被低估忽略。一是 GPT - 5.6 Sol 的 Ultrafast 模式，输出最高达每秒 750 Token，先向少量 API 客户开放；二是 Codex 为其开放百万上下文能力，不过大窗口有代价。

一家AI穿搭+购物推荐的出海应用DAU破亿，但算力和传输成本高，ARPU远低于成本。该企业转向Akamai推理云，换用RTX PRO 6000，缩减服务器集群，降低成本，采用跨云架构过渡，实现零阵痛平替。

日前腾讯混元 TurboS 技术报告全公开。它是超大型 Hybrid Transformer - Mamba 架构 MoE 模型，有自适应长短思维链机制，总参 560B。在多榜单成绩亮眼，多语种和多任务处理能力强，还介绍了核心创新、训练策略等。

为解决开源模型在仓库级代码理解上的能力瓶颈，蚂蚁全模态代码算法团队提出 CGM 架构，融合仓库结构与语义信息。CGM 首创图结构与语言模型融合的对齐框架，还搭配了 GraphRAG 框架，在多个代码任务中表现出色，且相关资源均已开源。

Vercel推出新AI模型v0系列，采用复合模型架构，将RAG专业知识、SOTA大模型推理能力和定制流式后处理模型结合，能提升代码生成质量，且基础模型升级时可快速替换，还训练了定制AutoFix模型。

NUS、ZJU 等联合提出「ThinkMorph」，主张文字与图像在统一架构「原生协作」。仅用 2.4 万条数据微调 7B 统一模型，视觉推理平均提升 34.74%，多项任务比肩或超 GPT - 4o 和 Gemini 2.5 Flash，还涌现新能力。

快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。

Coding agents 是应用型 AI 活跃领域，但团队常重复构建脆弱基础设施。OpenAI 的 Codex 提出“模型和 Harness 共同构建”，架构师介绍构建挑战与使用模式，还阐述了将模型适配到 Harness 的问题及未来发展方向。

当今机器人导航系统在复杂室内环境面临挑战，字节跳动研发创新双模型架构Astra，含Astra - Global与Astra - Local子模型。经实验验证其性能佳，未来有广阔应用前景，但也存在需改进之处。