「架构策略」共找到 2597 篇相关文章
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。
AI Infra进阶：如何让大模型输出确定的结果
文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略，因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响，给出vLLM实现Batch Invariance的方法。
谷歌AGI底座降临！首个原生全模态嵌入模型上线，已实现全模态SOTA
谷歌发布首个原生全模态 Embedding 模型 Gemini Embedding 2，将文本、图、音视频及 PDF 融于统一向量空间，实现跨模态检索，降低架构成本，赋予 AI 连贯「记忆」，是重塑 AI 基建的里程碑。
LLM的RL训练轨迹竟然是线性的？Miaow Lab｜新工作：无需继续训练，直接“预测”未来模型！
文章介绍《Not All Steps are Informative: On the Linearity of LLMs' RLVR Training》，揭示RLVR训练中LLM权重和输出概率线性变化，提出“权重外推”法，可实现6.1倍训练加速，还介绍三种策略及实验结果。
全景视觉的Depth Anything来了！Insta360推出DAP，200万数据打造全场景360°空间智能新高度
Insta360等团队推出全景度量深度基础模型DAP，构建200万量级全景数据引擎，设计三阶段伪标签管线，在模型架构上也有创新，在多项测试中效果优异，项目代码与模型已开源。
“扁平+拓扑”双索引，85页PDF"秒级"推理，MMRag幻觉率骤降76%
文章聚焦多模态长文档视觉问答，介绍现有LVLM - based和RAG - based技术路线及困境。提出MMRAG - DocQA方案，引入‘分层索引 + 多粒度检索’，设计双索引建模相关性与依赖，用互补策略实现证据互补。
ParScale：一种全新的大模型Scaling Law
文章提出并行扩展（ParScale）路线，在不增模型参数下，通过引入并行流提升性能。新扩展定律打破传统范式，两阶段后训练策略降成本，还适用于边缘设备，研究仍在进行。
Anthropic长文：多智能体协作模式，五种方法及其适用场景
Anthropic官方长文总结5种多智能体协作模式及适用场景，指出何时用多智能体或单智能体更好，还分析各模式工作机制、适用场景、易翻车点，给出架构选择和新手操作建议。
AI下半场的战场，从Agent记忆体正式打响
OpenClaw开源项目爆火，标志AI进入下半场走向真实应用。关键在于解决AI在现实中持续干活的问题，核心是Agent Memory。论文梳理该赛道，指出其是系统级记忆体结构框架，未来关键在memory策略可学习。
用Rust重写OpenClaw，Transformer作者下场造了安全版「龙虾」
Transformer八子之一Illia Polosukhin用Rust构建安全版OpenClaw——IronClaw。他指出OpenClaw有数据和资金安全风险，IronClaw以安全为核心，有多项安全设计，未来还会增加策略验证等能力。