搜索：线性混合蒙皮

「线性混合蒙皮」共找到 306 篇相关文章

AGI新技术路线：下一代稀疏注意力机制Monte Carlo Attention开源

超对称技术公司开源了 Monte Carlo 注意力机制，用于新版基座模型 BigBang - Proton。它在二进制块编码技术上，用块间代表交流机制实现线性复杂度，解决了传统方法的缺点，可实现理论上无限的上下文长度，对现有预训练技术和硬件设计影响深远。

Exa团队索引超1B+文档、GitHub仓库等内容，exa - code对其混合搜索、分块处理。它是首个为编码代理制作的Web规模上下文工具，在代码幻觉评估中表现超流行网页搜索工具，核心技术有专为AI的搜索引擎和高效返回上下文。

近期，DeepSeek发布V3.1新模型，采用全新混合推理架构，在多任务表现上有提升。它采用UE8M0 FP8，或为国产推理芯片优化机制。国内多家厂商新一代AI芯片支持FP8，未来国产大模型或针对其专门优化。

预训练大模型适应专业领域需高昂微调成本，稀疏混合专家架构虽能提升推理效率，但从头训练耗资源。浙大与Thomson Reuters团队提出SIMoE，单阶段微调就能升级大模型，还解决传统方法两大局限，在性能和效率上双突破。

文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。

开源大模型进入中国时间，Kimi K2风头正盛时，Qwen3迎来升级，235B总参数量仅为Kimi K2四分之一，基准测试性能却超它。Qwen官方不再用混合思维模式，新模型仅支持非思考模式，此次是小更新，大招在后头。