「混合位置编码」共找到 653 篇相关文章
谢赛宁盛赞字节Seed新研究！单Transformer搞定任意视图3D重建
字节Seed康炳易团队的最新研究成果Depth Anything 3（DA3），获谢赛宁盛赞。它架构简单，能从多种输入中精准算出物体深度、还原相机位置，在新视觉几何基准上表现出色，核心秘诀是极简设计。
从“卡脖子”到“破局点”：一家中国公司的高端半导体键合突围战
芯师爷专访迈姆思半导体负责人潘总，该公司专注高端半导体材料“再制造”，技术体系有高端SOI制造、异质集成、混合键合三大支柱。其在多领域有领先产品，技术壁垒高，产能将逐步扩大，供应链安全可控。
AGI 新技术路线：下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术，用块间代表交流机制实现线性复杂度，兼具多种注意力机制优点，可满足宇宙尺度建模的上下文长度需求。
长上下文快2.9倍，解码快6倍：Kimi 用线性注意力实现性能与效率双突破
月之暗面团队的Kimi Linear模型，是混合线性注意力架构，核心是Kimi Delta Attention模块。它解决线性注意力的记忆及遗忘问题，在多任务测试表现出色，还开源相关资源，推动高效长上下文模型研究。
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。
DeepSeek R2没来，Kimi K2来了，VLLM，SGLang首发支持
Moonshot AI发布Kimi K2大语言模型，采用混合专家架构，总参数量达1万亿。其有多项技术创新，在多个基准测试表现突出。发布两版本，用修改版MIT协议开源，vLLM、SGlang首发支持，已上线多服务。
最强3B「小钢炮」，代码数据全公开！推理随意开关，128k超长上下文
Hugging Face推出30亿参数模型SmolLM3，支持128k长上下文，训练等全链路开放。它在架构、数据混合策略等多方面优化，性能超Llama3.2 - 3B等，还公开双模式指令模型构建方案。
马斯克Grok 4逆天跑分泄露，「人类最后考试」豪取45%全场第一！
Grok 4跑分提前泄露，在「人类最后考试」中得分高达45%，远超Gemini与Claude，成为当前测试中最强模型之一。马斯克表示Grok 4以「第一性原理」构建推理机制，有望改写LLM格局。
海光整并曙光后，是否会放弃服务器？
5月25日晚，海光信息将合并曙光信息的公告引发关注。二者关系密切且在产业链位置特殊。海光发展势头好，吸并或为提升系统能力。对于曙光是否放弃服务器业务有不同看法，整合还可能冲击华为。
华为 | MoE推理「王炸」组合：昇腾原生盘古推理，性能狂飙6-8倍！
华为团队推出昇腾平台原生Pangu Pro MoE 72B模型，经系统级软硬协同等优化，推理性能提升6 - 8倍。还提出分层混合并行等策略，打造融合算子，设计推理算法，在昇腾不同平台展现卓越性能。