「Token级过滤」共找到 1558 篇相关文章
R2没来，却等来综合性能更优的DeepSeek R1T2
抱抱脸热门排行榜出现R1变体模型DeepSeek-TNG-R1T2，构建于多个父模型之上，在智能与输出token长度间达新平衡点，速度快且测试表现佳，还给出与不同模型对比的选择建议。
小米小爱同学：资源受限下，实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰，探讨大模型端侧部署难题。团队自研推理框架，实现180 tokens/s推理速度，采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。
华为 | MoE推理「王炸」组合：昇腾原生盘古推理，性能狂飙6-8倍！
华为团队推出昇腾平台原生Pangu Pro MoE 72B模型，经系统级软硬协同等优化，推理性能提升6 - 8倍。还提出分层混合并行等策略，打造融合算子，设计推理算法，在昇腾不同平台展现卓越性能。
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。
刚刚，新版DeepSeek-R1正式开源！直逼o3编程强到离谱，一手实测来了
临近端午假期，新版DeepSeek - R1凌晨正式开源，模型权重已上传到HuggingFace。其性能几乎与o4 - mini（Medium）相当，编程实测超越Claude 4 Sonnet。有多项更新亮点，经实测性能获“史诗级”加强。
狂揽20.2k星！还在傻傻的写SQL吗，那你就完了！这款开源项目，让数据分析像聊天一样简单？再见吧SQL
开源项目PandasAI让数据分析像聊天一样简单，由Sinaptik AI团队打造，将ChatGPT级自然语言处理能力注入Pandas。它有对话式分析、智能图表生成等亮点，适用于多场景，还给出使用步骤及与同类工具对比。
YC 开源自家 Harness，3 天斩获 3.9k Star，QM 如何划清 Agent 的权限边界
YC开源的QM项目上线3天获3.9k GitHub Star，定位企业级Agent Harness，解决AI规模化落地管理难题。它补齐企业团队刚需能力，设计贴合企业规则，解决隔离与协作、权限管理问题，顺应行业从拼模型到搭骨架的转变。
AI 时代的新可观测性：不只看系统崩没崩，还要看模型有没有胡说
New Relic首席技术战略官Nic Benders与主持人探讨可观测性从传统到AI驱动的演进，提及LLM与统计方法协同处理海量数据，还讨论了监控AI系统的难题及可观测性核心是理解业务目标。
融资数亿元，我们和贝塔无限刘武龙聊了聊具身系统创新
AI科技评论对话贝塔无限刘武龙，探讨具身智能。刘武龙有丰富华为履历，其团队获数亿融资。他分析技术路线分歧，提出具身大脑定义，还谈数据采集、产品切入与商业化等，认为系统工程团队有望胜出。
LLM近期重大架构进化一览：从Gemma 4到DeepSeek V4
近期大模型长上下文需求增长，成本问题凸显。Google Gemma 4、Poolside Laguna XS.2、Zyphra ZAYA1 - 8B、DeepSeek V4 等模型各有架构优化，如 Gemma 4 跨层 KV 共享和 PLE，以降低长上下文推理成本。