「稀疏专家机制」共找到 1433 篇相关文章
AI圈水太深：OpenAI保密、Meta作弊！国产MoE却异军突起
文章梳理大语言模型发展，从传统稠密架构到稀疏MoE架构，参数从百亿到万亿。介绍OpenAI、Meta等厂商模型，如GPT系列、Llama系列，还提及Mixtral、DeepSeek V3等。指出Meta作弊丑闻，国产MoE模型异军突起。
Mamba 架构实现推理性能超 Gemma3-27B！推理模型开始迈入「无注意力」时代
PromptCoT - Mamba是首个具解码显存常量等特性且推理能力强的模型。当前推理大模型中注意力机制有局限，PromptCoT - Mamba实现无注意力推理，在多评测集超Transformer等模型，为无注意力推理生态奠基。
OpenAI资深研究科学家、Transformer联合作者Łukasz Kaiser领衔，2026 奇点智能大会·北京站正式官宣
2026年，Sam Altman等四位AI界大佬称已进入奇点。11月20 - 21日，奇点智能大会北京站将举行，两大核心会议同期举办。OpenAI资深科学家Łukasz Kaiser将演讲，会议汇聚专家探讨AI前沿与底层技术。
ICML 2026 | 拒绝盲目猜token，阿里x浙大将投机解码带入弹性预算时代
随着大模型参数规模扩大，推理成本成核心瓶颈。投机解码在高并发下有问题，阿里与浙大学者提出 ECHO，将投机树构造建模为预算调度问题，通过稀疏门控和弹性预算调度提升系统收益。
打脸哲学无用！牛津博士教出Claude，自曝百万年薪提示词秘诀
Anthropic驻场哲学家Amanda Askell主导设计Claude的性格等机制，她分享制定有效AI提示词方法，认为需哲学思维。此外还提及不同人对提示词看法，以及大模型存在的「裂脑问题」。
LightMem用3招重新设计了LLM的记忆，结果出乎意料
LLM在超长多轮对话中有上下文窗口有限、记忆系统昂贵的痛点。LightMem借鉴人类记忆机制，用三招重新设计LLM记忆，实验显示其准确率超基线，还降低token使用量、API调用和运行时间。
Jina Reranker v3: 全新“列式”重排器，0.6B参数刷新文档检索SOTA
Jina AI推出第三代重排器Jina Reranker v3，在多语言检索基准上刷新SOTA。它参数仅6亿，有“last but not late”交互机制，能一次性处理查询和文档。还提供动态量化格式，方便不同硬件部署。
ROLL：面向大规模语言模型的高效强化学习框架
本文介绍阿里推出的ROLL强化学习框架，专为LLM训练优化。它设计灵活，不同用户可用其满足业务、探索或线上指标需求。在多任务训练中性能出色，还采用创新机制提升效率，支持自定义操作，适合学术和业务场景。
长得好看又会「看脸色」，这家具身公司不卷「干活」卷「懂你」，天使轮再获数千万战略加注
2026年具身智能转向家庭场景，深穹星核认为面向C端核心是意图理解，推出VLIA模型。其与头部公司合作获意图数据，还与星闪联盟合作推动产品落地，有三层技术护城河，探索长期陪伴机制。
GPT-5.4发布：OpenAI首个大一统模型，简直是龙虾原生
OpenAI发布GPT - 5.4，这是其首个大一统模型，将推理、编程等能力融合，且单项性能领先。它在知识工作、计算机使用、编程调试等能力提升，定位AI数字员工，虽单价高但有省钱机制。