「稀疏专家机制」共找到 1406 篇相关文章
OpenAI 开源模型泄露：六大技术细节
OpenAI 可能发布的开源大模型细节泄露，包含两款模型，1200 亿参数 MoE 模型和 200 亿参数稠密模型，专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。
无需验证器的RL：RLPR解锁LLM通用推理潜能
现有依赖强化学习与可验证奖励（RLVR）提升大语言模型（LLM）推理能力的方法，受限于领域特定验证器。本文提出RLPR框架，利用LLM生成正确答案的固有概率作奖励信号，实现无需外部验证器的通用领域强化学习，效果显著。
ICML 2025杰出论文出炉：8篇获奖，南大研究者榜上有名
本周一，ICML 2025公布最佳论文奖项，共8篇获奖，含6篇杰出论文奖、2篇杰出立场论文奖，南京大学研究者上榜。大会投稿量持续增长，展示AI领域火热。文中介绍了各获奖论文的研究内容与成果。
用动作分块突破RL极限，伯克利引入模仿学习，超越离线/在线SOTA
如今强化学习在多领域成果显著，但在长跨度、稀疏奖励任务中表现欠佳。加州大学伯克利分校研究者提出Q - chunking方法，将动作分块引入基于时序差分的强化学习，解决探索效率和值传播问题，实验表现优异。
DeepSeek R2没来，Kimi K2来了，VLLM，SGLang首发支持
Moonshot AI发布Kimi K2大语言模型，采用混合专家架构，总参数量达1万亿。其有多项技术创新，在多个基准测试表现突出。发布两版本，用修改版MIT协议开源，vLLM、SGlang首发支持，已上线多服务。
谷歌AI将攻破200年数学难题！39岁天才率队密研三年，或摘千禧年大奖
谷歌DeepMind携手39岁数学天才Javier Gómez Serrano，率20人团队秘研三年，借AI冲击千禧年大奖难题——纳维 - 斯托克斯方程，预计未来12 - 18个月取得成果，若成功将助人类深入理解多领域机制。
产业服务 | AI数智文创，谱写文旅新篇章—北京AIGC视听产业创新中心·创投会（第二期）圆满成功
北京AIGC视听产业创新中心·创投会（第二期）近日落幕。活动汇聚业内企业、院校、专家等，搭建三维平台征集项目。入围项目涵盖多领域，还有特别分享。活动推动AI与文旅融合，为产业发展提供支持。
西湖 & 浙大 | PiFlow：让AI拥有“科学直觉”，Agent用于科学发现的新范式！
西湖大学团队提出PiFlow，一个基于信息论的自动化科学发现框架。它将科学发现视为结构化的不确定性降低过程，由科学原理指导，通过Min - Max优化机制平衡探索与利用，在多领域实验中效果显著，应用前景广。
全球首个AI智能体「自进化」开源框架来了！一次部署，终生可用
英国格拉斯哥大学团队发布全球首个AI智能体自进化开源框架EvoAgentX，打破传统多智能体系统构建与优化限制。它有自动化构建、自进化机制和系统性评估亮点，实验验证其性能提升显著。