搜索：稀疏专家机制

「稀疏专家机制」共找到 1403 篇相关文章

LightMem用3招重新设计了LLM的记忆，结果出乎意料

LLM在超长多轮对话中有上下文窗口有限、记忆系统昂贵的痛点。LightMem借鉴人类记忆机制，用三招重新设计LLM记忆，实验显示其准确率超基线，还降低token使用量、API调用和运行时间。

Jina AI推出第三代重排器Jina Reranker v3，在多语言检索基准上刷新SOTA。它参数仅6亿，有“last but not late”交互机制，能一次性处理查询和文档。还提供动态量化格式，方便不同硬件部署。

本文介绍阿里推出的ROLL强化学习框架，专为LLM训练优化。它设计灵活，不同用户可用其满足业务、探索或线上指标需求。在多任务训练中性能出色，还采用创新机制提升效率，支持自定义操作，适合学术和业务场景。

2026年具身智能转向家庭场景，深穹星核认为面向C端核心是意图理解，推出VLIA模型。其与头部公司合作获意图数据，还与星闪联盟合作推动产品落地，有三层技术护城河，探索长期陪伴机制。

OpenAI发布GPT - 5.4，这是其首个大一统模型，将推理、编程等能力融合，且单项性能领先。它在知识工作、计算机使用、编程调试等能力提升，定位AI数字员工，虽单价高但有省钱机制。

新智元报道，阿联酋MBZUAI团队论文提出CCE和CCA机制，解决AI让不同风格角色同框时的“风格错乱”问题。让憨豆、汤姆等角色自然互动，模型在多角色任务指标上领先，或重写虚构边界。

北大、北邮和华为研究提出纯卷积扩散模型 DiC，抛弃自注意力机制回归 3x3 卷积。它性能超 DiT，推理速度快 5 倍，证明精心设计的卷积网络在生成任务中也能表现卓越。

本文聚焦vllm v1中管控模型分布式推理的核心Executor部分，介绍其4种类型及适用场景，以mp类型为例阐述Executor - Workers架构，还说明了大小数据在两者间的传输机制及原理。

2026奇点智能技术大会4月17 - 18日将在上海召开。大会深入探讨12大前沿专题，邀请众多顶尖学者、技术专家等，涵盖大模型技术、Agent系统、OpenClaw实践等内容，为AI落地绘制认知地图。

随着大语言模型驱动的多智能体系统快速发展，核心问题是有些系统规模扩大后会失稳、低效。美国、英国和澳大利亚研究人员提出三维分类框架描述大规模智能体网络，指出真正决定系统表现的是三种机制组合。