超稀疏MoE」共找到 2280 篇相关文章

算法论文7

生成式推理再排序,可能会是LLM4RecSys的新突破口吗?

Meta AI研究者尝试把推理模型引入推荐系统再排序阶段。论文通过监督微调等赋予模型推理能力,LLM4Recsys标杆。中期内化物品语意ID,生成推理路径,推理赋能再排序,披露重排序提升空间。

机器之心
开源动态8

一周10来个模型被开源,阿里Qwen杀疯了~

阿里通义千问这周开源众多模型,如Qwen3 - Omni、Qwen - Image - Edit等,涉及全模态、图像编辑、安全审核等多领域。各模型能力出色,如Qwen3 - Omni能处理多模态输入,Qwen3 - VL表现部分闭源模型。

PaperAgent
新闻资讯8

2025临界点:AI智商越人类,经济规则即将改写

AI平均智商110,2025年将参与经济全链条操作。AI经济浮现,具备全天候自动运行、无劳动力供给限制、或成非稀缺经济等特点,还能降低交易成本、减少非理性决策,或带来人类第三次理性化浪潮。

新智元
新闻资讯7

中科闻歌完成新一轮战略融资,引领企业级人工智能技术发展

近日,中科闻歌完成新一轮战略融资,投资方为石景山区产业基金。融资用于自研决策智能操作系统DIOS研发与推广。中科闻歌技术实力强,有全栈自研体系,已服务千家客户,后续将深耕多领域并拓展海外市场。

量子位
新闻资讯7

Cursor押注云端Agent!CEO 放话:审核AI代码是开发者最核心竞争力

Cursor CEO 称 AI 编程进入第三时代,智能体可少人工介入完成复杂任务,开发者角色转变。Cursor 团队三分之一 PR 由云端智能体生成,不过这引发了开发者对代码审查、工作流、安全等问题的讨论。

InfoQ
产品应用8

首个真正“能用”的LLM游戏Agent诞生!可实时高频决策,思维链还全程可见

参数科技推出全新游戏智能体COTA,它由大模型原生驱动,操作似职业选手,决策如教练,推理链路清晰。在自研FPS游戏Demo中表现出色,还打破‘不可能三角’,有望重构游戏人机关系。

量子位
开源动态8

Valkey 9.0 引入多数据库集群、原子级槽位迁移,并带来大幅性能提升

Linux 基金会宣布开源内存存储方案 Valkey 9.0 正式发布。它有原子级槽位迁移、哈希字段过期等新特性,支持编号数据库集群,可扩展到 2000 节点,每秒处理 10 亿次请求,性能大幅提升。

InfoQ
开源动态8

OpenAI 迈出关键一步:LLM 黑盒不再是盲盒

OpenAI开源新研究成果,提出全新范式,训练权重稀疏的Transformer模型以提取人类可理解的电路。该方法分三步,关键结果显示稀疏模型优势多,但也存在训练成本高、规模有限等局限,还给出两条未来路线。

PaperAgent
新闻资讯7

100亿美元联姻,Meta与Google的AI云计算豪赌

近日,Meta与Google签署100亿美元、为期六年的云计算协议,Meta用Google Cloud支持AI基建。该交易规模大,源于Meta算力需求迫切与Google TPU优势,也反映AI军备竞赛现状,预示行业新格局。

AIGC开放社区
算法论文8

DeepSeek-GRPO重要性权重设计错误?详解Qwen3新强化学习算法GSPO

论文指出GRPO在大语言模型训练中不稳定,因其重要性权重设计错误易引入高方差噪声。为此提出GSPO算法,从序列维度计算梯度,解决了MoE模型RL训练的稳定性问题,在Qwen3上效率更高。

深度学习自然语言处理