「稀疏专家机制」共找到 1433 篇相关文章

开源动态8

刚刚,DeepSeek 突发梁文锋署名新论文:V4 新架构提前曝光?

今天凌晨,DeepSeek在GitHub开源新论文与模块Engram,论文提出“查—算分离”机制,通过可扩展查找记忆结构提升模型表现。Engram将记忆与计算职责分离,或成V4核心技术,获网友肯定。

InfoQ
新闻资讯7

AI 美妆 ARR 一年增 14 倍达 5500 万美金;另一 Newsletter 阅读 App 融了 600 万美金

海外创业者做的 Newsletter 聚合阅读 App Perch 融 600 万美金,可聚合内容,有语音朗读和 AI 摘要功能,还有类似 X 的推荐机制。同时,AI 美妆产品一年 ARR 增 14 倍达 5500 万美金。

投资实习所
开源动态8

一夜颠覆Sora神话,H200单卡5秒出片!全华人团队开源AI引爆视频圈

UCSD等机构发布FastWan系模型,用「稀疏蒸馏」训练方案,让视频去噪速度飙升70倍。FastWan在单张H200上5秒生成480p视频,模型权重等全开源,改写AI视频生成格局。

新智元
推荐文章8

深入原子世界,他在寻找材料失效的原因

文章介绍了美国宾夕法尼亚州立大学副教授杨洋的材料研究。他利用先进电子显微技术,研究材料在极端环境下微观过程,如空位、虫洞腐蚀和短程有序,旨在理解材料失效机制,推动材料设计优化。

DeepTech深科技
算法论文8

揭示扩散语言模型扩展定律,人大高瓴团队与蚂蚁集团发布LLaDA MoE v2

中国人民大学高瓴人工智能学院与蚂蚁集团合作,首次系统刻画混合专家扩散语言模型扩展定律,据此训练LLaDA MoE v2,实现扩展效率与智能双重突破,将推动其迈向规模化时代。

机器之心
产品应用8

1段话喊来13个“程序员”,阿里Qoder新模式让我躺着当CTO

作者实测阿里Qoder「专家团模式」,该模式下Qoder组织赛博工程团队,自动解析需求、分配任务,多智能体协同推进项目,解决了代码质量和效率问题,开启多智能体协同编程时代。

量子位
算法论文8

马斯克惊叹!DeepSeek和Kimi先后出手,捅破了Transformer的「潜规则」!

文章介绍了DeepSeek和Kimi在残差连接上的突破。DeepSeek让连接权重可学习,用数学约束保证稳定性;Kimi将注意力机制用于层间连接,解决了更根本的问题,性能提升显著。

花叔
算法论文7

多智能体大语言模型中的人类自适应协作

尽管大语言模型有进展,但纯自治多智能体系统有局限。为此提出 HILA 框架及双环策略优化机制,结合 DLPO 的 HILA 在基准测试中表现出色,为构建 Agentic 系统提供指导。

深度学习自然语言处理
算法论文8

Meta通过简单算术解锁LLM SoTA性能

大型语言模型训练耗算力与时间,传统模型融合方法有局限。本文提出SoCE新方法,通过筛选专家模型、非均匀加权平均融合,在多评测中实现先进性能,为LLM优化提供新思路。

深度学习自然语言处理
新闻资讯8

Cloudflare 用 Rust 重写核心系统:CDN 性能提升 25%,响应时间缩短 10 毫秒

Cloudflare 宣布用 Rust 重写核心子系统,响应时间缩短 10 毫秒、性能提升 25%。基于代理框架 Oxy 构建 FL2,创建中间层让 Rust 模块在旧系统运行,还制定测试发布策略及回退机制。

InfoQ