「混合专家架构」共找到 2359 篇相关文章
谷歌Ironwood架构TPU v7：用AI造AI，撼动英伟达芯片帝国
11月25日谷歌云发布第七代定制芯片Ironwood，由AlphaChip设计。它以9.6 Tb/s光互联带宽和1.77 PB共享显存池重构大模型推理硬件基准，挑战英伟达芯片地位，展现AI算力竞争新趋势。
比Transformer更强的架构来了？浙大新作Translution，一统卷积和自注意力
随着大模型发展遇瓶颈，浙大等校学者提出神经网络基础操作Translution，实现自注意力与卷积的融合统一，构建更普适神经计算机制。它性能超Self - attention，为新一代神经网络发展开辟新方向。
DeepSeek-R1登顶Nature，8位专家严审通过， 大模型「交卷时刻」来了
近日，DeepSeek - R1登上Nature封面，打破主流大模型未经过独立同行评审惯例。同行评审可理清模型机制，提升透明度与可信度，还能避免‘刷榜’‘自评’，虽有公司担心泄密，但它是验证成果的必要程序。
融云首发“通信+AI”闭环架构，让 AI 有情商、能落地｜甲子光年
8月28日融云在AIM线上发布会推出“通信+AI”产品矩阵，围绕“能落地的好AI”理念打造高情商AI。通信与AI相互增强，构建四层知识体系数字分身，其产品可解决多场景痛点，还能降低开发门槛。
构建能源领域的AI专家：一个多智能体框架的实践与思考
本文介绍阿里团队在能源领域构建多智能体框架的实践。因单智能体处理复杂任务有“注意力发散”问题，团队研发综合能源智能体平台，阐述框架搭建、各组件功能及设计考量，还分享思考与可优化点。
全新 AI 消息模型：Apache RocketMQ 如何让 AI 应用拥抱事件驱动架构？
AIGC浪潮下，大语言模型重塑应用开发范式，开发者构建AI应用面临诸多挑战，需可靠高效的异步通信机制。Apache RocketMQ在AI时代演进，有轻量化通信与智能化资源调度两大创新，还介绍了多场景实践。
并行革命，32倍吞吐量跃升！英伟达Helix架构突破百万Token推理瓶颈
英伟达推出受DNA结构启发的Helix并行技术，能解决大模型处理长任务时的卡顿问题，提升上下文长度、并发能力并降低响应延迟。不过也有人认为其技术与实用性有差距。
「虾马」之后，openJiuwen社区发布JiuwenSwarm，引领蜂群智能体新架构，开启「养蜂」时代
华为支持的开源AI Agent平台社区openJiuwen发布并开源蜂群智能体JiuwenSwarm，按下“群体智能”加速键。它基于Coordination Engineering理念，有全栈技术体系，在多领域实战效果好，且单Agent能力强。
领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%
Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。
模型汤新做法！Meta｜提出“类别专家汤”：SoCE，大幅提升模型性能，刷新SoTA！
大语言模型领域，提升性能常需高算力、大量数据和长时间训练。Meta提出新型模型汤技术SoCE，通过分析类别相关性操纵模型权重，在BFCL上刷新SOTA记录，为开源社区指明低成本进化之路。