自适应并行扩展」共找到 762 篇相关文章

算法论文8

为大模型思考装上“猎鹰重装引擎” :腾讯混元 SEAT 重塑深度思考

本文深度解析腾讯混元最新发布的 SEAT 自适应并行扩展推理框架。它让大模型 CoT 升级,应对复杂推理任务。该框架通过多轮并行推理和语义熵导航,解决大模型深度思考的局限,且适配多种大模型,性价比高。

AI科技大本营
算法论文8

阿里通义发布并行计算新策略:1.6B等效4.4B,内存消耗骤降95%

阿里通义团队提出PARSCALE并行计算新策略,受CFG双路径推理机制启发,将并行思想扩展到训练和推理全流程。能让1.6B模型性能接近4.4B模型,内存占用大降,还可用于现有模型,无需从头训练。

量子位
开源动态8

SGLang Team:在 96 个 H100 GPU 上部署具有 PD 分解和大规模专家并行性的 DeepSeek

本文介绍 SGLang 团队在 96 个 H100 GPU 上部署 DeepSeek 的方法。利用 PD 分解和大规模专家并行性,SGLang 实现高吞吐量,成本低。博客探讨并行设计、优化方法,所有组件开源,也指出了当前局限与未来方向。

GiantPandaLLM
产品应用8

离谱!现在的Agent都卷成100个成团了?3分钟并行干完5个复杂任务,还能随时改需求

百度文库、百度网盘联合发布全球首个全端通用Agent——GenFlow2.0,能让100+AI专家Agent天团并行工作,3分钟交付5、6个复杂任务,还能随时改需求。它依托权威资料,可控性强,多任务并行,已上线百度文库Web端/APP。

量子位
开源动态8

Transformer 中的专家混合模型 (MoE)

文章介绍Transformer中专家混合模型(MoE),它能解决稠密模型扩展瓶颈。阐述其优势,如计算高效、适合并行等,还介绍在transformers库中支持稀疏架构的演进,包括权重加载重构、专家执行后端、专家并行及训练方案。

Hugging Face
推荐文章7

SubAgent 与 Skills:AI Agent 的两种扩展方式

文章介绍了 AI Agent 的两种扩展方式:Skills 是“操作手册”,让 Agent 按需获取知识;SubAgent 是独立“专家助手”,有自己的上下文窗口。还通过给文章配图案例对比两者差异,并给出使用建议。

宝玉AI
算法论文8

谷歌揭秘:Multi-Agent 推理时扩展才是未来。

谷歌DeepMind和MIT联合发表论文TUMIX,指出Multi - Agent是推理时扩展的最佳方式,以低成本大幅提升准确率。实验表明Agent多样性优于重复采样,还展示TUMIX机制、实战表现,且LLM能设计更强Agent。

探索AGI
新闻资讯7

GitHub 推出 MCP 服务器集成,全面扩展机密扫描功能

GitHub宣布MCP Server全面支持机密扫描功能,将其扩展至AI辅助和代理驱动的开发工作流,可让外部工具和AI工作流访问安全洞察、自动化修复。这反映安全工具正从被动检测转向自动化治理。

InfoQ
算法论文7

谷歌研究院探索多智能体协调的扩展原则

谷歌研究院对180种智能体配置对照评估,得出‘AI智能体系统首批定量扩展原则’。发现多智能体协同效果因任务而异,还指出工具使用瓶颈等问题,且开发预测模型辅助架构选择。

InfoQ
新闻资讯7

Claude for Chrome来了!可作为浏览器扩展程序直接使用

Anthropic发布浏览器agent Claude for Chrome,可作Chrome扩展程序使用,能设日历、回邮件等。目前仅向1000名Max套餐用户开放,因使用浏览器的AI有安全挑战。AI浏览器成巨头争夺战场。

量子位