「载荷部署」共找到 686 篇相关文章
小米小爱同学：资源受限下，实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰，探讨大模型端侧部署难题。团队自研推理框架，实现180 tokens/s推理速度，采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。
深度研究白菜化？谷歌将Gemini级AI研究能力开源
谷歌推出'gemini-fullstack-langgraph-quickstart'开源项目，用Gemini 2.5与LangGraph结合，可构建本地运行的深度研究智能代理系统。介绍其技术架构、工作流程、开发配置、部署扩展，还展示了现代AI应用开发趋势。
80亿美元押注Agent！全球第一CRM收购Informatica
昨晚，全球第一CRM平台Salesforce宣布以80亿美元全资收购Informatica，增强其数据基础，利于部署AI Agent。Salesforce高管认为二者结合能打造全面数据平台。Salesforce早布局Agent，其自研平台Agentforce应用效果显著。
对话许华哲：进家的机器人，先做好这10件事
本文是对许华哲的访谈，他离开星海图创办破壳机器人，切入具身智能C端赛道。许华哲阐述选择进家的原因、产品规划，还探讨数据来源、模型规划、强化学习等问题，分享从科学家到创业者的体验。
清华新框架让大模型学会「精读略读」！实现12倍端到端加速，基准评分翻倍
清华等团队提出全新框架RAM，受人类阅读认知启发，将“精读+略读”混合策略引入上下文压缩，突破现有方法效率瓶颈，在多任务上表现出色，实现12倍端到端加速，为长上下文LLM部署提供新范式。
0.3B参数，600MB内存！腾讯混元实现产业级2Bit量化，端侧模型小如手机App
腾讯混元团队推出面向消费级硬件的“极小”模型HY-1.8B-2Bit，参数量仅0.3B，内存占用600MB。它基于产业级2Bit端侧量化方案，生成速度提升，还通过多种方法提升能力，未来将探索新技术缩小与全精度模型差距。
刚刚，微软全新一代自研AI芯片Maia 200问世
微软原定于 2025 年发布的下一代 AI 芯片 Maia 200 问世。它基于台积电 3 纳米工艺，性能强、能效高，是异构 AI 基础设施重要部分，将为多个大模型提供支持，已部署在美国中部数据中心区域。
92亿美元创纪录营收背后，AMD从英伟达手中“抢”走了什么？｜甲子光年
美国当地时间11月4日，AMD公布2025财年第三季度财报，多项数据创纪录，已悄然抢夺英伟达在AI领域市场。其崛起基于GPU、CPU及软件层面战略部署，在中国市场也有独特策略，但转型仍面临风险。
训练成本暴降99%，35秒出1分钟高清视频！英伟达MIT等引爆视频AI革命
英伟达联合MIT、港大团队提出SANA - Video架构，其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署，重新定义AI视频生成效率极限。