「动态计算分配」共找到 1108 篇相关文章
DeepSeek发布最新论文,5大杀手锏让大模型训练、推理暴涨
全球著名开源大模型平台DeepSeek在huggingface发布超强开源模型V3的论文,从硬件架构和模型设计双视角探讨高效训练和推理,提出DeepSeek - MoE、多头潜在注意力等创新技术,解决内存、计算效率等难题。
SGLang Hierarchical Sparse Attention 技术深度解析
阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架,介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈,以 DeepSeek DSA 集成测试,使推理性能大幅提升,目前项目处于开发阶段。
英伟达、港大等发布创新KV缓存,实现扩散模型无训练加速
多数开源扩散语言模型推理效率不如自回归模型,英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算,还提出基于置信度的平行解码策略,测试显示能加速且保持生成质量。
AI 写代码太快,人类测试跟不上了,Meta 用新方法把 bug 检出率提升 4 倍
Meta 用即时(JiT)测试方法提升软件质量,该方法在代码评审期间动态生成测试,在 AI 辅助开发环境中将缺陷检测能力提升约 4 倍,源于代理式工作流兴起及传统测试套件的局限。
自动驾驶优化:从复杂性到实时工程
本文深入探讨自动驾驶技术栈端到端架构,阐释从上下文感知传感器融合到MPC求解器等优化技术,如何将原始传感器数据转化为安全控制指令,还介绍轨迹规划、实时计算预算及调试等内容。
破解大模型「无效并行推理」:Parallel-Probe问世,并行推理效率提升35.8%
来自多所高校的研究团队提出 Parallel-Probe,通过 2D Probing 刻画并行推理动态,发现问题后提出控制算法,能降推理延迟 35.8%、总 token 成本 25.8%,还推出 SCOUT 测试床,代码和平台已开源。
强化学习远不是最优,CMU刚刚提出最大似然强化学习
CMU等机构研究指出,现实中广泛使用的强化学习未真正做最大似然优化,只是优化其一阶近似。基于此,团队提出最大似然强化学习,实验显示其在性能与计算效率权衡上优于现有方法。
一文读懂DeepSeek-V3.2核心技术DSA:API疯狂降价性能不减的背后
DeepSeek发布实验模型DeepSeek V3.2,引入自研稀疏注意力机制DSA,API价格最高降75%。DSA先筛选后计算,含闪电索引器和稀疏多潜在注意力两组件,分四步工作,权衡了精确性与速度。
秘塔AI放大招!「边想边搜边做」,内置20+智能体,想法一键实现
在AI浪潮下,搜索正经历重构。秘塔AI推出「Agentic Search」模式,「边想边搜边做」,可自主完成多步工具调用,内置20余种工具。通过5个场景展示升级,从读懂用户到美化结果、精准计算、打通工作流等,让搜索进化为「帮达成」。
OpenAI两位首席最新采访信息量好大!终极目标是“自动化研究员”,招人并非寻找“最出圈”的人
OpenAI首席科学家Jakub Pachocki和首席研究官Mark Chen在采访中爆料,谈到GPT - 5将推理引入主流、实现自动化研究员目标、强化学习未到瓶颈等,还阐述用人标准、算力分配等问题。