「存算一体架构」共找到 2212 篇相关文章
大模型能“原地”改参数了!字节Seed&北大新论文:测试时推理无需加层重训练
字节Seed和北大研究团队提出In - Place TTT方案,让大模型能“原地改参数”。它复用Transformer的MLP模块,解决现有TTT架构不兼容、计算效率低和优化目标不匹配问题,实验证明可提升模型长文本任务表现。
748GB内存、20P算力,英伟达把数据中心塞进了桌子底下,第一台已经送到Karpathy家里
英伟达DGX Station GB300首批系统交付开发者,首台给了Andrej Karpathy。它有748GB内存、20P算力,用GB300芯片架构。背后是长时运行自主智能体开发需本地算力,英伟达从软硬层面推进。
美团提出全新多模态统一大模型STAR,GenEval突破0.91,破解“理解-生成”零和困局
近日美团推出多模态统一大模型 STAR,以“堆叠自回归架构 + 任务递进训练”实现理解与生成双重突破。它解决行业痛点,通过三大核心设计统一能力,实验在多任务中表现顶尖,还给出后续探索方向。
Moltbot实战:MoltBot+RDS AI助手Skill管理RDS实例
文章介绍Moltbot与阿里云RDS AI助手结合管理RDS实例。RDS AI助手能集数据库管理等为一体,Moltbot以轻量级框架霸榜GitHub。二者组合有自动化诊断和运维管理能力,还能定制运维知识库,文中给出对接步骤。
Token洪流的转向:当AI Agent成为Token消耗的主宰,什么样的推理服务基础设施才是刚需
Token消耗量转移,AI Agent成Token消耗主宰,大模型推理服务底层逻辑重塑。文章介绍AI Agent时代范式转变、对推理基础设施的需求,还阐述了为其打造的AI Serving Stack架构及优势,它获2025年度相关卓越奖。
马斯克罕见低头:开源𝕏推荐算法,自嘲“很烂”不过未来月更
马斯克开源𝕏推荐算法系统,这是几乎全由AI模型驱动的系统。它基于Grok - 1同款Transformer架构,通过学习用户历史互动行为推荐内容。虽获社区称赞,但算法有缺陷,马斯克也承认‘很烂’,未来将月更。
SGLang Hierarchical Sparse Attention 技术深度解析
阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架,介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈,以 DeepSeek DSA 集成测试,使推理性能大幅提升,目前项目处于开发阶段。
2025小结:从RL到Agentic RL
作者回顾2025年从RL到Agentic RL的发展,指出Agentic RL存在慢、不稳定、难scale的问题,还探讨了RL与推理、CoT的关系,以及RL的泛化能力,认为RL能提升模型能力但还不稳定,期待明年研究。
港大开源 Paper2Slides,一条命令,把论文变成专业幻灯片!
在AI辅助办公赛道,PPT生成一直是竞争热点,但存在好看不好用、好用不准确的问题。港大开源的Paper2Slides项目,能一条命令把论文转成专业幻灯片,还能做海报,解决了AI幻觉问题。
Scaling Law 仍然成立,企业搜广推怎么做才能少踩“坑”?
InfoQ《极客有约》X AICon 直播邀请京东颜林等探讨生成式推荐落地洞察。指出搜广推场景 scaling law 成立且在上升,还分享大模型对搜广推的改变、架构成长方式,及平衡成本等方面的经验。