「分布式推理系统」共找到 3593 篇相关文章
重磅！华为开源业界首个Serverless分布式计算引擎openYuanrong，单机体验编程、极致分布式运行性能
近期，华为开源自研的 Serverless 分布式计算引擎 openYuanrong，它是业界首个统一支持通算和智算场景的开源引擎。能解决传统 Serverless 产品通用性不足等问题，已在华为多个核心产品应用，提升了开发效率和资源利用率。
首次解释LLM如何推理反思！西北大学谷歌新框架：引入贝叶斯自适应强化学习，数学推理全面提升
西北大学与Google、谷歌DeepMind团队质疑传统强化学习与反思的关系，提出贝叶斯自适应强化学习方法，首次解释为何、如何及何时反思探索新策略，还给出决策数学形式，实验显示其性能更优。
SGLang 确定性推理实现技术细节笔记
文章围绕SGLang确定性推理展开，介绍其启用方式，详述批次不变性原理与Batch Invariant Ops实现，如Matmul Persistent Kernel设计；还阐述确定性采样、Attention Backend配置、AllReduce改动等，给出环境变量及测试脚本，有完整解决方案。
英伟达揭示RL Scaling魔力！训练步数翻倍=推理能力质变，小模型突破推理极限
学界对强化学习能否让模型学会新推理技能争论已久，过去研究多悲观。英伟达研究指出，问题源于任务在基础模型训练数据中过度呈现及训练步数不足。其ProRL框架提升训练步数，释放小模型潜力，还构建技术组合拳。
领域驱动的 RAG：基于分布式所有权构建精准的企业知识系统
银行技术供应商为解决文档和专业知识获取难题，探索用 RAG 技术，严格将 AI 作咨询工具。重新分配 RAG 实施所有权，采用元数据方法，探索伸缩性解决办法，构建完整应用并评估性能，结果令人振奋。
国产推理芯片，赢了英伟达？
算力市场风向生变，国产算力崛起。政策从资金、市场、规则多维度发力，为国产算力扫清障碍。在推理场景中，国产方案性价比更高。其独特分销体系使贸易环节信息透明度低，步入卖方市场，市场也迎来新局面。
DeepSeek被曝自研AI推理芯片
据路透社报道，DeepSeek 正开发自研 AI 推理芯片，欲降低对英伟达和国产芯片依赖。此为重大战略转变，影响英伟达股价。虽有降本等好处，但面临技术、制造、生态等挑战。
快手AgentX：推荐系统开始自我迭代
过去十年推荐系统核心在‘建模’与‘工程’，但日常迭代瓶颈在研发生产方式。快手 AgentX 团队提出 Agent 驱动研发闭环，在快手 App 业务部署中跑通完整闭环，提升效率与业务收益。
RecGPT-阿里的LLM推荐系统落地方案
文章介绍阿里RecGPT推荐系统落地方案，包括召回和推荐可解释性两方向。召回采用三塔结构，通过挖掘用户兴趣生成商品标签提升召回多样性。还提及行为序列压缩、推荐归因等，以及大模型微调和评估方法。
什么是系统提示词？如何逆向提示词？
大语言模型启动时会接收系统提示词，决定其角色、回答风格与安全边界。提示词逆向是试图获取或绕过该提示的行为。本文介绍其作用、逆向手法及开发者防御措施，助于安全使用和设计大模型。