「提示优化」共找到 1630 篇相关文章
Mini-sglang-01:从Client到Scheduler的消息流转之旅
文章围绕轻量化大模型推理系统mini - sglang,详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程,分析核心组件功能、消息体系、正反向链路及优化策略,还预告后续分析调度和模型实现逻辑。
马斯克Grok这个二次元「小姐姐」,攻陷了整个互联网
今天凌晨马斯克通知更新Grok APP,推出基于Grok 4大模型的「智能伴侣」功能,付费用户可优先用新「数字伴侣」头像。此外Grok还在游戏领域出击,开发者用提示词就能生成可玩游戏,效率大增。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”?
InfoQ《极客有约》X AICon 直播,邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。
Loop Engineering,4层循环自我进化
Loop Engineering旨在解决人工调度agent的问题,设计系统替人prompt。其系统是四层嵌套循环,从内到外分别让agent干活、干得对、知道何时干、越干越好,还指出优化循环结构收益渐增。
重构一个类,JVM竟省下2.9G内存?
文章复盘优化JVM内存的过程,仅重构一个类,堆内存从3205MB降至211MB。原设计用通用容器在海量数据下成“内存吞噬者”,新方案用FastUtil的Long2ObjectOpenHashMap和int[],还详解了其原理和优势。
GPT-5攻入数学圈,证明定理快过博士生?网友热议AI新角色
9月初,arXiv一篇论文将GPT - 5写进数学研究成果。它解决了第四矩定理‘收敛速度’的空白,还在凸优化领域提升收敛界限。不过它常犯错,需人类引导,且成果原创性存疑,引发对科研和博士培养的担忧。
MoE推理「王炸」组合:昇腾×盘古让推理性能狂飙6-8倍
在通往AGI进程中,MoE模型成大模型推理提效关键。华为推出Pangu Pro MoE 72B模型,经多方面优化,推理性能提升6 - 8倍。还采用多种策略和算法,在昇腾不同平台展现卓越性能,为大模型落地提供支撑。
NIPS 2025 Spotlight | 港大提出TreeSynth方法,一句话生成百万规模数据集
港大团队提出TreeSynth方法,受决策树启发,将数据合成问题映射到其空间分割机制。它采用两阶段流程,能从零合成数据,还可优化现有数据集。实验显示其在多基准任务上性能提升显著,可扩展性佳。
突发!Claude Opus 5深夜震撼发布,多项跑分锤爆Fable 5,价格腰斩
Claude Opus 5正式发布,总体智能逼近Claude Fable 5,价格仅为一半,多项跑分超Fable 5。它专为高频使用设计,各领域进步显著,有强自我验证和迭代能力,还发布API更新与提示词编写指南。
DeepSeek开源,Agent能力大升级,剧透2026!
DeepSeek昨晚更新并开源V3.2正式版及长思考增强版V3.2-Speciale,亮点是Agent能力进化。一年来它未增模型规模,靠架构优化等提升性能、降低成本,坚持自我路线很稳,V3.2继续提升能力。