搜索：推理优化与部署

「推理优化与部署」共找到 3527 篇相关文章

突破Pass@1瓶颈：一种让LLM自我博弈、永不枯竭的RL新范式，超越基线22.8%！

近年来，基于可验证奖励的强化学习（RLVR）在提升大型语言模型（LLM）推理能力上有关键作用，但存在熵崩溃问题。论文提出SVS创新策略，让模型自我合成变分问题形成自我提升循环，实验效果惊人。

文章区分了提示词、提示词工程和上下文工程的概念。提示词是给AI模型的输入文本；提示词工程是设计、测试、优化提示词的过程；上下文工程是为大模型构建动态上下文的学科，在AI Agent背景下诞生。

伯克利等机构发布FST框架，通过快慢分层解决大模型持续学习死局。过去两年头部实验室都在提升模型推理能力，却忽视持续学习。FST让模型像大脑一样快慢分层，提升数据效率、减少遗忘，使持续学习可工程化。

传统多模态模型在动态视频理解与复杂推理场景面临挑战，快手开源的 Keye-VL 模型在多模态思维链技术实现突破。文章解析其核心技术，分享在快手短视频社区的落地应用，还探讨了未来“Think with Video”的技术方向。

港大团队提出TreeSynth方法，受决策树启发，将数据合成问题映射到其空间分割机制。它采用两阶段流程，能从零合成数据，还可优化现有数据集。实验显示其在多基准任务上性能提升显著，可扩展性佳。

Claude Sonnet 5发布一天差评多。虽官方定位高，有能力亮点，但在中文测评中性价比低，测试成本高，且Max推理模式易过度思考。还因过度保守失去实用价值，其表现取决于使用场景和预算。

DeepSeek昨晚更新并开源V3.2正式版及长思考增强版V3.2-Speciale，亮点是Agent能力进化。一年来它未增模型规模，靠架构优化等提升性能、降低成本，坚持自我路线很稳，V3.2继续提升能力。

英伟达和谷歌在太空算力布局上竞争激烈，英伟达H100已入轨，谷歌TPU预计2027年初上天，二者都想建吉瓦级数据中心。太空部署有成本、散热等优势，但也有工程挑战，而中国之江实验室星座已商用。

近期 IDC 发布报告，显示亚太企业 GenAI 应用增长快，AI 产业从开发到应用落地。这催生 AI 原生云，GMI Cloud 等新兴厂商崛起。同时，企业面临算力管理成本高问题，推理需求重塑市场格局，为中企出海带来机遇。

OpenAI宣布与AMD达成战略合作，将部署6GW的AMD Instinct MI450 GPU集群，可认购最多1.6亿股AMD普通股，持股比例或达10%。消息公布后，AMD盘前股价飙升35%。此前OpenAI也官宣与英伟达合作。