推理系统优化」共找到 4345 篇相关文章

新闻资讯8

杨植麟回复:Kimi K2训练用的H800!但“只花了460万美元”嘛…

月之暗面团队回应Kimi K2 Thinking训练成本,透露用英伟达H800,GPU少但利用充分。该模型凭实力与低成本引迁移潮,还引发对闭源巨头估值反思。技术上有优化创新,团队还公开答疑。

量子位
算法论文8

Reasoning的最终答案可能不是模型想要的答案!

大型语言模型解决复杂问题有推理过程和答案,传统评估只看最终答案。论文提出最终答案可能不佳,中间步骤更值得研究。还介绍通过切割推理过程发现中间步骤藏玄机,提出‘分步检查法’提升模型表现,实验表明准确率最高提升13%等。

深度学习自然语言处理
算法论文8

腾讯发布SpecExit算法,无损压缩端到端加速2.5倍!解决大模型长思考效率难题

腾讯发布 SpecExit 算法,将思考早停与投机采样融合,利用轻量级草稿模型预测“退出信号”,在不引入额外探测开销的前提下,实现动态、可靠的思考早停,在 vLLM 上推理端到端加速 2.5 倍,准确性和推理效率得到双重保障。

机器之心
产品应用8

构建会思考的测试Agent:从自动化到自主智能的演进

文章介绍面向企业级软件测试的质量数字人系统,结合大语言模型等实现从传统到自主智能测试跨越。分析专有云测试困境,指出通用AI Agent平台局限,阐述系统设计、能力及架构,展示应用成果并展望扩展场景与未来计划。

阿里云开发者
新闻资讯7

英伟达护城河又宽了!低调收购开源算力调度王牌工具,全球过半顶级超算在用,Thinking Machines也离不开它

英伟达低调收购SchedMD,其为Slurm系统核心开发商,该系统被全球超半数TOP500超级计算机等使用。收购整合成本低、战略价值高,英伟达承诺保持Slurm开源,但相关项目开发受关注。此外,英伟达还推出Nemotron 3系列开源模型。

量子位
8

仅隔一天,OpenAI同步上线o3和o4 mini,它们能调用ChatGPT里的多种工具,可基于图像思考。o3是强大推理模型,o4-mini专为快速经济推理优化。即日起部分会员可体验,还开源了Codex CLI。

鱼羊
算法论文8

破解AI对不同上下⽂位置的敏感度不⼀致,新框架使出“解铃还须系铃人”

语言模型存在位置偏见,影响复杂推理等任务。论文提出Pos2Distill框架,将模型优势位置能力迁移到劣势位置缓解偏差,设计了Pos2Distill - R1和Pos2Distill - R2,在检索和推理任务表现好且有跨任务泛化能力。

量子位
算法论文8

FlashAttention 完全进化史:FA-4 发布之际的技术全景回顾

文章围绕FlashAttention展开,从Attention性能瓶颈引出问题,阐述其各版本演进。FA-1实现算法突破,避免O(N²)内存;FA-2适配架构,提升性能;FA-3深度协同,实现异步;FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。

GiantPandaLLM
开源动态8

又是王冠:27M小模型超越o3-mini!拒绝马斯克的00后果然不同

27M小模型HRM由拒绝马斯克的00后王冠开发,超越o3 - mini - high和DeepSeek - R1,推理不靠思维链。它采用分层推理等五项核心技术,在多测试中表现出色,虽被指通用性不足,但有人看好其仿脑架构。

量子位
产品应用7

智能PPT生成系统

MultiAgentPPT是基于A2A + MCP + ADK的多智能体系统,能流式并发生成高质量PPT。它通过多智能体协作,从大纲生成到内容汇总,提高效率与准确性,还介绍了使用界面、项目结构、快速开始步骤等。

GitHubStore