「推理优化与部署」共找到 3516 篇相关文章
DeepSeek被曝自研AI推理芯片
据路透社报道，DeepSeek 正开发自研 AI 推理芯片，欲降低对英伟达和国产芯片依赖。此为重大战略转变，影响英伟达股价。虽有降本等好处，但面临技术、制造、生态等挑战。
让大模型异步地增强推理能力
在大模型推理时代，Test - Time Scaling成提升能力重要方向，但面临效率问题。ATTS提出异步框架，加入共形预测筛选候选路径，实验显示其加速显著，将测试时扩展推进到‘有原则加速’阶段。
自动驾驶优化：从复杂性到实时工程
本文深入探讨自动驾驶技术栈端到端架构，阐释从上下文感知传感器融合到MPC求解器等优化技术，如何将原始传感器数据转化为安全控制指令，还介绍轨迹规划、实时计算预算及调试等内容。
不得不说你的GEO优化的很好
白杨SEO结合自身经验，分享AI搜索优化GEO推广相关问题。包括第一步要确认业务、分析现状找真实需求；介绍确定精准意图词的方法；还阐述GEO与SEO关系及推广效果和转化挂钩的办法。
大概念模型：AI 推理的新范式
大概念模型（LCM）是自然语言处理新范式，侧重结构化推理和理解，与 LLM 不同。它依赖结构化知识，可模拟专家思维，解决当前 AI 缺陷，文章还介绍其架构、应用、局限，探讨与 LLM 结合的未来发展。
为什么 DeepSeek 大规模部署很便宜，本地很贵
文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡，受批处理大小影响。还分析了不同模型需大批次的原因，如专家混合模型、大型管道模型等。
DeepSeek-R1 更新，思考更深，推理更强
DeepSeek R1 模型完成小版本升级至 DeepSeek - R1 - 0528，用户可在官网、APP 等体验，API 同步更新。该版本强化深度思考能力，在多基准测评表现优异，还改善幻觉、提升创意写作等能力。
微软OEL框架：大模型一次部署，终身进化
微软最新论文Online Experiential Learning (OEL)提出让LLM在真实部署后持续自我进化的框架，无需人工标注等。介绍了在线体验学习的必要性、OEL方法论及实验验证，揭示关键洞察与启示。
用子模优化法为DeepResearch生成多样性查询
开发DeepResearch时，生成多样化查询是关键。多数开源项目处理方法粗放，本文提出结合句向量与子模优化的方法，设计子模目标函数，给出代码实现，实验显示该方法生成的查询组合多样性更高。
蚂蚁开源MedResearcher-R1医学知识图谱+多跳推理
医学领域需处理复杂关系，现有医学AI系统缺乏对罕见实体和复杂关系的推理能力。MedResearcher - R1通过专门图谱和检索工具，结合两阶段训练范式解决问题，在医学基准测试取得新成果。