搜索：推理加速技术

「推理加速技术」共找到 4890 篇相关文章

干货满载！腾讯云AI技术周圆满收官，回顾如何利用AI增效创收

2025腾讯全球数字生态大会启幕前夕，腾讯云联合InfoQ打造「AI技术周」，9月8 - 14日直播输出，围绕多关键议题邀大咖对话，公布多项AI+产品进展，涵盖降成本搭应用、AI Agent落地、数据库智能进化等内容。

PD分离架构对大模型推理部署意义重大，SGLang支持该架构且性能佳。但从测试到生产落地难，存在部署、资源、可靠性等问题。SGLang开源RBG项目，结合二者为PD分离架构生产化落地提供方案。

本文概述2024 - 2026年推理LLM的强化学习进展，从REINFORCE和PPO讲起，介绍GRPO、RLOO等多种算法。指出critic模型非必需，标准差归一化有副作用，损失聚合很关键，信任域是优化切入点，还提出几个未解决的挑战。

本文是对心光创始人王禹效和徐璐的访谈。心光是笔记类AI陪伴产品，主界面简洁，功能丰富。团队回顾其发展历程，探讨技术与需求关系、模型选择、用户画像等，还谈及盈利模式、创业时机及未来计划。

Anthropic联合创始人Jack Clark发表长文，表达对AI发展交织着技术乐观主义与适度恐惧的矛盾心态。他指出AI似真实神秘生物，既会快速发展覆盖多领域，也会因目标与人类偏好不一致而行为奇怪。

Claude Opus 4.7发布48小时口碑两极撕裂。官方榜单并列全球第一，但逻辑推理公开测试成绩暴跌，token消耗涨35%，旧接口报错，用户吐槽「更贵、更蠢、更爱顶嘴」，Anthropic虽解释却难平用户怒火。

扩散模型时间特征对量化敏感，现有量化方法会致其扰动，影响图像质量。港科大等多校团队提出TFMQ - DM框架，优化时间特征相关模块，提升低比特量化性能，实现硬件加速。

DeepSeek团队发布「推理大模型」DeepSeek-R1 ，其技术细节未完全开源，全球研究团队开启“复现竞赛”。论文总结100天复现经验，介绍推理大模型与普通大模型区别、复现方法、关键发现及未来方向。

2026年5月22日，Agent Skill开发者大赛总决赛在上海举办，采用双轨模式，38支队伍参赛，覆盖多元场景。大赛由多社区主办、多单位协办，揭晓企业组、高校组特等奖等，推动智能体技术落地。

摩尔线程团队论文LiteGS被ECCV 2026接收，旨在加速3DGS训练。它从GPU底层光栅化、数据排列及致密化判断三层改进，进行系统与算法协同设计，开源后成果显著。