「推理服务基础设施」共找到 2938 篇相关文章
一种基于滑动层合并的高效深度修剪大模型的方法
文章指出深度修剪可加快推理速度，但直接丢层会降低性能。为此提出滑动层合并法，根据相似度阈值融合连续层，简化结构且保持性能。实验显示该方法优于现有技术，还揭示了与宽度修剪结合的潜力。
8 位 AI Infra 高管复盘 WAIC：当堆砌「暴力美学」触顶，AI Infra 如何求变？
雷峰网与8位参展AI Infra公司的决策者交流，捕捉行业新方向和共识。今年行业关注重心从拼规模转向比效率，Token推理成算力消耗主体，AI工厂和Token工厂共生，未来竞争聚焦效率，不同玩家各有优劣。
老外傻眼！明用英文提问，DeepSeek依然坚持中文思考
DeepSeek-V3.2和DeepSeek-V3.2-Speciale推理能力显著提升，海外研究者用英文提问，它却用中文思考。评论有两种观点，相关论文显示中文省token但非最有效，大模型选思考语言并非只看效率。
无需标注和奖励模型！仅靠自信度RL，16个样本训练20步，效果飙升21%！
论文提出RLSC，让大语言模型用自身答案置信度作奖励信号，摆脱人类标注依赖。它以模型自信度内部信号替代多数投票外部信号，小成本提升模型数学能力，还让模型学会快推理，不过也存在安全隐忧。
阿里千问落地谷歌UCP+A2UI，中国率先进入AI办事时代
谷歌联合零售巨头发布UCP和A2UI协议，试图定义智能体商务全球标准。而阿里千问App上线千问任务助理1.0，打通淘宝、支付宝等核心业务，接入多项生活与政务服务，快速落地应用，让中国进入AI办事时代。
Win11 已近乎“残废”？微软承认多个核心功能崩盘，锅要甩给 AI 编程吗？
近期微软麻烦不断，先是部分Microsoft 365服务故障，Windows业务负责人公布的计划也遭不满。英伟达指出Windows 11更新影响游戏效能，微软承认其存在系统性问题，多个核心功能故障已持续四个月，官方正修复并给出临时方案，引发社区吐槽。
机器人需要一个「思考系统」：τ0-VLA让具身智能迈向长程任务时代
2026 WAIC落幕，具身智能成焦点。当前VLA模型在长程任务中有局限，上海创智学院和智元机器人联合发布τ(0)-VLA，提出分层架构和新推理机制，用大量真机数据训练，在长程任务表现出色。
在WAIC耳朵听出茧子的「智能体」，是时候系统学一下了
今年世界人工智能大会上，智能体成主角，AI厂商纷纷布局。文章指出人们对AI大模型期望转变，介绍智能体底层逻辑，涵盖工具使用、推理模型、ReAct框架等，还对比先前尝试，探讨智能体能力层次与未来发展。
单张消费级显卡也能参与大模型训练！无问芯穹用「三个盒子」打通十万卡到一张卡AI效能跃升路径
2025年WAIC上，无问芯穹联合创始人夏立雪带来AI落地新解——三个盒子，即无穹AI云、无界智算平台、无垠终端智能，是面向未来的智能基础设施设计，能打通从十万卡到一张卡的AI效能跃升路径。
万字硬核解读SAM 3：不止分割一切，它开始理解世界了
Meta的SAM 3能理解语义，实现可提示概念分割。它支持开放词汇、全实例分割等，架构有创新，数据引擎高效。评估显示其性能优异，与MLLM结合成SAM 3 Agent后推理分割能力强，但在专业领域和复杂场景有局限。