「手机端推理」共找到 2618 篇相关文章
蚂蚁开源 x SGLang Meetup技术回放解读系列之面向DeepSeek系列模型的深度优化与实践
文章是对蚂蚁开源x SGLang Meetup中「蚂蚁Theta面向DeepSeek系列模型的深度优化和实践」分享的解读，详细介绍了在H20-96G上对DeepSeek系列模型推理的优化方案，包括Prefill和Decode阶段的优化、通信优化、观测诊断等，并给出了评测结果。
ChatGPT正式上线广告主平台，AI产品从今天开始走向分裂。
今日凌晨，OpenAI更新ChatGPT，上线非推理模型GPT - 5.5 Instant，还官宣向企业主全量上线广告平台。此前广告已在部分地区测试，付费和未成年用户无广告，免费用户可选择关闭但功能受限。投放端向美企开放，出价高，这或成AI产品宿命。
1.5B参数！支持本地实时语音转录
Liquid AI发布首个端到端音频基础模型LFM2 - Audio - 1.5B，参数1.5B，能在本地设备处理高质量端到端音频任务。它是统一多模态模型，支持两种生成策略，多种应用场景，虽仅支持英文但性能出色。
长程 Agent 越跑越乱？ContextPilot 用细粒度 RL 教会模型主动管理上下文
长程 Agent 推理时，传统方法使上下文臃肿、推理成本高。清华、腾讯等团队提出 ContextPilot 框架，扩展管理工具集、采用新采样和信用分配方法。实验显示其用短上下文获高分，降低推理开销。
WRC 观察丨VLA 叙事能带来融资，但不能带来收入
本文聚焦2025年WRC展会，揭示具身智能行业现状。厂商展品增多强化‘量产元年’信号，但销售焦虑弥漫，包括销售人员扩招、渠道搭建难等。还分析不同类型机器人销售情况、应用场景及市场前景。
读万卷书，大模型就能「看」懂视觉世界？Meta揭秘LLM视觉先验的起源
Meta超级智能实验室与牛津团队新论文发现，只见过文本的大语言模型（LLM）能学到可迁移到视觉任务的先验能力。研究通过超100组受控实验、耗费50万GPU小时，揭开LLM视觉先验来源，还给出预训练数据配方。
超越免训练剪枝：LightVLA引入可微分token剪枝，首次实现VLA模型性能和效率的双重突破
文章介绍LightVLA框架，它是用于提升VLA推理效率和性能的视觉token剪枝框架。针对VLA模型计算开销大、推理延迟高问题，提出两大创新，在LIBERO实验中性能超经典模型，还实现推理加速。
智谱 GLM-4.5 团队深夜爆料：上下文要扩、小模型在路上，还承诺尽快发新模型！
今日凌晨，GLM系列模型四位研发成员在Reddit的AMA活动中，回答了GLM系列技术细节、未来规划等问题。透露扩展上下文、推小模型是重点，还承诺尽快发新模型，也探讨了大模型发展观点。
TPU vs GPU 全面技术对比：谁拥有 AI 算力最优解？
SemiAnalysis对Google TPU v7/v8深度拆解，将TPU与Nvidia GPU多方面对比拆到可计算层面。不过其结论有局限性，本文重新分析，指出TCO因场景而异，互联体系分歧在流量假设，Google TPU v8成本优势被削弱。
对话 MoonBit 张宏波：为 AI 重构编程语言
文章围绕 MoonBit 语言开发者张宏波展开，探讨为 AI 重构编程语言。指出当前 AI Coding 基于旧有语言有局限，MoonBit 有原生 AI 支持，还介绍其开发历程、特性及 Pilot 工具创新，强调未来商业化愿景。