「端侧计算」共找到 795 篇相关文章
综述 | 从“说出来”到“脑中算”：Latent Reasoning的范式跃迁与无限可能
大型语言模型用显式思维链推理有局限，潜在思维链（Latent CoT）让推理在连续隐藏状态空间进行。论文梳理该领域，建立框架，介绍方法，探讨可解释性与无限深度推理，指出价值、挑战与未来方向。
千卡集群破壁之道：vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。
The Batch：836 | 基准测试成本攀升
独立AI测试实验室披露评估推理模型成本上升。这些模型生成“思维链”提升输出质量，但计算需求增加，成本上升使资源有限组织难复现结果，且新模型定价、按需分配推理token也让成本更复杂。
昨夜，全球AI 集体宕机！
昨夜全球互联网大崩溃，谷歌云服务故障致13项服务崩溃，AI服务全军覆没，OpenAI也受影响，三大云巨头同时宕机，连锁反应使多平台瘫痪。事件暴露互联网脆弱性，给人们敲响警钟。
微软再放LLM量化大招！原生4bit量化，成本暴减，性能几乎0损失
微软公布BitNet v2，性能几乎0损失，占用内存和计算成本显著降低。它首次实现对1比特LLMs的原生4比特激活值量化，通过H - BitLinear模块处理异常通道，实验显示其在多方面表现优异。
一文讲透程序编排的核心方式：从表达式语言到并行化实践
文章围绕程序编排展开，介绍单语句编排、类编排、流程编排、并行化编排等核心方式，分析多种编排框架特点及适用场景，还提及Lindorm泛时序数据解决方案，为开发者提供编排参考。
华为| 祭出FlashComm1，FlashComm2、FlashComm3，解决LLM推理通算瓶颈
在大模型推理面临通算难题背景下，华为数学家祭出FlashComm 1、2、3。如FlashComm 1优化AllReduce通信，提升推理性能；FlashComm 2重构计算流程，提升推理速度；FlashComm 3实现多流并行，激增模型吞吐。
腾讯 Marvis 上线 iOS 版：你电脑上的专属 AI 牛马，终于可以装进口袋了
腾讯 Marvis 是应用宝团队推出的个人 AI 助手，四端已打通。它有云端和端侧两种模式，具备跨端远控和本地知识库等被低估的能力，还与微软、英特尔合作，是国内有本地模式的优选。
当 Agent 开始接管工作流，企业最在意的三件事：安全运行、稳定交付、持续进化
Agentic AI 开发落地使基础设施问题凸显。AI 产业转向重视模型部署等，CPU 受关注，云计算角色转变，容器重要性凸显。Agent 应用规模化落地，AI 负载变化，Agent Infra 要解决四个问题，云和 CPU 任务也在改变。
Gemini进手机，Android翻身；Gemini进电脑，全网开喷！
谷歌在端侧AI大力尝试，在Android Show I/O Edition发布围绕Gemini Intelligence的新产品与功能，让AI进入系统基础体验。手机端Create My Widget功能亮眼，而Googlebook引发争议。同时苹果iOS 27也有Siri改造新消息。