「端侧部署」共找到 780 篇相关文章
VLM剪枝新SOTA：无需重训练，注意力去偏置超越6大主流方案
常用的attention机制存在位置偏置和padding异常，影响剪枝效果。上海大学曾丹团队提出无需重新训练的attention去偏方法，在多模型、剪枝策略及基准上验证有效，为多模态模型部署提供新思路。
SGLang Model Gateway 0.2 发布：企业级一体化AI原生编排
市面上一体化AI原生编排方案稀缺，Oracle和SGLang团队推出SGLang Model Gateway 0.2。它从SGL - Router重构而来，核心能力升级，架构分三层，部署灵活，还支持Kubernetes集成和向后兼容。
GuardAgent：首个专门为LLM agent提供安全Guardrail 的守卫型agent
近年LLM从对话工具变为可自主执行任务的agent，但带来安全隐私挑战。传统安全监护对其力不从心，为此学者发布GuardAgent，它守卫agent，具通用性、精确判断和免训练部署优势，实验表现佳。
华为+DeepSeek，推理性能创新高！技术报告也公布出来了
华为昇腾在部署超大规模MoE时推理性能创新高，全面超越英伟达Hopper架构。其采用‘以数学补物理’方式，还将全面开源。团队从多方面优化，在不同硬件上取得优异性能，本周还将举办技术披露周。
高通组局，宇树王兴兴说了一堆大实话
在2025骁龙峰会·中国上，宇树王兴兴等大咖畅所欲言。王兴兴指出机器人领域技术路线不同进展慢，建议模型开源，还强调芯片对机器人的重要性；李大海认为端侧模型是Agent核心；勾晓菲谈汽车服务竞争；耿增强呼吁Agent形成行业标准。
消费者别急，苹果给AI手机『画的饼』，大概是这样
6月10日苹果全球开发者大会举办，iOS 26发布引关注。苹果AI能力滞后，其筹划的AI手机有端侧AI分布、AI辅助能力先行、更酷炫大统一UI等特点，此次系统升级对其未来布局关键，苹果盈利和销量已下滑。
内核级的真相：为什么 eBPF 正在取代基于用户空间的 Agent 成为安全可观测性的首选
文章指出基于用户空间的安全 Agent 存在与威胁同权限层级、CPU 成本高、易被攻击等问题。eBPF 能在 Linux 内核运行受沙箱保护程序，可降成本、增可见性。上线应分阶段，还介绍工具及部署安全措施。
清华2年前预言，正成为全球共识！Meta等三大AI机构已得出同一结论
全球三家AI研究机构结论曲线斜率几乎重合，而中国面壁智能和清华联合团队两年前提出的“密度定律”与它们一致。该定律改写行业假设，如推理成本下降、端侧智能爆发临近、大模型策略反转等。
告别微调时代：拖拽式LLMs实现12000倍加速适配，输入描述，秒级定制LLM，效果、速度全面超越
传统高效微调技术成大规模部署瓶颈，论文提出Drag-and-Drop LLMs (DnD)，仅需输入目标任务未标注提示，即可秒级生成适配的LoRA权重，实现LLM秒级免训练适配，效率、性能和泛化性上均有突破。
月球建厂、电磁炮发射，卫星本地计算！马斯克曝AI终极构想：迈向卡尔达肖夫II型文明
马斯克抛出AI基础设施宏大构想，因地球电力紧缺，计划将AI算力送入轨道，3 - 4年部署有本地计算能力的卫星，后续在月球建工厂用电磁炮发射卫星，最终形成以‘瓦特和吨位’衡量的自生系统。