「端侧优化」共找到 1329 篇相关文章
英伟达发布 Jet-Nemotron 系列小模型，理论最大加速比 56 倍
英伟达发布 Jet - Nemotron 系列小模型，在多项基准测试中表现出色，实现高吞吐量加速和高准确率。其训练采用 PostNAS 方案，对既有模型针对性优化，展示了在小模型优化上的可行技术路径。
RAG效果不佳？先别急着微调模型，这几个关键节点才是优化重点
文章深入探讨RAG技术实现与优化，指出其在AI应用开发中常被当黑盒，从文档分块、索引增强、编码、混合检索到重排序等关键环节解析，强调结合场景调优以提升召回与精确率。
无需CUDA代码给H100加速33%-50%，Flash Attention作者新作火了
Flash Attention、Mamba作者之一Tri Dao与普林斯顿博士生提出QuACK库，用Python写，无需CUDA C++。在H100上比优化库快33%-50%，吸引英伟达、PyTorch团队关注。还给出优化torch.compile建议。
全球首个！国产AI开源系统一周狂改百款软件，全程0人干预
中国正从「制造大国」迈向「智造强国」，国产工业软件面临性能瓶颈。面壁智能联合OpenBMB开源全球首个Stencil优化AI系统ForgeStencil，1周自动优化100+软件，全程0人干预，提升研发效率，切中制造业升级诉求。
不用人类手写训练框架了！AI自己写代码，训出1B端侧「小钢炮」
5月25日，面壁开源端侧文本基座大模型MiniCPM5 - 1B，主打低成本部署等。它由AI编写的ForgeTrain框架参与预训练，效果与英伟达Megatron对齐且速度快10%。该模型在榜单表现优，应用边界广，部署门槛低。
社区供稿丨AgentCPM-Explore开源，4B 参数突破端侧智能体模型性能壁垒
清华大学、中国人民大学等联合研发的 AgentCPM-Explore 智能体模型开源，它基于 4B 参数，在深度探索类任务表现佳。有打破参数壁垒等亮点，还开源配套工具，提供应对小模型挑战方法，邀伙伴共建生态。
AI时代终端大变局
随着算法、芯片、场景深度融合，端侧AI计算成终端智能化核心引擎，重塑IoT终端应用场景智能体验。端侧AI芯片作为技术底座，正重塑终端产业格局，虽面临挑战，但未来前景广阔。
为AI智能体选型、验收、优化提供量化依据：首部评估标准公开征集中
AI智能体成2025年十大战略技术趋势之首，到2028年至少15%日常工作决策将由其自主做出。但企业面临信任鸿沟，缺乏评估规范。首部聚焦AI智能体应用的团体标准公开征集起草单位与起草人，适用于多方，有核心内容与价值。
以加代乘？华为数学家出手，昇腾算子的高能设计与优化，性能提升30%！
大模型落地面临推理难题，华为团队基于昇腾算力发布三项硬件亲和算子技术研究，包括以加代乘的AMLA算子、融合算子技术、SMTurbo加速技术，实现能效、协同和速度突破，未来将拓展应用场景。
Andrej Karpathy 辣评Veo 3：视频生成将直接优化人类的注意力，TikTok只是弟弟
Andrej Karpathy发文对Google的Veo 3视频生成模型发表见解，指出视频生成技术进步带来四个关键转变，认为视频将成AI与人类交流绝佳界面，也引发众人对其利弊的讨论。