「端侧运行」共找到 673 篇相关文章
Human In the Loop竟然可以是个MCP?
文章基于阿里实践，阐述如何在大模型研发平台OpenLM及其他Agent平台，针对“Human In The Loop”场景做产品设计与研发。介绍用MCP实现人机回路的方案，还探讨人类回答及提示词倾向性等问题。
芯片就像重庆，英特尔说的
英特尔中国区董事长王稚聪将芯片比作重庆，称其城市规划与芯片剖面图相似。在重庆举办的大会上，英特尔展示新意，如18A工艺制程等，还在端侧和数据中心领域提出新观点与合作成果。
让YOLO飞起来：从CPU到GPU的配置指南
文章指出默认安装的YOLO用CPU计算，处理大量图像或实时检测任务效率低。详细介绍将YOLO从CPU模式切换到GPU模式的步骤，对比性能，还给出常见问题解决办法，能显著提升运行效率。
Pogocache：开源缓存软件实现低延迟并支持多传输协议
全新开源缓存软件 Pogocache 近日发布 1.0 正式版，主打低延迟与 CPU 高效能特性，支持多种主流通信协议，宣称比其他开源缓存方案有更高吞吐量和更低延迟。还介绍了其架构、应用场景等。
SceneSplat: 基于3DGS的场景理解和视觉语言预训练，让3D高斯「听懂人话」的一跃
文章引入 SceneSplat，首个在 3DGS 上原生运行的端到端大规模 3D 室内场景理解方法，提出自监督学习方案，构建发布 SceneSplat - 7K 数据集，在多个实验中达 SOTA 效果。
沉寂一个月，openPangu性能飙升8%！华为1B开源模型来了
华为发布专为昇腾端侧硬件打造的openPangu Embedded - 1B模型，仅10亿参数却性能卓越。它运用多阶段训练和优化，在权威基准表现亮眼，V1.1平均分较上月跃升超8%，还介绍了背后技术。
FriendliAI获2000万美元，以加速AI模型推理工作负载
专注AI推理的初创平台FriendliAI获2000万美元种子扩展轮融资，资金用于加速平台开发。其专有推理优化技术可降低模型运行成本和能耗，能为用户省90%的GPU成本，合作客户广泛。
单机狂飙4万亿参数，国产AI「四大天王」首次合体！这台超节点鲨疯了
国产「四大开源天王」可在单机运行，背后是「元脑SD200」超节点。它有超大显存、高速互联域和超强算力，支持64路本土GPU且可商用。浪潮信息以开源为战略加速大模型商业化落地。
阿里再开源，全球首个MoE视频生成模型登场，电影级美学效果一触即达
继上周开源三连发后，阿里昨晚开源全球首个 MoE 架构视频生成模型 Wan2.2，具电影级美学控制能力。它有 MoE 架构创新等四大技术亮点，可在 Hugging Face 和阿里魔搭社区下载。
数千大模型全跑「中国芯」！最后一公里已「焊」通
国产芯片运行大模型需额外适配，魔乐社区以开源模型推理适配协作模式破局。它推出‘模型推理适配协作计划’，联合多方力量，打通国产算力与大模型应用‘最后一公里’，还举办赛事激发创新活力。