「端侧计算」共找到 795 篇相关文章
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
全新预训练数据筛选方案，让数据效率提升10倍！配置仅需fastText评分器｜港科大vivo出品
香港科技大学和vivo AI Lab提出轻量级高效数据选择方法PreSelect，已被ICML 2025接收。它只需训练部署基于fastText的评分器，减少10倍计算需求，在多数据集实验中效果显著优于其他方法。
震撼，马斯克联手老黄扔出星际大脑！AI算力中心射上天
SpaceX财报公布，携手英伟达推出轨道AI计算网络Starmind，将AI算力底座搬至太空，解决耗电与散热问题，还介绍了其卫星、优势及马斯克建造太空AI大脑的计划和野心。
从 SQL 到自然语言，下一代 Lakehouse 为何必须「AI 优先」
随着大模型技术爆发，数据分析范式重构，未来数据多模态、分析复杂、查询方式转变。文章指出构建下一代 AI-First Lakehouse，要在存储计算、内核能力、架构适配、平台自治等方面升级，打破数据壁垒。
让YOLO飞起来：从CPU到GPU的配置指南
文章指出默认安装的YOLO用CPU计算，处理大量图像或实时检测任务效率低。详细介绍将YOLO从CPU模式切换到GPU模式的步骤，对比性能，还给出常见问题解决办法，能显著提升运行效率。
超越Claude Mythos和GPT-5.5！斯坦福Agent验证框架拿下SOTA，Transformer作者转发
斯坦福、伯克利与英伟达联手打造LLM-as-a-Verifier验证框架，该方法是通用验证机制，可与任意Agent Harness和模型结合。研究表明扩展验证阶段计算量，能提升Agent整体性能，在多基准测试中超越Claude Mythos和GPT - 5.5。
阿里云容器服务覆盖AI全流程，团队透露：OpenAI训练GPT时就用了我们的开源能力
拿下中国AI云市场第一后，阿里云技术产品负责人开展AI Infra分享会。其全栈云计算搭好技术架子，10万GPU集群高效互联，容器服务贯穿AI全流程，还透露OpenAI训练GPT时用了其开源能力。
3B激活参数，干翻GPT-5.4和Opus4.6，商汤绝影把龙虾塞进了车里
商汤绝影发布端侧多模态大模型Sage，32B总参数、3B激活参数，在PinchBench评测超Claude Opus4.6等。自研SCOUT和ERL技术助力，从多维度领先同量级端侧模型，为座舱智能体提供支撑。
解码加速15倍！EdgeRazor助推大模型在PC/移动端“狂飙”
大语言模型参数膨胀，端侧部署难，量化成主流轻量化方案。开源工具库EdgeRazor由南京大学和微软联合推出，采用MPQAD打破极低比特大语言模型“能力塌陷”，在性能、效率、易用性等方面表现出色，打通AI全生态链路。
突破后训练瓶颈？Meta超级智能实验室又一力作：CaT解决RL监督难题
AI后训练依赖监督微调或程序化检查器，但很多有价值任务缺这两种资源。Meta超级智能实验室等机构研究者提出CaT方法，把推理时额外计算当教师信号，为大模型提供监督，实验显示效果显著。