「成本性能平衡」共找到 3298 篇相关文章
MetaShuffling:Meta的Fused MoE kernel工程方案,更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling,可高效部署Llama 4模型。它处理MoE推理挑战,介绍多种token选择路由方案,阐述运行时设计、不同并行化方式及优化思路,还展示性能测试与Trace分析。
硅谷今夜集体失眠!互联网女皇340页AI报告猛料刷屏,大佬熬夜头秃
互联网女皇Mary Meeker暌违六年,发布340页《AI趋势报告2025》。报告指出AI使用成本下降,推理成本暴跌,中国模型以低成本崛起,中美在AI模型争霸,还提及ChatGPT的辉煌与未来潜在挑战等。
华为 IJCAI 2026 论文盘点:从「规模密度」转向「设计密度」
IJCAI 2026将召开,AI算力成本高,参数扩张边际收益低,技术创新逻辑转向‘用得更省’。华为四篇被收录论文,用精巧架构和训练策略,在四方向展现系统化工程能力,提供技术转型路径。
哇塞!Chrome MCP + OpenAI Whisper = 播客秒变学习笔记
作者分享Chrome MCP + OpenAI Whisper将播客秒变学习笔记的工作流。此组合成本低、无限制、学习成本低,通过实例演示音频下载、转录及划重点等步骤,适用于多种场景,性价比高。
何恺明等降维打击!彻底颠覆AI生图,无需预训练一步到位
何恺明团队推出生成模型MeanFlow,它跳脱传统训练范式,无需预训练等,仅一次函数评估就能完成生成。在ImageNet 256×256上表现优越,缩小了一步与多步模型性能差距。
最新W4A4KV4全量化框架,单卡A100大模型推理速度飙升
计算所王颖研究员团队等联合在ASPLOS 2025上发表并开源COMET框架,通过系统 - 算法协同优化,实现全4比特推理性能突破,在多方面有技术亮点,实测性能碾压现有方案且已开源。
图谱检索全面 or 效率?蚂蚁&浙大Deep GraphRAG:全都要
传统 RAG 遇复杂 Query 易失效,GraphRAG 带来新三难。蚂蚁与浙大提出 Deep GraphRAG,有层次化检索、Beam - Search 重排、DW - GRPO 强化学习三板斧,实验显示其性能优、延迟低。
Bun 推出内置数据库客户端与零配置前端开发
Bun 发布 1.3 版本,是迄今最大更新,实现全栈开发,推出统一数据库 API 并提升性能。引入零配置前端开发模式,有内置 Redis 客户端,社区反响不一,还扩展包管理功能,性能提升显著。
Windsurf 的甩卖对 AI 编程生态意味着什么?
Windsurf八个月内ARR达8200万美元,却被低价甩卖。其负利润率高,靠烧钱补贴成本,面临API成本高、竞品低价冲击等问题。此事件揭示编程工具价值捕获难,凸显基础设施等环节价值。
FriendliAI获2000万美元,以加速AI模型推理工作负载
专注AI推理的初创平台FriendliAI获2000万美元种子扩展轮融资,资金用于加速平台开发。其专有推理优化技术可降低模型运行成本和能耗,能为用户省90%的GPU成本,合作客户广泛。