「性能 - 效率权衡」共找到 2920 篇相关文章
清华发布AutoSOTA:一周刷新105个顶会SOTA,推动AI科研回归创新本质
在AI研究中,研究者常为提升1%性能反复调参。清华与中关村学院联合发布AutoSOTA,实现端到端AI科研自动化,一周发现105个性能显著提升的SOTA模型,推动科研回归创新本质。
2025 年中丨大模型市场分析报告
这是《2025年中丨大模型市场分析报告》。指出基础大模型塑造计算未来,企业重心转向推理。Anthropic超OpenAI成市场头号玩家,开源模型采用趋缓,企业换模型重性能,AI支出从训练转向推理。
Transformer创新架构SALA:上下文更长,推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用,MiniCPM - SALA 在长文本处理及推理上表现出色,还发起大奖赛探索性能极限。
何恺明等降维打击!彻底颠覆AI生图,无需预训练一步到位
何恺明团队推出生成模型MeanFlow,它跳脱传统训练范式,无需预训练等,仅一次函数评估就能完成生成。在ImageNet 256×256上表现优越,缩小了一步与多步模型性能差距。
最新W4A4KV4全量化框架,单卡A100大模型推理速度飙升
计算所王颖研究员团队等联合在ASPLOS 2025上发表并开源COMET框架,通过系统 - 算法协同优化,实现全4比特推理性能突破,在多方面有技术亮点,实测性能碾压现有方案且已开源。
比Transformer更强的架构来了?浙大新作Translution,一统卷积和自注意力
随着大模型发展遇瓶颈,浙大等校学者提出神经网络基础操作Translution,实现自注意力与卷积的融合统一,构建更普适神经计算机制。它性能超Self - attention,为新一代神经网络发展开辟新方向。
Bun 推出内置数据库客户端与零配置前端开发
Bun 发布 1.3 版本,是迄今最大更新,实现全栈开发,推出统一数据库 API 并提升性能。引入零配置前端开发模式,有内置 Redis 客户端,社区反响不一,还扩展包管理功能,性能提升显著。
记录下SGLang 开发,debug的几个技巧第二弹
作者BBuf继上次分享后,又带来SGLang开发、debug新技巧。包括开启多线程加载模型权重,介绍SGLang Serve模型短期和长期崩溃的调试方法,还提及逐层NVTX Profiling、查看固定batch_size下Decoding性能等技巧。
The Batch: 978 | DeepSeek-V4-Pro 更新了
DeepSeek发布旗舰模型DeepSeek-V4-Pro-0813正式版,性能提升,还发布开源agent harness开发者预览版并提价。模型在多指标表现佳,编码能力改进明显,公司公开基准测试框架意义大。
简单了解下CUDA Green Context
文章基于Flashinfer实现介绍CUDA Green Context,它在CUDA 12.0+引入,能实现资源隔离、降低多线程性能损失、提高GPU使用率。还给出使用方法及代码示例,不过测试性能未达预期,需关注后续发展。