「降本提效」共找到 760 篇相关文章
训练成本暴降99%,35秒出1分钟高清视频!英伟达MIT等引爆视频AI革命
英伟达联合MIT、港大团队提出SANA - Video架构,其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署,重新定义AI视频生成效率极限。
VerlTool重塑Agentic RL的训练生态
当前LLM像‘缸中的大脑’,缺乏与外界互动能力。新范式ARLT兴起,但构建训练框架面临诸多挑战。VerlTool作为统一、模块化、高效的开源框架应运而生,解决难题,在多任务实验表现出色,推动LLM向智能体转变。
专门收购和孵化无聊产品,年收入 3 亿美金的 Tiny 给了些启发
Tiny 通过收购孵化不起眼但赚钱的产品,成年收入 3 亿美金的控股公司。联合创始人 Andrew Wilkinson 分享创业见解,如选有利润空间的细分市场,初期选能快速获正反馈的生意,还谈到收购、管理等多方面经验。
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践,涉及GPT - OSS、DeepSeek - V3等模型,采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术,在性能提升、减少延迟等方面效果显著。
The Batch: 863 |推理提高了碳排放
新研究量化推理模型时代提供更优答案的环境成本,研究人员估算14个开源权重的大模型碳排放,发现推理与排放存在权衡关系,还指出战略性部署可降低排放。
一个邪修方法,帮你把用Agent的钱省掉80%。
作者曾分享Minimax的Agent,因使用成本高遭读者反馈。现该工具推出Publish to Gallery & Remix功能,用户可复用项目,降低成本,还能形成集体智慧。不过产品和交互设计较粗糙。
两年半后,我不再“写”代码,而是“指挥”一个AI团队
腾讯程序员分享两年半使用AI的经验,涵盖工作与生活。工作中,介绍信息处理、规划、执行、复盘等流程的AI工具及用法;生活里,提及AI在育儿、娱乐等场景的应用,鼓励开放心态尝试。
Meta将推出闭源模型,并砸数千亿美元打造超算集群
Meta正在酝酿大转向,扎克伯格宣布砸数千亿美元建超算集群,还考虑将强大AI模型Behemoth从开源转闭源。此前Meta一直高举开源大旗,如今因模型内部表现不佳等因素动摇开源信仰。
Cache Me If You Can:陈丹琦团队如何「抓住」关键缓存,解放LLM内存?
普林斯顿大学陈丹琦团队新论文聚焦长上下文语言模型 KV 缓存问题。传统 KV 缓存大小随输入文本长度线性增长,此前方法难公平比较。团队提出「KV 足迹」指标,改进方法并推出 PruLong 优化内存,节省空间且保性能。
刚刚,OpenAI最强推理模型o3-pro诞生!碾压Gemini 2.5 Pro击穿底价
OpenAI昨夜官宣上线最强推理模型o3 - pro,还将o3价格暴降80%。o3 - pro专为深度思考和提供超可靠答案而生,在多项测试中表现优异,虽有速度慢等限制,但优势明显,网友实测效果惊艳。