「速度价值」共找到 1274 篇相关文章
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时,发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术,将整体推理速度提升60%,还突破显存墙,且该优化可扩展到其他模型。
亚马逊云科技大中华区总裁储瑞松:企业实现 Agentic AI 价值的关键在于三大技术准备
亚马逊云科技大中华区总裁储瑞松在峰会表示,正处 Agentic AI 爆发前夜。其爆发源于大模型能力发展、协议出现、推理成本降低等因素。企业实现其价值需做好三大技术准备,还推荐了 6 月 27 - 28 日的 AICon 北京站活动。
来自MiniMax M2.5的震撼 :小尺寸几乎打平opus4.6,巨便宜,巨能干活,速度巨快
MiniMax M2.5正式发布,是优秀国产模型。它专注极致优化,部署方便、价格实惠、性能顶尖。在多项基准测试表现出色,速度提升、成本降低,多维度实现突破,已在MiniMax Agent全面部署。
微软重磅开源 Copilot!64 岁 VS Code 创始人亲口承认:眼红 Cursor,但真正价值在后端,它“抄”不过去!
在 Build 2025 开发者大会上,微软正式开源 GitHub Copilot Extension for VS Code 项目。VS Code 创始人 Eric 表示眼红 Cursor,认为真正价值在后端。微软认为现在开源时机成熟,希望复制 VS Code 开源成功路径。
蚂蚁dInfer框架,让扩散大语言模型推理速度再飙10倍,相同模型性能下超越自回归模型
蚂蚁开源dInfer框架,联合名校发论文阐述实现细节。它解决扩散模型推理难题,提出创新算法和系统优化策略,实验显示其推理速度远超Fast - dLLM和自回归模型标杆vLLM,代码已开源。
GPT-5正以o3的三倍速度打宝可梦,现已抵达冠军之路,直播进行中
GPT - 5直播独立运行宝可梦红版,速度比o3快近三倍,6105步抵达冠军之路,而o3需16882步。原因是其幻觉少、空间推理和规划能力强。直播已进行9小时,超2000人关注,OpenAI总裁点赞。
推理成本骤降75%!gpt-oss用新数据类型实现4倍推理速度,80GB显卡能跑1200亿参数大模型
OpenAI在gpt - oss开源模型采用MXFP4数据类型,使推理成本降75%,内存占用为BF16模型四分之一,生成token速度提4倍,还能降低硬件资源需求。不过MXFP4也有缺陷,英伟达推出NVFP4提升质量。
腾讯AngelSlim升级,首个集LLM、VLM及语音多模态为一体的投机采样训练框架,推理速度飙升1.8倍
随着大模型应用成本与延迟问题凸显,腾讯混元升级 AngelSlim 训练框架,将投机采样技术拓展至全模态场景。它以 Eagle3 架构让推理速度最高飙升 1.9 倍,还具全模态训练、面向部署等亮点,有开源代码。
GPT-5.2全力出击!碾压44类专业工作,实测编程同价位无对手、深度推理封神,但速度太拉胯了
GPT - 5.2 登场,有 Instant、Thinking、Pro 三个版本,在多方面大幅升级,能覆盖 44 类专业工作。它经济性强、编程能力佳、推理出色,但存在速度慢的问题,其价格 API 端有调整,未来还将推 Codex 优化版。
“技术迭代速度是唯一护城河!”李彦宏把百度 AI 秀了个遍,还称芯片拿大部分钱的 AI 生态不健康
李彦宏在百度世界大会指出,AI产业结构正从‘正金字塔’向‘倒金字塔’转变,健康生态中应用应创造最大价值。百度展示多项成果,如数字人、AI搜索等,还发布文心大模型5.0和百度伐谋。