「推理加速」共找到 2531 篇相关文章
Claude 小升级就赢了OpenAI 9年“开源神作”？高强度推理直接歇菜、幻觉率高达50%，写作还被Kimi 2吊锤？
OpenAI发布首个开源语言模型系列gpt - oss，包括gpt - oss - 120b和gpt - oss - 20b，可在Hugging Face下载。同期谷歌Deepmind推Genie 3，Anthropic放出Claude Opus 4.1。Claude Opus 4.1编程性能提升，实测编码能力强于gpt - oss。gpt - oss虽有亮点，但幻觉率高、实测效果不佳。
Claude 小升级就赢了OpenAI 9年“开源神作”？高强度推理直接歇菜、幻觉率高达50%，写作还被Kimi 2吊锤？
OpenAI发布首个开源语言模型系列gpt - oss，包括gpt - oss - 120b和gpt - oss - 20b，可在Hugging Face下载。同期谷歌、Anthropic也有新模型推出。gpt - oss有亮点，但也存在幻觉率高、实测效果差等问题。
AI开源狂飙，OpenAI们慌了！GenAI大洗牌，2025趋势深度解读
2025年，ChatGPT仍领跑，但DeepSeek、Qwen等开源模型加速追赶。独立机构报告总结六大趋势，涵盖技术突破与市场格局演变，如推理模型实用化、MoE架构普及等，开源势力挑战闭源巨头。
本地运行OpenAI Whisper语音识别模型，Unity3d环境下高性能离线转写解决方案
这是为whisper.cpp提供的Unity3D绑定库，能在本地设备高性能运行OpenAI Whisper自动语音识别模型推理。支持多语言识别与翻译，有不同大小模型，可本地运行，还介绍了使用方法。
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。
横扫八大数学竞赛：清华微软联合提出STAR-PólyaMath，Apex基准超GPT-5.5 13.5%
清华大学与微软亚洲研究院团队提出推理多智能体系统 STAR - PólyaMath，构建探索 - 推理 - 验证框架，解决大模型长程数学推理瓶颈，在八大数学竞赛基准获最优成绩，还可泛化到其他推理场景。
AI鸿沟正在拉大！OpenAI报告揭示：不用AI的企业将被淘汰
12月8日OpenAI发布2025年报告，基于百万级企业客户数据，揭示企业AI使用量爆发式增长，重塑全球商业流与组织架构。不同行业、地域加速渗透，同时企业和员工间AI鸿沟也在拉大。
谷歌TurboQuant会绕过“内存墙”？这个判断有点过了｜甲子光年
谷歌发布的TurboQuant论文引发市场震动，其算法可将大语言模型推理的KV缓存大幅压缩并加速。但将其视为绕过‘内存墙’判断过度，它提升单位字节信息密度，改变边际需求曲线，代表范式转移。
PyTorch博客翻译 Accelerating Generative AI Part III: Diffusion, Fast
这篇博客介绍用纯原生 PyTorch 技术将文本到图像的 diffusion 模型（特别是 Stable Diffusion XL）推理速度提升高达 3 倍的方法，讲解五种优化技术，还验证了方法在其他 diffusion 模型上的通用性和有效性。
传统云还在「卖铁」，下一代云已在「炼钢」：火山引擎xLLM如何一张卡榨出两张的性能！
大模型上线部署时推理成本高、算力投入大但效果不成正比，企业面临推理效率难题。火山引擎 xLLM 大语言模型推理框架性能极致，成本低，集成关键创新，还被集成到 AI 云原生推理套件 ServingKit 中。