「推理性能优化」共找到 4157 篇相关文章
“煽风点火”让大模型“卷”起来的提升性能的套路
网友Greg Isenberg分享让AI提升性能的方法，通过利用不同AI模型如ChatGPT、Claude、Grok间的“竞争”，人为制造竞争环境，激发其潜力，可提升输出效果，且方法获很多网友验证认可。
性能暴涨50%！谷歌、微软、OPPO 联手开源Agent “经验炼金术”
谷歌DeepMind、微软研究院、OPPO等机构开源`AGENT KB`项目，提出并实现“AI经验库”概念。它有“师徒模式”工作流，设计了从“原始日志”到“结构化经验”的构建流程，应用时分层调用知识，能让Agent性能飙升。
下一代数据中心和高性能计算OIO光互连技术方案！
文章深度解析OIO芯片级光互连技术、挑战与未来。传统电I/O技术有性能受限等问题，OIO能解决大容量芯片I/O扇出难题，是光电融合终极形态。它虽面临量产挑战，但前景好，全球产业力量已集结。
Kubernetes环境中作业帮大模型服务流量调度优化实践
随着大语言模型应用渐广，Kubernetes 现有 Ingress 组件在大模型服务流量管理上有局限。作业帮提出创新调度方案，整合成模型网关，具备五项核心功能，提升了资源效率、稳定性和易用性。
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi - 4 - mini微调出Phi - 4 - mini - Flash - Reasoning 3B模型，扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行速度比前代快10倍，有诸多优点。
刚刚，Opus 5来了：性能不输 Fable 5、价格砍半
Anthropic 发布新一代模型 Claude Opus 5，其智能接近 Claude Fable 5 但价格减半。它在编程、知识工作等评测中表现出色，科研能力进步大，自主性与严谨性更强，安全对齐度高，防护兼顾安全与可用。
北大开源统一世界模型框架：多类合成推理任务一套搞定
世界模型研究中，不同任务存在接口不统一等问题。北大DCAI课题组联合多方推出OpenWorldLib推理框架，整合多模态能力，构建标准化接口体系，在多任务上评估效果良好，降低研发门槛。
为什么我坚决投入GEO（生成式引擎优化）？
AI改变流量分配规则，站长竞争焦点从‘排名位置’变为‘被引用率’，GEO应运而生。作者总结了GEO打法，如优化全站、关键页面，做结构化数据增强，还应用于自身产品。
谷歌的DeepSeek时刻：LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。
Waver：面向统一图像与视频生成的高性能基础模型
字节提出的Waver是面向统一图像与视频生成的高性能基础模型，支持T2V、I2V、T2I。它引入新架构、结合筛选流程与质量模型。虽有局限，但表现出色，架构设计独特，功能多样。