「效率模式」共找到 2060 篇相关文章
思维链可无限延伸了,MIT等打破大模型上下文天花板
MIT等机构提出新架构Thread Inference Model(TIM),配合专用推理引擎TIMRUN,把推理过程变为树状递归子任务结构并修剪子任务,让模型突破输出窗口限制实现长程推理,实验验证了其性能。
Meta华人天才毕树超「叛逃」预言:OpenAI未竟交互革命,暗藏万亿赛道
Meta科学家毕树超在演讲中揭秘AI进化真突破,认为更好更快造数据是关键。他指出AI原生交互领域若有新突破,或催生万亿级公司,语音和视觉将成重要部分,还分享了AI进化时间线及面临的问题和未来图景。
传言:华为版 DeepSeek R2 本月发布
据 Huawei Central 报道,DeepSeek R2 可能本月 15 至 30 日发布,运行在华为 Ascend 910B 集群,硬件利用率 82%,算力 512 PetaFLOPS FP16,效率达 A100 的 91%,将与 ChatGPT 5 竞争,但消息未证实。
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程,指出padding分max和sum模式,旧版sum padding浪费计算、影响cuda graph使用,v0.4.10后有优化,max padding仍待完善。
深入剖析AI公司正在面临的:「囚徒困境」
文章指出AI模型训练成本虽下降,但运营成本尤其是推理费用飙升,使AI公司陷入两难。用户只青睐最强模型,且模型资源消耗远超预期,订阅模式难以为继,还给出了避免亏损的三条出路。
Token成本下降,订阅费却飞涨,AI公司怎么了?
文章指出,虽模型训练成本下降,但 AI 公司运营成本尤其是推理费用猛增。以固定费率订阅和高 token 消耗的商业模式的公司面临困境,如 Windsurf、Claude Code 等,还给出避免亏损的三条出路。
Claude 小升级就赢了OpenAI 9年“开源神作”?高强度推理直接歇菜、幻觉率高达50%,写作还被Kimi 2吊锤?
OpenAI发布首个开源语言模型系列gpt - oss,包括gpt - oss - 120b和gpt - oss - 20b,可在Hugging Face下载。同期谷歌Deepmind推Genie 3,Anthropic放出Claude Opus 4.1。Claude Opus 4.1编程性能提升,实测编码能力强于gpt - oss。gpt - oss虽有亮点,但幻觉率高、实测效果不佳。
AI 产品定价指南
本文编译对按量计费平台初创公司 CEO Scott Woody 的访谈,探讨 AI 改变软件定价逻辑、不同类型 AI 公司应对之法,还补充定价专家 Madhavan Ramanujam 关于 AI 产品定价四象限观点。
普通人也能用得上的 Context Engineering 技巧
现在讨论Context Engineering大多关注高级AI Agent,对普通用户实用性不强。本文总结普通人用AI时的上下文工程技巧,如用更少、更准确的上下文控制输出,从精简和准确两方面展开阐述。
Kubernetes环境中作业帮大模型服务流量调度优化实践
随着大语言模型应用渐广,Kubernetes 现有 Ingress 组件在大模型服务流量管理上有局限。作业帮提出创新调度方案,整合成模型网关,具备五项核心功能,提升了资源效率、稳定性和易用性。