「推理系统优化」共找到 4382 篇相关文章
jiSGLang集成ktransformers：2TB内存运行Kimi K2 Thinking模型
对于内存多但GPU资源有限的用户，SGLang集成ktransformers的CPU内核，支持直接运行Kimi K2 Thinking模型。它无需等量化，还能微调，虽性能与GPU方案有差距，但给用户新选择。
Soul APP开源了一款高保真播客生成框架，90 分钟对话零崩盘！
Soul APP背后的Soul AI Lab发布开源项目SoulX - Podcast，是高保真推理框架，能生成90分钟以上连贯对话，有多方言切换等功能，或重塑语音内容产业生产方式。
清华、快手提出AttnRL：让大模型用「注意力」探索
清华和快手团队提出新框架AttnRL，引入注意力机制提升过程监督强化学习效率与性能。它解决传统方法在分支位置选择和采样策略上的效率问题，实验显示在多基准测试中表现优异。
全国首部AI智能体应用评估标准，现公开征集起草单位和个人！
2025年是AI智能体元年，市场规模将达113亿美元，但企业部署面临‘效能黑箱’，缺乏评估规范。智合标准中心发起《企业级AI智能体应用效能评估规范》团体标准起草，现征集起草单位和个人。
可能是目前效果最好的开源生图模型，混元生图3.0来了
腾讯混元发布并开源原生多模态生图模型混元图像3.0，参数规模80B，是参数量最大的开源生图模型，也是首个开源工业级原生多模态生图模型，效果对标业界头部闭源模型。文中介绍其技术方案、测评效果等。
Github 9.8K Star真香！！再见黑白屏，这款终端神器让十六进制分析一目了然，效率200%+！
传统十六进制查看器单色显示影响效率，hexyl 基于 Rust 开发，彩色输出区分字节，支持多系统，免费开源获 9.8K Star。它功能多，安装方便，是十六进制分析利器。
第一家被收购的AI浏览器公司，43亿成交，产品还在内测
全球第一家被收购的AI浏览器公司诞生，Atlassian以6.1亿美元收购The Browser Company，重点是尚在内测的Dia浏览器。收购早有预谋，The Browser Company为获资源，Atlassian看好Dia潜力。
黄仁勋出手！45倍性能暴涨，英伟达定义物理AI新纪元
在SIGGRAPH 2025上，英伟达发布「物理AI」全家桶。展示完整生态，含新硬件、仿真平台和AI模型。如RTX PRO 6000服务器显卡性能涨45倍，还推多款模型，应用于多领域，推动物理AI落地。
美国知名风投 BVP 年度 AI 报告：Memory 和 Context 将是新的护城河
美国知名风投 BVP 发布《The State of AI 2025》报告，研究 20 家 AI 创业公司，梳理 2025 年 AI 创业现状，认为记忆和上下文是新护城河，还对未来趋势如浏览器竞争、视频生成等进行了预测。
Claude Sonnet 4 API 支持百万上下文:解锁真正的生产级AI工程
Anthropic宣布Claude Sonnet 4支持100万Token上下文窗口，容量是之前5倍。长上下文支持已向部分客户公测，将推给更多用户。该功能已在亚马逊Bedrock公测，也将登陆Google Cloud。还介绍了用例、定价及早期用户好评。