「推理服务基础设施」共找到 2938 篇相关文章
本周5个yyds的Github开源项目，速速收藏！
文章介绍本周5个Github优质开源项目。有基于云服务的CloudPaste，排版强的Quarkdown，视频下载工具Media Downloader，双语翻译插件FluentRead，还有全能安卓助手LinkAndroid，各有特色功能。
1.4K标星！微软开源了一款全能AI客服系统，一键24小时实时对话！
数字化时代传统呼叫中心问题多，成本高。微软在GitHub开源Call Center AI，基于Azure + GPT的智能语音客服系统，具多项功能，采用三层设计，适用多行业，可落地，或成企业标配。
jiSGLang集成ktransformers：2TB内存运行Kimi K2 Thinking模型
对于内存多但GPU资源有限的用户，SGLang集成ktransformers的CPU内核，支持直接运行Kimi K2 Thinking模型。它无需等量化，还能微调，虽性能与GPU方案有差距，但给用户新选择。
Soul APP开源了一款高保真播客生成框架，90 分钟对话零崩盘！
Soul APP背后的Soul AI Lab发布开源项目SoulX - Podcast，是高保真推理框架，能生成90分钟以上连贯对话，有多方言切换等功能，或重塑语音内容产业生产方式。
清华、快手提出AttnRL：让大模型用「注意力」探索
清华和快手团队提出新框架AttnRL，引入注意力机制提升过程监督强化学习效率与性能。它解决传统方法在分支位置选择和采样策略上的效率问题，实验显示在多基准测试中表现优异。
可能是目前效果最好的开源生图模型，混元生图3.0来了
腾讯混元发布并开源原生多模态生图模型混元图像3.0，参数规模80B，是参数量最大的开源生图模型，也是首个开源工业级原生多模态生图模型，效果对标业界头部闭源模型。文中介绍其技术方案、测评效果等。
黄仁勋出手！45倍性能暴涨，英伟达定义物理AI新纪元
在SIGGRAPH 2025上，英伟达发布「物理AI」全家桶。展示完整生态，含新硬件、仿真平台和AI模型。如RTX PRO 6000服务器显卡性能涨45倍，还推多款模型，应用于多领域，推动物理AI落地。
幻觉终结者，PoG给大模型“打补丁”
传统检索方式易给大语言模型带入噪声，知识图谱虽能提供可靠知识，但处理多跳和多实体问题有局限。Paths-over-Graph（PoG）方法通过多跳路径探索、路径剪枝等提高LLMs在复杂任务中的表现，减少幻觉。
OpenAI、Anthropic以30万美元年薪狂挖华尔街量化精英，AGI人才争夺战打响！
OpenAI、Anthropic、Perplexity等AI巨头正从量化交易公司疯狂挖人，入门级量化研究员基本工资达30万美元。AI公司举办活动招募，因量化人才专长契合，而华尔街反击受限，这场人才争夺战正升温。
OpenAI谷歌Anthropic罕见联手发研究！Ilya/Hinton/Bengio带头支持，共推CoT监测方案
OpenAI、谷歌DeepMind、Anthropic联合发表立场文件，提出CoT监测概念，认为是控制AI Agent核心方法。探讨其潜在机遇、局限，还提及不同公司对CoT监测的不同态度，如OpenAI乐观，Anthropic焦虑。