「推理服务基础设施」共找到 2935 篇相关文章
12ms！一个仅8M的语音停顿检测模型
语音助手准确判断用户是否说完是挑战，Smart Turn将决策过程缩至12毫秒。其v3.1版有改进，新增数据集提升英语识别准确率，推出未量化版本推理更快，8MB模型性能优，已在HuggingFace开源。
告别VAE压缩损耗，南京大学用DiP让扩散模型回归像素空间，实现10倍加速与SOTA级画质
南京大学、腾讯优图实验室和新加坡国立大学发布DiP框架，即将开源。该框架不依赖VAE，仅增0.3%参数量，推理提效10倍，在ImageNet获1.79的FID分数，解决扩散模型在像素空间难兼顾质效的问题。
写代码写出26亿身家、“淘宝第一个程序员”多隆离职后重出江湖，加入老同事创企，“杀入”AI赛道！
技术大牛多隆离开效力25年的阿里，于8月6日加入贝联珠贯，投身AI赛道。他曾是“淘宝第一个程序员”，一路走到阿里P11、成为合伙人，身家达26亿。此次他将和老同事毕玄用AI Agent改写运维服务格局。
刚刚，智谱开源了他们的最强多模态模型，GLM-4.5v。
智谱接连开源GLM - 4.5和GLM - 4.5V，后者为多模态模型，总参数106B，在42个评测基准中41个达到SOTA。经测试，它视觉推理强、速度快，还有视频理解等功能，API定价良心，体现持续开放精神。
全网开测GPT-oss！技术架构也扒明白了
全网开测GPT-oss，它登顶开源模型王座，性能比肩o3-mini、o4-mini，适合本地推理。网友探索出多种用法，还推出Pro版。其架构也被扒出，官方介绍了微调方法，吴恩达等大佬也参与测评。
GPT-5将揭示人类的"创造力"其实就是模式识别？
有传言GPT - 5将发布，X上一博主称其或揭示人类‘创造力’是模式识别，引发热议。有人认为创意是碎片重组，也有人坚持创造力不只是模式识别，还需推理等，AI完美识别模式反被困住。
GPT-5被意外泄露，奥特曼宣布即将发布！
一则GPT - 5被意外泄露的消息引发关注，SecureBio的github配置文件中出现相关内容，暗示要把‘推理’提升到新高度。OpenAI CEO等暗示GPT - 5即将发布，但不打算短期内推出有IMO金牌级别数学能力的正式产品。
大模型玩不好数独？！Transformer作者初创公司公布排行榜：o3 Mini High“变异数独”正确率仅2.9%
Transformer作者初创公司Sakana AI公布AI解决数独能力排行榜，用全新基准Sudoku - Bench考验大模型创造性推理能力。结果显示大模型总体正确率仅15%，9×9数独中高性能模型o3 Mini High正确率2.9%。
能识图、看视频，也能理解软件界面：蚂蚁百灵开源Ling-3.0-flash-VL
本文介绍蚂蚁百灵开源的多模态大模型Ling-3.0-flash-VL，该模型采用稀疏混合专家架构，支持图片、视频、软件界面理解，可将视觉信息用于推理与任务执行，开放权重采用MIT许可证供开发者部署测试。
阶跃开源JetSpec，大模型推测解码提速近10倍
随着Agent应用爆发，大模型推理效率成AI行业焦点。阶跃星辰联合多校团队开源JetSpec，该框架面向推测解码，在H100上把MATH - 500解码速度提升到9.64倍，突破了推测解码的扩展天花板。