「低延迟推理」共找到 2941 篇相关文章
AI“压力面”，DeepSeek性能暴跌近30% | 清华&上海AI Lab
上海人工智能实验室等团队设计REST框架，在一个prompt里抛多问题模拟复杂推理场景。结果显示，DeepSeek - R1等模型高压下性能大幅缩水，REST能拉开不同模型差距，还揭示评测方法局限。
作为软件架构师使用 AI 的经验
Avraham Poupko 在 OOP 大会分享软件架构师用 AI 经验，认为软件架构师不会被 AI 取代，AI 适合探索权衡、提炼语言，但缺乏情境推理和情感智能，人类在这方面更有优势。
爆冷！字节Seed 在CCPC 决赛只做出一道签到题，而DeepSeek R1 直接挂零？
第十届 CCPC 举行，字节 Seed 携 Seed - Thinking 参赛，仅做出一题，DeepSeek R1 挂零。不同模型架构在比赛中差异不大，暴露出大模型做算法题短板，推理模式模型表现更好。
AgentA/B：用AI模拟用户，真人AB测试或将成为历史
宾夕法尼亚州立大学和亚马逊合作研发AgentA/B测试框架，用大语言模型生成虚拟用户模拟真实行为，成本低、速度快，还能绕开真实流量测试。虽有人质疑，但它或改变传统AB测试。
The Batch: 968 | Muse Code 想获取你的数据
Meta推出Muse Code编码框架及Muse Spark 1.2模型，有不同输入输出、功能和性能表现。提供不同档位价格，贡献者档位低价但数据用于训练。测试显示其单任务成本低，Meta此举或为获取编码训练数据。
Google Gemini Embedding2：一个模型处理所有媒体类型
Google发布Gemini Embedding 2，首个原生多模态嵌入模型。能处理文本、图像等多种媒体类型，支持交错输入，覆盖超100种语言。与多模型串联方案比，延迟降70%、召回率升20%。已可在Gemini API等使用。
Kimi K2 Thinking，最强思考模型，附实测
Moonshot AI发布Kimi K2 Thinking模型，它能边思考边行动，是目前最强开源思考模型，多项指标超GPT - 5等闭源巨头。其具独特架构，有性能优势，还给出部署方式，实测表现佳。
别让Nano Banana骗了！混合方案让头像生成成功率从0到100%
作者用Nano banana更新头像时发现其生成中文能力差，提出将AI画图与HTML编程结合的方案。HTML搞定确定性、成本低部分，AI画图负责复杂、创意性高部分，还给出使用方法及多种头像加字设计方案。
全流程国产GPU，上下文提速100倍！中国科学院发布「线性复杂度」类脑大模型
中国科学院自动化所李国齐、徐波团队发布国产自主可控类脑脉冲大模型SpikingBrain-1.0，训练推理全用国产GPU。它具线性复杂度，超长序列处理速度快，还开源7B模型，为类脑智能发展提供新思路。
Nano Banana 邪修之王最强科研成果！教你自定义生图比例！
Nano Banana 出图有分辨率低和比例不可控问题。作者发现用垫图方式可控制其生图比例，已生成图片也适用，还给出操作方法、提示词，介绍不同平台效果及案例图下载方式。