「低延迟推理」共找到 2947 篇相关文章
智能体的致命三要素及六种安全设计模式
智能体发展带来诸多安全问题，仅靠外部防护不合理。Simon Willison总结其致命三要素，指出间接提示词注入攻击难防。Invariant Labs等提出六种安全设计模式，可综合使用，多LLM方法值得关注。
一个人，40 款应用、百万级用户，验证 MVP 这事，没那么复杂
AI独立开发者Hassan El Mghari 4年开发40多款AI应用，部分达百万级用户量。他分享开发全流程经验，指出开发者常犯发布慢、过度复杂化问题，强调用低成本验证MVP，从多渠道找需求。
OpenAI谷歌Anthropic罕见联手发研究！Ilya/Hinton/Bengio带头支持，共推CoT监测方案
OpenAI、谷歌DeepMind、Anthropic联合发表立场文件，提出CoT监测概念，认为是控制AI Agent核心方法。探讨其潜在机遇、局限，还提及不同公司对CoT监测的不同态度，如OpenAI乐观，Anthropic焦虑。
大模型首次直接理解代码图：不用Agent自动修bug，登顶SWE-Bench开源模型榜单
蚂蚁开源新模型CGM，首创将仓库代码图模态融入大模型，不依赖闭源模型和复杂Agent，仅需4步就能快速定位、生成补丁。它在多个测试基准中领先，技术论文等均已开源。
LLM进入「拖拽时代」！只靠Prompt，几秒定制一个大模型，效率飙升12000倍
新智元报道，NUS、UT Austin等机构研究人员提出「拖拽式大语言模型」（DnD），它基于提示词生成模型参数，无需微调适应任务，效率最高提升12000倍，零样本泛化能力出色。
奖励是假的，能让Qwen提升25%性能却是真的！
华盛顿大学博士生团队用Qwen模型对虚假奖励进行RLVR，使MATH - 500准确率显著提升约25%。研究发现RLVR不考虑奖励正确性，还分析了虚假奖励有效的原因，提示现有研究要在非Qwen模型验证。
InfoDeepSeek：首个开放网络环境下的智能体信息搜寻质量评估基准
上海交通大学与华为诺亚方舟实验室联合推出InfoDeepSeek，它是首个评估真实动态网络环境下智能体信息搜寻质量的基准。该基准有挑战性问题、真实动态环境等亮点，还开展实验揭示智能体行为特性。
字节开源高效解析文档图像的新型多模态模型Dolphin，快速将复杂的文档图像转化为结构化数据。
字节开源新型多模态模型Dolphin，采用“先分析后解析”范式，能将复杂文档图像转化为结构化数据。它有卓越性能和多种特性，还提供安装、推理使用指南。
等等，MiniMax H3不是刚发布吗？怎么就卷到几分钱的价格了……
MiniMax新发布的视频模型H3在多模态能力出色，霸榜Artificial Analysis榜单。但开源模型有部署和成本难题，秘塔AI上线该模型，免部署，2K方案0.15元/秒，768P方案0.09元/秒，降低创作门槛。
Agent 形态一天一个样，Infra 到底该为谁而建？
过去一年，Agent 应用形态多变，但进入稳定生产环境的项目有限。清程极智师天麾认为，Agent Infra 重要性待显，当前应提高 Token 生产交付效率。还探讨了 Agent 发展问题、Token 相关指标及收费模式等。