「推理成本」共找到 3299 篇相关文章
AI自己给自己当网管，实现安全“顿悟时刻”，风险率直降9.6%
大型推理模型有安全风险，此前监督微调泛化能力有限。SafeKey团队提出创新的SafeKey框架，发现大模型信息“越狱”两大核心，通过双通路安全头和查询遮蔽建模强化模型安全，实验验证其有效性。
比自回归更灵活、比离散扩散更通用，首个纯Discrete Flow Matching多模态巨兽降临
近年来多模态大模型多采用自回归架构，推理缺乏灵活性。香港大学和华为诺亚方舟实验室研究团队提出FUDOKI，基于全新非掩码离散流匹配架构，能并行去噪、动态修正，为多模态模型开辟新路径。
The Batch：827 | Claude 4 推动代码生成能力再升级
Anthropic 发布 Claude 4 Sonnet 和 Claude 4 Opus 模型，支持“推理模式”，能并行调用工具。还发布 Claude Code 编程智能体及 SDK。两款模型输入输出能力强，功能亮点多，性能表现佳，有多种使用渠道和定价。
一文讲透程序编排的核心方式：从表达式语言到并行化实践
文章围绕程序编排展开，介绍单语句编排、类编排、流程编排、并行化编排等核心方式，分析多种编排框架特点及适用场景，还提及Lindorm泛时序数据解决方案，为开发者提供编排参考。
Meta「轻量级」KernelLLM颠覆GPU内核生成，8B参数碾压GPT-4o
Meta推出基于Llama 3.1微调的8B参数KernelLLM，能将PyTorch代码转高效Triton GPU内核。实测单次推理性能超GPT - 4o和DeepSeek V3，多次生成得分更高，让内核开发更易上手。
谷歌AI核爆：升级全系模型，Gemini 2.5双榜登顶！所有产品用AI重做，OpenAI如何接招？
北京时间5月21日凌晨，谷歌在I/O大会发布众多更新。模型层面，为Gemini 2.5 Pro引入新推理模型和更好的2.5 Flash；谷歌搜索推出AI模式；还亮相视频模型Veo 3等，编码助手Jules公测。
1.7K star!找到啦，小众需求，但是需求的时候你一定用得上，企业级能源管理神器
MyEMS是开源能源管理系统新标杆，基于Python+Django构建，提供完整解决方案。支持多场景能耗监控，通过可视化报表和AI算法优化能效，助企业降15%-30%能源成本，还介绍了其功能、架构等。
21
本文聚焦vllm v1中管控模型分布式推理的核心Executor部分，介绍其4种类型及适用场景，以mp类型为例阐述Executor - Workers架构，还说明了大小数据在两者间的传输机制及原理。
中国 AI 投资人：练习时长两年半
文章是对多家投资机构的访谈，探讨AI投资与创业趋势。涉及Manus成功经验、DeepSeek影响、模型公司前景、应用机会等，还谈及创业者应对策略、投资策略变化及行业未来思考。
OpenAI 详解 GPT-Live 架构如何实现了连续的有状态语音交互
本文是InfoQ翻译的OpenAI技术分享，详细公开GPT-Live实现连续有状态低延迟语音交互的架构设计，分享了架构拆分、协议优化、上线测试等实践经验与设计权衡。