「推理性能优化」共找到 4211 篇相关文章
刚刚，谷歌AI路线图曝光：竟要抛弃注意力机制？Transformer有致命缺陷！
谷歌未来AI路线图曝光，Gemini全模态是重点，模型向智能体转变，推理能力将扩展。谷歌还需突破现有注意力机制限制实现无限上下文。此外，文中盘点了OpenAI、DeepSeek等大厂AI年中表现。
“看懂”指令并做动作！Motion-R1结合COT让角色动起来
大语言模型为文本驱动动作生成带来新可能，但现有方法有局限。GigaAI提出Motion - R1框架，融合“思维链”机制，能分解指令、优化动作合成，虽有不足，但在测试中表现优于主流方法。
AI自己给自己当网管，实现安全“顿悟时刻”，风险率直降9.6%
大型推理模型有安全风险，此前监督微调泛化能力有限。SafeKey团队提出创新的SafeKey框架，发现大模型信息“越狱”两大核心，通过双通路安全头和查询遮蔽建模强化模型安全，实验验证其有效性。
比自回归更灵活、比离散扩散更通用，首个纯Discrete Flow Matching多模态巨兽降临
近年来多模态大模型多采用自回归架构，推理缺乏灵活性。香港大学和华为诺亚方舟实验室研究团队提出FUDOKI，基于全新非掩码离散流匹配架构，能并行去噪、动态修正，为多模态模型开辟新路径。
开源播客生成MoonCast：让AI播客告别"机械味"，中英双语对话更自然！
MoonCast是革新性对话式语音合成模型，已开源。它借助LLM让剧本有干货与人味，采用全面规模化策略使音频合成更自然，性能在双语长对话播客上提升显著，接近真人播音效果。
智能投顾的大模型应用，为什么选择了“大小模型协同”？
大模型时代，金融智能投顾落地是技术与业务安全的双重挑战。北银金科高级算法专家尹辰轩表示采用“大小模型协同”架构，能在性能、准确性与合规间找平衡，还阐述了架构亮点、问题解决办法等。
谷歌AI核爆：升级全系模型，Gemini 2.5双榜登顶！所有产品用AI重做，OpenAI如何接招？
北京时间5月21日凌晨，谷歌在I/O大会发布众多更新。模型层面，为Gemini 2.5 Pro引入新推理模型和更好的2.5 Flash；谷歌搜索推出AI模式；还亮相视频模型Veo 3等，编码助手Jules公测。
三金，又是中国队！全球机器人视触融合挑战赛揭榜
ManiSkill - ViTac 2025视触觉融合挑战赛揭榜，全球42支团队参赛，中国两家具身初创公司包揽三金。该赛事聚焦视触觉融合技术，为机器人行业搭建从实验室到现实应用的桥梁，推动相关算法和硬件进步。
1.7K star!找到啦，小众需求，但是需求的时候你一定用得上，企业级能源管理神器
MyEMS是开源能源管理系统新标杆，基于Python+Django构建，提供完整解决方案。支持多场景能耗监控，通过可视化报表和AI算法优化能效，助企业降15%-30%能源成本，还介绍了其功能、架构等。
21
本文聚焦vllm v1中管控模型分布式推理的核心Executor部分，介绍其4种类型及适用场景，以mp类型为例阐述Executor - Workers架构，还说明了大小数据在两者间的传输机制及原理。