「推理内存」共找到 2212 篇相关文章
AI自己给自己当网管，实现安全“顿悟时刻”，风险率直降9.6%
大型推理模型有安全风险，此前监督微调泛化能力有限。SafeKey团队提出创新的SafeKey框架，发现大模型信息“越狱”两大核心，通过双通路安全头和查询遮蔽建模强化模型安全，实验验证其有效性。
比自回归更灵活、比离散扩散更通用，首个纯Discrete Flow Matching多模态巨兽降临
近年来多模态大模型多采用自回归架构，推理缺乏灵活性。香港大学和华为诺亚方舟实验室研究团队提出FUDOKI，基于全新非掩码离散流匹配架构，能并行去噪、动态修正，为多模态模型开辟新路径。
The Batch：827 | Claude 4 推动代码生成能力再升级
Anthropic 发布 Claude 4 Sonnet 和 Claude 4 Opus 模型，支持“推理模式”，能并行调用工具。还发布 Claude Code 编程智能体及 SDK。两款模型输入输出能力强，功能亮点多，性能表现佳，有多种使用渠道和定价。
Meta「轻量级」KernelLLM颠覆GPU内核生成，8B参数碾压GPT-4o
Meta推出基于Llama 3.1微调的8B参数KernelLLM，能将PyTorch代码转高效Triton GPU内核。实测单次推理性能超GPT - 4o和DeepSeek V3，多次生成得分更高，让内核开发更易上手。
谷歌AI核爆：升级全系模型，Gemini 2.5双榜登顶！所有产品用AI重做，OpenAI如何接招？
北京时间5月21日凌晨，谷歌在I/O大会发布众多更新。模型层面，为Gemini 2.5 Pro引入新推理模型和更好的2.5 Flash；谷歌搜索推出AI模式；还亮相视频模型Veo 3等，编码助手Jules公测。
21
本文聚焦vllm v1中管控模型分布式推理的核心Executor部分，介绍其4种类型及适用场景，以mp类型为例阐述Executor - Workers架构，还说明了大小数据在两者间的传输机制及原理。
新一代Mac mini搭载M6开售！M5 Ultra也来了
苹果更新Mac mini和Mac Studio，带来M6、M5 Ultra芯片。M6是苹果首颗2nm制程M系列芯片，M5 Ultra为四晶粒封装SoC。苹果用四个档位搭建桌面Mac本地AI算力梯队，8月27日预购，9月22日发售。
从“卷模型”到“算总账”：AI 产业竞争开始拼什么 | 请回答 WAIC 2026
WAIC 2026热度高涨，InfoQ直播间追问‘AI正在重写什么’。与会嘉宾讨论AI产业新阶段变化，如从‘看能力’到‘算总账’，认为模型重要性方式已变，还探讨了AI原生产品定义、AI Infra影响及未来关注方向。
让VLA真正跑上机器人：北大团队开源Jetson-PI，Jetson Orin控制频率提升8.66倍
文章聚焦让VLA模型在机器人上高效运行难题。北大等团队提出Jetson - PI方案，从异步推理算法等三层面优化，在Jetson Orin上控制频率提升8.66倍，推动具身智能向工业应用跃迁。
乐鑫开源首个「物联网设备Agent框架」，Claw的风终于吹到硬件上
乐鑫开源首个物联网设备Agent框架ESP - Claw，用C语言重写。它核心理念是对话即创作，可让用户通过聊天定义硬件行为。具备运行效率高、内存占用低等特点，还有多种功能及良好的生态适配性。