「推理优化技术」共找到 5270 篇相关文章
英伟达推理服务器被曝高危漏洞，云端AI模型被攻击直接裸奔
安全研究机构Wiz Research曝光英伟达Triton推理服务器一组高危漏洞链，可组合利用实现远程代码执行，造成模型被盗、数据泄露等后果。英伟达已发布补丁，25.07版本前系统有风险。
蚂蚁技术研究院副院长吕乐当选美国医学与生物工程院（AIMBE）Fellow
美国医学与生物工程院（AIMBE）公布2026届Fellow入选名单，蚂蚁集团技术研究院副院长吕乐博士当选。该机构Fellow评选是领域最高荣誉之一，仅授予全球前2%顶尖人才。吕乐在医疗AI贡献突出。
北大提出首个复数大模型，2比特量化，推理仅加法，可手机部署！
北大团队提出iFairy方案，将模型权重量化到复数集合，用2比特表示，压缩至原本1/8。推理仅需加减或交换数据位置，成本更低。Transformer架构“复数化”，iFairy模型PPL降10%，性能反超全精度，相关成果已开源。
最强3B「小钢炮」，代码数据全公开！推理随意开关，128k超长上下文
Hugging Face推出30亿参数模型SmolLM3，支持128k长上下文，训练等全链路开放。它在架构、数据混合策略等多方面优化，性能超Llama3.2 - 3B等，还公开双模式指令模型构建方案。
拆解、对比与优化：LLM工具智能体的五种任务规划与执行模式
文章探讨了大语言模型驱动的AI智能体的五种任务规划与执行模式，包括ReAct、Plan-and-Execute、静态Workflow、Workflow+局部智能、模块化的分层规划，分析其优缺点、适用场景，还给出优化方法。
Meta 新成立超级智能实验室，让大模型RAG推理速度飙升30倍
Meta新成立超级智能实验室（MSL），首篇论文REFRAG将RAG推理速度提升30倍以上。它先把上下文压缩成摘要再解码，减少计算量和延迟，在多任务测试中表现出色，为大模型部署提供实用方案。
10 人 1600 万美金 ARR，华人团队 OpenArt 用了这 11 个 AI 技术栈
华人团队 OpenArt 10 人团队做到 1600 万美金 ARR，CEO Coco Mao 分享经验。包括找准定位，聚焦三类核心用户；用程序化 SEO 实现增长；战略转型做视觉故事讲述；解决角色一致性问题，还介绍多方面技术栈。
多模态扩散模型开始爆发，这次是高速可控还能学习推理的LaViDa
近期基于扩散模型的视觉 - 语言模型 LaViDa 出现，它继承扩散语言模型优点。与自回归模型不同，扩散模型能并行、处理双向上下文。LaViDa 在多任务测试有竞争力，推理蒸馏和文本填空表现好，还能权衡速度与质量。
想让机器人春晚包饺子？阿里达摩院：别急，先把「大脑」优化一下
阿里达摩院推出 RynnBrain 模型，从底层出发将时空记忆和物理空间推理训进模型，在 16 项具身 Benchmark 上达 SOTA。还开源 7 个模型，解决通用大模型在物理世界的局限，在多项任务表现出色。
英伟达下一代GPU登场，Rubin CPX一次推理数百万Token，网友：这是头野兽
在周二的AI基础设施峰会上，英伟达宣布推出专为超100万token长上下文推理设计的Rubin CPX GPU。它将与其他产品组成新平台，性能卓越，还能复用现有平台，预计2026年底上市。