「推理部署」共找到 2645 篇相关文章
阿里开源PromptEcho：用冻结多模态大模型为文生图训练提供高质量Reward
阿里团队提出PromptEcho方法，无需标注和训练reward模型，仅通过冻结多模态大模型（VLM）的一次前向推理获高质量reward。实验显示其在文生图和电商海报文字渲染任务效果佳，且已开源相关代码等。
Meta没做的，英伟达做了！全新架构吞吐量狂飙6倍，20万亿Token训练
英伟达发布全新架构9B模型NVIDIA Nemotron Nano 2，以Mamba - Transformer混合架构实现推理吞吐量最高提升6倍，对标Qwen3 - 8B并在多任务中表现持平或更优，还开源模型及大部分预训练数据。
DeepSeek-V3再发论文，梁文锋署名，低成本训练大模型的秘密揭开了
DeepSeek 发布围绕 DeepSeek-V3 的技术论文，从硬件架构和模型设计双重视角，探讨实现经济高效的大规模训练和推理的方法。介绍了 DeepSeek-V3 的创新设计，如 DeepSeekMoE 架构、MLA 架构等，还给出未来硬件架构设计建议。
字节最强多模态模型登陆火山引擎！Seed1.5-VL靠20B激活参数狂揽38项SOTA
5月13日，火山引擎在上海发布5款模型和产品，其中豆包1.5・视觉深度思考模型（Seed1.5-VL）最吸睛。它激活参数20B，性能与Gemini2.5 Pro相当，38个评测基准达SOTA，推理成本低，已开放API。
内核级的真相：为什么 eBPF 正在取代基于用户空间的 Agent 成为安全可观测性的首选
文章指出基于用户空间的安全 Agent 存在与威胁同权限层级、CPU 成本高、易被攻击等问题。eBPF 能在 Linux 内核运行受沙箱保护程序，可降成本、增可见性。上线应分阶段，还介绍工具及部署安全措施。
参数砍到 1B，这个小钢炮拿下多模态第一
面壁智能发布并开源参数量仅 1.3B 的 MiniCPM-V 4.6，虽小但多模态综合能力在 1B 级别中夺冠。它推理快，效率高，靠两大架构创新实现，还为开发者提供完整工具链。
清华2年前预言，正成为全球共识！Meta等三大AI机构已得出同一结论
全球三家AI研究机构结论曲线斜率几乎重合，而中国面壁智能和清华联合团队两年前提出的“密度定律”与它们一致。该定律改写行业假设，如推理成本下降、端侧智能爆发临近、大模型策略反转等。
华尔街彻夜难眠！Gemini 3屠榜金融「最难考试」，AI砸了「金饭碗」？
被誉为「黄金职业通行证」的CFA考试被AI攻陷，推理模型不仅全部通过三级考试，部分科目接近满分。如Gemini 3.0 Pro在一级考试创97.6%最高纪录。不过AI仍有局限，还不能完全替代分析师。
OpenAI拉响红色警报！暂停广告和Agent，下周发布新模型硬刚Gemini 3
面对Google等对手的竞争，OpenAI宣布进入‘红色警报’状态，下周将发布新推理模型硬刚Gemini 3 pro。Altman暂停部分项目，调配资源升级ChatGPT，重点修补‘模型行为’，提升产品体验，还注重图像生成。背后是融资需求压力。
告别微调时代：拖拽式LLMs实现12000倍加速适配，输入描述，秒级定制LLM，效果、速度全面超越
传统高效微调技术成大规模部署瓶颈，论文提出Drag-and-Drop LLMs (DnD)，仅需输入目标任务未标注提示，即可秒级生成适配的LoRA权重，实现LLM秒级免训练适配，效率、性能和泛化性上均有突破。