「推理缓存优化」共找到 3050 篇相关文章
阿里开源PromptEcho：用冻结多模态大模型为文生图训练提供高质量Reward
阿里团队提出PromptEcho方法，无需标注和训练reward模型，仅通过冻结多模态大模型（VLM）的一次前向推理获高质量reward。实验显示其在文生图和电商海报文字渲染任务效果佳，且已开源相关代码等。
Meta没做的，英伟达做了！全新架构吞吐量狂飙6倍，20万亿Token训练
英伟达发布全新架构9B模型NVIDIA Nemotron Nano 2，以Mamba - Transformer混合架构实现推理吞吐量最高提升6倍，对标Qwen3 - 8B并在多任务中表现持平或更优，还开源模型及大部分预训练数据。
腾讯混元开源 4 个小尺寸模型，主打 Agent 和长文
8月4日腾讯混元开源四款小尺寸模型，参数为0.5B、1.8B、4B、7B，消费级显卡可运行。模型推理快、性价比高，在多领域表现出色，亮点是Agent和长文能力，已在腾讯多业务应用。
DeepSeek-V3再发论文，梁文锋署名，低成本训练大模型的秘密揭开了
DeepSeek 发布围绕 DeepSeek-V3 的技术论文，从硬件架构和模型设计双重视角，探讨实现经济高效的大规模训练和推理的方法。介绍了 DeepSeek-V3 的创新设计，如 DeepSeekMoE 架构、MLA 架构等，还给出未来硬件架构设计建议。
社区供稿 | Index-AniSora 技术升级开源: 动漫视频生成强化学习
B站升级动画视频生成模型Index - AniSora技术并开源，支持多种二次元风格视频镜头一键生成。基于相关研究提出首个专为二次元视频生成的强化学习技术框架，构建奖励数据集、训练AnimeReward、提出GAPO优化策略，实验验证其有效性。
字节最强多模态模型登陆火山引擎！Seed1.5-VL靠20B激活参数狂揽38项SOTA
5月13日，火山引擎在上海发布5款模型和产品，其中豆包1.5・视觉深度思考模型（Seed1.5-VL）最吸睛。它激活参数20B，性能与Gemini2.5 Pro相当，38个评测基准达SOTA，推理成本低，已开放API。
翁荔新博客提出「自进化先从Harness开始」，DeepSeek崔添翼转发附议
前OpenAI安全副总裁翁荔新博客探讨AI自进化，提出从Harness开始的现实路径。DeepSeek崔添翼转发附议，认为Harness方向自进化很可能出成果。翁荔梳理研究，展示优化递进趋势，也指出实现递归自我改进存在的瓶颈。
参数砍到 1B，这个小钢炮拿下多模态第一
面壁智能发布并开源参数量仅 1.3B 的 MiniCPM-V 4.6，虽小但多模态综合能力在 1B 级别中夺冠。它推理快，效率高，靠两大架构创新实现，还为开发者提供完整工具链。
清华2年前预言，正成为全球共识！Meta等三大AI机构已得出同一结论
全球三家AI研究机构结论曲线斜率几乎重合，而中国面壁智能和清华联合团队两年前提出的“密度定律”与它们一致。该定律改写行业假设，如推理成本下降、端侧智能爆发临近、大模型策略反转等。
Karpathy最新手搓！复现GPT-2成本狂降600倍：仅需507元3小时训练「最好的AI学习项目」
Andrej Karpathy的个人项目nanochat更新，现训练GPT - 2级别的LLM成本低于100美元，在单个8XH100节点上仅3小时花约73美元，较7年前成本降600倍，还列出关键优化技术，设排行榜。