「AI推理成本」共找到 11721 篇相关文章
基于 Gemini 模型做 SEO Agent 简单实战
作者参加 Google I/O 大会后，受 James 用 AI 做 SEO 启发，尝试基于 Google 的 Gemini 2.5 Pro 模型制作 SEO 智能体。介绍数据获取方法，构建 3 个 Agent 进行分析、提建议和输出报告，Gemini 负责理解决策，适合出海企业。
华为版CUDA，全面开源了
华为宣布为昇腾AI GPU开源CANN软件工具包及Mind系列套件、工具链，让昇腾更好用。CANN类似华为版CUDA，目前到8.0版，支持多深度学习框架。同日，传奇GPU架构师创业公司浮出水面，挑战英伟达。
ICCV 2025 | EPD-Solver:西湖大学发布并行加速扩散采样算法
扩散模型成生成任务主流技术，但逐步去噪机制致推理延迟大。西湖大学提出 EPD - Solver 算法，融合三类加速思路优势，可减少积分误差、提升生成质量，还能作插件集成，突破扩散模型速度与质量权衡瓶颈。
Qwen&清华团队颠覆常识：大模型强化学习仅用20%关键token，比用全部token训练还好
Qwen与清华LeapLab团队研究发现，大模型强化学习训练推理能力时，仅20%高熵token就能撑起效果，甚至超全部token训练。团队用此在Qwen3-32B创造新SOTA记录，还探讨了强化学习的相关特性。
LightLLM中DeepSeek V3/R1 Two MicroBatch Overlap 实现解析
文章围绕LightLLM中DeepSeek V3/R1的Two MicroBatch Overlap实现展开。介绍了该技术原理，通过拆分推理过程、精心设计执行顺序实现计算与通信重叠。还阐述了数据结构设计、预处理、核心执行流程，以及优化策略和配置启用方式。
苹果提出原生多模态Scaling Law！早融合+MoE，性能飙升秘密武器
如今打造强大多模态模型是AI重要目标，常用方法有局限。法国索邦大学、苹果研究人员开展原生多模态Scaling Laws研究，对比早融合与后融合，探讨多种因素对模型性能影响，发现早融合、多模态MoE优势，为后续研究指明方向。
大模型之外，向量存储如何支撑 Agent 的检索链路
文章指出大模型负责理解、推理和生成，而Agent需获取外部数据等。向量存储可将数据转化为语义向量，在Agent执行任务时找回相关内容。文章探讨向量存储技术方向，分享做法，还演示阿里云两种Serverless向量存储用法。
两个小时，10美元，Karpathy做了一个《指环王》3D游戏
Andrej Karpathy 让 Opus 5 根据《指环王》开篇文字，用 Three.js 制作三维场景，成本约 10 美元，两小时写出 5500 行代码。虽效果粗糙但有趣，他设想未来大模型能按需生成虚拟世界，不过也暴露大模型难以检查成果的问题。
Qwen3.8-Max：编程与办公，全面跃升
今日正式发布Qwen3.8-Max，下周将开源其及Qwen3.8 - 27B模型权重。它参数达2.4万亿，在多方面全面提升。开发者可通过千问AI平台获API服务，性价比高。在编程、办公等场景表现出色，用户反馈良好。
1600代码造出水下曼哈顿， Fable 5让Karpathy看呆了
Fable 5重新上线，Arena.ai的Gostev用其生成63个3D世界，多数一次成型，连Karpathy都直呼没想到。1600行代码就能撑起水下曼哈顿，还能将世界名画变成可穿行的3D世界，但游戏是其弱项。