「成本管控」共找到 1743 篇相关文章
超越RAG和DAPT！华人团队新研究引热议：即插即用、无需改变原参即可让模型化身领域专家
华人团队提出比DAPT和RAG更方便、成本更低的方法，即“Memory Decoder”预训练记忆模块。它像“领域知识插件”，即插即用、不改原参，能让Qwen、Llama等模型成领域专家，还降低困惑度。
监督学习未死，一题训练五小时起飞！华人学者新方法20倍训练效率释放大模型推理能力
大模型推理能力研究中，RL训练资源成本高、不稳定，传统SFT低数据量易过拟合。加拿大滑铁卢大学华人团队提出One - Shot CFT方法，用一题多解多点评训练，仅需约5个GPU小时，效果好、稳定性强。
手机上实现AI视频实时生成，DiT模型上移动端
扩散变换器在视频生成任务性能强，但计算成本高，在手机上难实用。Snap提出创新优化法，加速视频生成，能在iPhone 16 Pro Max上每秒超10帧，不过也存在细节退化等局限。
打造全球首个强化学习云平台，九章云极是如何做到的？
AI正从语言模型走向智能体，强化学习成关键技术，但训练面临困难。2025年6月九章云极发布全球首个工业级强化学习云平台AgentiCTRL，实现系统级重构，其智能基础设施战略布局领先，具产业赋能优势。
除了prompting外，不动参数，如何改变模型行为？
文章指出传统提示工程控制大模型生成行为有缺陷，提出Steering Target Atoms (STA)方法。它用稀疏自编码器分解LLM高维表示，定位“原子知识组件”精准控行为，实验效果超现有技术，还能控制推理长度。
他一人撑起谷歌90%的AI宣传，劈柴真是挖到鬼才了
Logan Kilpatrick被谷歌从OpenAI挖来，虽非高管、研究员，却成谷歌AI“宣传达人”，一人包揽约90%营销工作。他推动AI Studio发展，助力谷歌整合团队，获晋升负责更多产品，还受开发者好评。
无损加速视觉语言模型推理！轻松剪掉视觉冗余Token｜腾讯AI Lab
多图像、长视频让大型视觉语言模型推理成本暴涨，成算力瓶颈。腾讯AI Lab联合CMU提出VScan，通过两阶段视觉token筛选机制，在几乎不损性能的前提下实现推理加速，且已在GitHub开源。
从Rax+DX到React，一次跨端组件重写的AI提效探索
本文基于M站首页重构项目，讲述借助AI编程工具Cursor和结构化Prompt，完成从Rax到React的组件迁移、DX到React的跨端重写，实现业务逻辑优化与工程规范落地，还分析了AI提效的优劣并总结迁移范式。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
万字长文！大模型(LLM)推理优化技术总结（非常详细）
文章聚焦大模型推理优化技术，介绍推理过程分预填充与解码阶段，还阐述模型并行、注意力机制优化、模型优化及服务技术等，如多查询注意力减少内存，FlashAttention 优化计算顺序。