「token 成本」共找到 2007 篇相关文章
烧钱,能解决 AI 存储的焦虑吗?
存储短缺焦虑或延续至 2026 年,传统云存储因 AI 落地面临性能、成本等压力。InfoQ 联合腾讯云邀行业人士探讨成因、策略与竞争主线,还给出存储价值评估与规划方法,介绍文远知行和腾讯云实践。
通用的dLLM开发框架,让BERT掌握扩散式对话
扩散式语言模型(DLM)因缺乏易用框架和训练成本高受限。伯克利与UIUC团队基于dLLM框架,让BERT学会对话,证明‘离散扩散 + 轻量级指令微调’可赋予BERT强生成能力,还开源全流程代码。
上海AI Lab发布混合扩散语言模型SDAR:首个突破6600 tgs的开源扩散语言模型
上海人工智能实验室提出全新范式SDAR,通过‘训练 - 推理解耦’融合AR模型高性能与扩散模型并行推理优势。实验证明,SDAR性能与原版AR模型持平或超越,还能加速推理,且已全面开源全系列模型。
M2模型杀回Coding和Agent领域,MiniMax想要「普惠智能」
如今大模型竞争转向综合比拼,MiniMax 发布并开源 M2 模型,在权威测评跻身全球第一梯队。它定位轻量级,Coding 与 Agentic 能力强,性价比高,还升级 Agent 产品,以技术普惠策略让用户零成本体验。
快手Klear团队提出CE-GPPO:通过梯度保留协调熵,解决强化学习中的熵不稳定问题
快手 Klear 语言大模型团队提出新强化学习算法 CE - GPPO,以「熵」为核心,提出梯度保留策略,重新利用裁剪外区间低概率 token 的梯度,实现策略熵的精细调控,解决强化学习中熵不稳定问题。
攻克大模型训推差异难题,蚂蚁开源新一代推理模型Ring-flash-2.0
9月19日,蚂蚁百灵大模型团队开源新一代推理模型Ring-flash-2.0,独创棒冰算法解决训推差异难题,实现稳定训练。该模型仅激活6.1B参数就能打平40B Dense模型性能,降低推理成本。
具身智能还需要一个「五年耐心」
作者与具身智能领域人士交流后认为,具身智能还需「五年耐心」。当下通用机器人进工业产线挑战大,一到两年或迎「GPT - 3.0 时刻」,但到「GPT - 4.0」阶段还需解决数据、硬件等诸多问题。
AI胡说八道这事,终于有人管了?
AI大模型幻觉问题棘手,GPT - 5幻觉率降低。苏黎世联邦理工学院和MATS研究提出低成本、可扩展检测法,精准识别实体级幻觉,分类器超现有基准,还能识别逻辑错误,团队已公开数据集。
DPad: 扩散大语言模型的中庸之道,杜克大学陈怡然团队免训推理加速61倍
扩散大语言模型(dLLMs)有全局规划能力,但存在计算冗余。杜克大学陈怡然团队揭示其“草稿纸机制”,提出免训练方法DPad,结合现有技术,能在几乎无损精度下实现高达61.4倍推理加速。
扎克伯格的豪赌初见成效?Meta新方法让LLM长上下文处理提速30倍
Meta Superintelligence Labs提出REFRAG高效解码框架,解决LLM长上下文输入效率瓶颈。它通过四步流程优化解码,让首个token生成时间加速达30.8倍,扩展上下文,且精度不降反升,不过价值待实际检验。