「百万Token计算」共找到 1374 篇相关文章
黄仁勋暴论核弹:AGI已经实现,Ilya错了,程序员有10亿
在Lex Fridman的专访中,黄仁勋抛出诸多惊人观点,如称已实现AGI,反驳Ilya“预训练触顶”言论,认为推理计算难且重要,还对未来技术、行业、职业发展等多方面进行展望。
“千问奶茶”在二手平台6元转售;追觅俞浩:年终奖最高20个月奖金,总量会达到10亿级;京东001号快递员:退休金4000多,存款百万|AI周报
这是一份AI周报,涵盖行业热点、大模型发布等多方面信息。有追觅俞浩高额年终奖计划,马云现身阿里千问项目组引发‘千问奶茶’活动热潮,还有域名交易、企业收购、模型发布及应用等动态。
The Batch: 899 | 更划算的推理
研究人员提出 Delethink 强化学习方法,训练大模型定期截断推理 token 至固定最大数量,以限制处理长思维链成本。经测试该模型在多方面超基线,且缓解计算成本限制,为长上下文推理提供路径。
The Batch:836 | 基准测试成本攀升
独立AI测试实验室披露评估推理模型成本上升。这些模型生成“思维链”提升输出质量,但计算需求增加,成本上升使资源有限组织难复现结果,且新模型定价、按需分配推理token也让成本更复杂。
Glyph:文本转图片解决长上下文困境,智谱把“DeepSeek-OCR”具像化了
传统 token 扩展方式遇算力成本天花板,DeepSeek 与智谱都想到让 AI“看”文字思路。智谱发布 Glyph 框架工程化实现此思路,将文本转图片处理,降低计算成本,有不错效果但也存在排版敏感等限制。
EMNLP 2025 | 动态压缩CoT推理新方法LightThinker来了
随着AI发展,大语言模型处理复杂推理任务能力提升,但推理产生大量中间步骤和文本,拖慢计算速度、增加资源压力。研究者提出LightThinker,模仿人类思考模式,动态压缩推理步骤,削减tokens数量,降低成本。
推理快30%,性能超过千亿参数模型,15B模型Apriel-1.6重新定义端侧推理
ServiceNow人工智能团队发布的Apriel-1.6-15b-Thinker,以150亿参数体量,多模态推理能力强,推理Token消耗降超30%。它在AI分析指数成绩佳,优化计算成本,还介绍了训练策略与多维度性能实测情况。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA(次平方稀疏注意力)算法。它支持12M tokens上下文,比fastAttention快52倍,训练和推理更快。SSA改变了注意力扩展特性,有计算和内存线性扩展等特性,经三阶段训练可可靠利用长上下文。
CVPR 2026新规:强制披露算力成本,高效率、高透明度论文可获三项认可奖
CVPR2026出台‘计算资源报告表(CRF)’试点计划,要求论文作者报告研究中使用的计算资源,提交报告不影响论文接收决策,展示出色计算效率和透明度的论文可获认可奖项。
仅需一个混频器的无线射频机器学习推理,登上Science Advances!
杜克大学和MIT教授团队提出广播模型并在射频上完成计算的分离式计算方案,在边缘端混频器模拟计算中完成推理,解决传统方案问题,还在测试平台验证,能耗低且能完成多项机器学习任务。