「单token验证」共找到 2021 篇相关文章

算法论文8

CVPR 2026 | 从视觉Token内在变化量出发,实现VLM无损加速1.87倍

随着高分辨率图像与长视频处理需求增长,大型视觉语言模型推理效率成瓶颈。V²Drop从视觉Token内在变化量出发,采用多阶段渐进式剪枝策略,实现无损加速,在图像和视频理解场景表现卓越。

机器之心
算法论文7

1万tokens是检验长文本的新基准,超过后18款大模型集体失智

Chroma团队研究发现,将上下文扩展至1万tokens,18款主流大模型集体“失智”,“智商”非均匀下降,在一些节点会断崖式下跌。研究还设计四项对照实验,证明LLMs性能随输入长度增加显著且非均匀下降。

量子位
推荐文章9

百度百舸演讲:用 Agent 优化 SGLang,从改Kernel修改到端到端验证

本文是百度百舸与SGLang联合Meetup的分享整理,讲解如何让Agent完成从瓶颈定位、Kernel修改到端到端验证的全流程SGLang性能优化,覆盖多类模型场景,公布实测性能提升数据与百度百舸的通信优化效果。

GiantPandaLLM
新闻资讯7

“如果你不用更多Token,就永远逃不出底层”:AI竞赛开始变成资源战争

文章围绕AI竞赛中资源分配问题展开,以SemiAnalysis创始人Dylan Patel经历为例,揭示Token成本疯涨、需求远超供给,介绍Anthropic模型优势,探讨具身智能成新需求点,分析竞争格局及供应链瓶颈,还预警反AI抗议。

InfoQ
产品应用8

Claude Code 省 Token 指南:慎用 1M 上下文,不开新会话或者总是开新会话都不对

文章聚焦Claude Code省Token问题,分析配额消耗快的原因,介绍提示缓存机制,给出省钱策略、操作规则,还提及委派工作及澄清误解,强调让缓存多命中、上下文少装无关内容。

宝玉AI
算法论文7

上交大和辉羲把LLM刻进ROM!推理性能冲2万token/s,GPU时代终结?

硅谷Taalas将大模型‘物理焊死’进芯片引关注,而上海交大、辉羲智能与微软亚洲研究院团队用ROM+SRAM异构架构,将端侧LLM推理速度推至20,000 tokens/s。介绍了ROMA和TOM架构优势及应用场景。

新智元
开源动态8

2.9K Star!这个工具让 Agent 查代码快了 200 倍!节省 98% Token 消耗!

当下,Agent 在代码工作流应用广泛,但在大型代码库搜索时存在精准性、Token 效率和速度问题。Semble 是 MinishLab 团队开发的面向 Agent 的代码搜索工具,能解决上述问题,还具备多方面亮点,安装和使用也简单。

开源星探
产品应用8

Suno、Udio都被它干翻!中国AI音乐模型拿下AA全球榜单双料冠军

昆仑万维旗下 AI 音乐大模型 Mureka V8,在 Artificial Analysis 榜单上登顶 vocals 和 instrumental 双榜第一,超越国际主流模型。实测亮点多,其技术进步显著,V9 也将解决表达偏差问题。

机器之心
新闻资讯7

电商上演「魔法对轰」:卖家用AI假图骗下单,买家拿AI烂水果骗退款

电商领域,卖家用AI假图骗下单,买家拿AI假图骗退款,双方上演“魔法对轰”。单一证据易伪造,平台探索技术和策略组合,建立统一数字内容标准或成破局关键。

机器之心
新闻资讯7

别再问什么工作被AI取代!Karpathy直指本质:你的工作「可验证」吗?

前特斯拉AI负责人Andrej Karpathy提出,软件1.0自动化能指定的任务,软件2.0自动化能验证的任务。判断任务能否被AI接管,关键看是否满足可重置、可高效试错、可自动奖励三条准则。

新智元