「Token吞吐」共找到 741 篇相关文章
MIT这篇RLM论文，给出了Scaling的另一种可能~
当大家普遍认为解决长上下文问题要靠扩大模型上下文窗口时，MIT 最新的 RLM 论文提出新路径。其 code 已开源，能实现无界上下文处理，可让任意大语言模型处理 10 万 +token。
你奶奶也能看懂：DeepSeek-OCR的秘密。
本文介绍DeepSeek-OCR，它并非普通OCR工具，而是用“上下文光学压缩”将大量文本信息转为少量视觉Token。其架构含编码器和解码器，压缩效果惊人，重新定义AI“记忆”，或改变AI认知方式。
OpenClaw 闭门局：和 30 位创业者一起聊聊，真正值得关注的 Agent 生态位在哪？
OpenClaw带火了Agent，带来整个Agent生态重建机会。在第四期AI产品市集Meetup上，30多位创业者探讨创业机会，涉及Token消耗、支付、硬件、记忆等方面，还讨论了创业策略。
刚刚，字节开源Seed-OSS-36B模型，512k上下文
深夜，字节跳动Seed团队开源Seed-OSS系列模型，含三个版本。其用12万亿tokens训练，在多基准测试表现出色。有灵活推理预算控制等特性，原生支持512K上下文窗口，基准测试成绩佳。
搜索Agent最新高效推理框架：吞吐量翻3倍、延迟降至1/5，还不牺牲答案质量丨南开& UIUC研究
大语言模型驱动的搜索智能体有能力但效率低。南开和UIUC研究人员剖析效率瓶颈，提出SearchAgent-X框架，实现吞吐量提升、延迟降低，且不牺牲答案质量，还揭示AI智能体平衡和等待问题。
谷歌Gemini-0605发布，全球大模型第一！
昨晚谷歌发布Gemini 0605版本，官方称其回归0325版本效果。该版本在多项基准测试中领先，Elo评分提升。谷歌针对反馈改进，使Gemini 2.5 Pro回答更优，还取消日期后缀，输入输出Token价格有优势。
1.8K Star！又挖到一款超酷的 Claude Cowork 开源平替，而且比 Cowork 更快更省！
Anthropic 发布 Claude 的 Cowork 能力后成热门，但高额费用和封闭策略让普通人却步。现推荐开源替代方案 OpenWork，它免费开源，速度快、省 Token，还引入安全隔离机制，功能丰富。
微软叫停Tokenmaxxing！预算卡死，超限自负
从今年7月起，微软为各业务部门设「AI Token预算目标」，将GPT - 5.6设为内部默认模型。此前Tokenmaxxing风靡硅谷，如今大厂纷纷收紧AI使用，微软是最后跟进者之一。
上线120小时，Moltbook全球瘫痪！150万AI服务器已炸？
火遍全球的Moltbook上线120小时就瘫痪，服务器账单高得离谱。刚被扒皮150万AI多数是人类假扮，其还存在大量安全漏洞，OpenClaw耗token严重且接管电脑危险大。
突破显存瓶颈：基于 DeepSeek-V3.2-Exp 的 Latent Cache 卸载预取方案设计与模拟验证
百度百舸AIAK团队针对DeepSeek-V3.2-Exp，设计基于Latent Cache的卸载预取方案ESS。该方案解决显存瓶颈，提升Decode吞吐并降低成本，经模拟验证效果显著，未来将拓展应用。