「低token高压缩」共找到 1790 篇相关文章
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS,能处理一千万token输入。它替代注意力层,训练后在长上下文任务中表现佳,但小模型,大规模表现未知。
按token 计费,真的合理吗?
马克斯·普朗克软件系统研究所论文揭露,同样文本可被切分成不同数量token,用户难以验证是否被多收费。研究团队开发算法展示服务商多收费手段,还指出按字符计费可解决问题,但需行业达成共识。
国产算力正在进入Token标准化时代
2026年6月17日,是石科技攒局国产异构算力创新发展论坛。其创始人闫博文认为国产算力瓶颈在工程化转化能力。是石科技正将异构算力转化为标准化Token生产能力,还启动B轮融资。
DeepSeek-R1全升级V2版:Token成本低至原来30%
DeepSeek - R1 V2版全维度升级,训练框架从‘单一RL’到‘多阶段协同优化’,推理能力从‘能推理’到‘会优化推理’,还提升了安全可控性,适配生态,推出轻量级模型。
谷歌Gemini Diffusion:1500 token/秒,快如闪电!
谷歌DeepMind在I/O 2025上推出实验性模型Gemini Diffusion,将扩散技术用于文本生成。它每秒能生成约1500个token,比Gemini 2.0 Flash - Lite快5倍,具备高响应速度、文本连贯性等优势。
告别JSON冗余:TOON让Token成本降低30-60%
LLM交互用JSON有冗余,成本高、速度慢。TOON格式专为LLM优化,结合YAML和CSV特点,比JSON减少30 - 60%的token消耗,还介绍了特性、上手方法、集成实践和适用场景。
首个基于 MCP 架构的低代码 RAG 框架
检索增强生成系统复杂度提升,科研人员面临高昂工程成本。清华大学等联合推出 UltraRAG 2.0,基于 MCP 架构,降低复杂 RAG 系统技术门槛与学习成本,支持低代码构建复杂系统。
如果你的大学不提供 Token,应该立即退学
本文站在学生角度探讨 AI 时代大学生学习问题。认为高校在 AI 教育上滞后,不提供 Token 不合理。强调学生应善用 AI,具备问题意识、判断力和品味,还给出了使用 AI 的具体建议。
OpenAI 详解规模化低延迟语音 AI 的 WebRTC 架构
OpenAI 介绍为全球规模低延迟语音 AI 调整 WebRTC 架构,将传统媒体终结模型换为中继收发器架构,分离职责,避免复杂逻辑堆砌与转嫁。此架构为实时语音技术布局补充基础设施细节,对架构师有参考价值。
干掉 .md?兜里 Token 不够,没法和 Karpathy 共情
近日,围绕‘Markdown 是否已过时’讨论升温。Theo Browne 视频阐述‘HTML 优于 Markdown’五大理由并分享实操技巧,虽指出 HTML 有费 Token、版本控制差问题,但仍倾向用 HTML,不过也有开发者质疑。