「文本token」共找到 1061 篇相关文章
Karpathy盛赞DeepSeek-OCR“淘汰”tokenizer！实测如何用Claude Code 让新模型跑在N卡上
DeepSeek发布新模型DeepSeek - OCR，有诸多技术贡献，获Karpathy等盛赞。它或让文本token输入方式被淘汰。开发者Simon用Claude Code让其在N卡上运行成功，分享了详细过程与经验。
Discrete Tokenization：多模态大模型的关键基石，首个系统化综述发布
近年来，人们关注将LLM能力扩展至非文本模态，Discrete Tokenization成关键方案。但现有研究缺系统总结，香港科技大学等团队发布首个相关系统化综述，梳理技术脉络、方法及挑战，给出未来研究方向。
“你以为买的是 DeepSeek Flash，到手可能是 1.5 bit 缩水版”：Pi 核心贡献者谈 AI Token 黑箱
Pi 核心贡献者 Armin Ronacher 与 Modem 联合创始人 Ben Vinegar 播客对谈指出，当前 AI token 市场不透明，模型公司或失控。如买 token 像买成分不明商品，模型训练目标不明，且 Agent 行为边界在扩展，问责制缺失。
与DeepSeek-OCR不谋而合，NeurIPS论文提出让LLM像人一样读长文本
NeurIPS 2025 论文提出 VIST 框架，为大语言模型长文本推理提供视觉方案，与 DeepSeek - OCR 理念不谋而合。它模仿人类阅读，有快 - 慢路径协作，在多任务表现优，还让模型‘用眼看文字’，优势明显。
工业级文本转SQL新思路：成本暴降、超3000列超大数据库依然稳健
华中科大与复旦联合发布AutoLink框架，引入自主智能体，模拟人类工程师工作流。在不输入全量数据库模式下，实现对超大规模数据库模式的高精准链接与筛选，以低Token消耗刷新两大榜单纪录。
开发者冲爆了！全球前十AI Lab无限免费，一周烧出3.12万亿Token
6月1日，全球模型榜单前十的Agnes AI无限期免费开放旗下核心全模态模型API，引发开发者热情。两周后周调用量达3.12万亿Token，本周还将升级，周五补齐语音全模态链路，开源社区也围绕其开展诸多项目。
1.8亿token，Clawdbot是这么吞掉的~
截止发文，开源AI Agent项目Clawdbot（已更名OpenClaw）超134k Star，其吞噬token特性引关注。文章从Code层面拆解高Token消耗根因，分析难以避免的问题，还给出控制Token账单的方法。
压缩之外，Visual Tokenizer 也要理解世界？
MiniMax和华中科技大学发布视觉tokenizer新研究VTP，引发业界热议。该研究揭示传统仅以重建为目标的视觉tokenizer缺乏高层语义表示，提出在预训练中引入语义理解，还发现Scaling Law现象，虽有争议但为研究提供新视角。
Meta&CMU：Token级LLM协同路由新范式
Meta AI、CMU等联合推出FusionRoute，是让多个大模型在token级协作的新范式。它能在每个token位置精准选专家，自带“急救包”。经实验验证其高效，也指出了待研究的方向。
使用 Node.js + OpenAI + MongoDB 实现文本向量知识库搜索
本文介绍用 Node.js、OpenAI Embedding API 和 MongoDB 实现文本向量知识库搜索系统，涵盖环境准备、文本切分与向量存储、本地语义检索等，还提及用 MongoDB Atlas 提升性能及后续延伸方向。