搜索：百万Token计算

「百万Token计算」共找到 1433 篇相关文章

上线一年用户破百万，这个AI健康管理产品只靠一只海獭？ | 对话OtterLife

AI健康管理产品众多，多数陷入同质化或功能堆砌困局。OtterLife将虚拟海獭融入健康习惯养成，上线一年用户破百万。量子位智库对话其负责人相城，探讨产品特色、市场、设计等多方面问题。

Chroma团队研究发现，将上下文扩展至1万tokens，18款主流大模型集体“失智”，“智商”非均匀下降，在一些节点会断崖式下跌。研究还设计四项对照实验，证明LLMs性能随输入长度增加显著且非均匀下降。

阿里云Tair KVCache团队推出Tair - KVCache - HiSim，这是面向分布式多级KVCache管理的高保真LLM推理仿真分析工具。它能在通用CPU上高精度预测性能，支撑计算选型、存储规划和调度协同等决策，还介绍了其架构、组件、验证及性能评估等内容。

字节Seed与斯坦福等机构推出新模型，其新注意力机制MoC能让长视频生成计算量降低85%，质量不减且保持连贯性。团队将视频生成定义为上下文检索任务，提出MoC机制并阐述实现方法。

本文报道北京具身智能公司自然意志发布全新Natura-1模型，该50B参数MoE模型基于百万小时人类第一视角经验预训练，可驱动20自由度灵巧手实现零样本泛化，完成各类复杂日常操作，攻克了机器人灵巧与通用难以兼得的难题。

文章围绕AI竞赛中资源分配问题展开，以SemiAnalysis创始人Dylan Patel经历为例，揭示Token成本疯涨、需求远超供给，介绍Anthropic模型优势，探讨具身智能成新需求点，分析竞争格局及供应链瓶颈，还预警反AI抗议。

6月1日，全球模型榜单前十的Agnes AI无限期免费开放旗下核心全模态模型API，引发开发者热情。两周后周调用量达3.12万亿Token，本周还将升级，周五补齐语音全模态链路，开源社区也围绕其开展诸多项目。

文章聚焦Claude Code省Token问题，分析配额消耗快的原因，介绍提示缓存机制，给出省钱策略、操作规则，还提及委派工作及澄清误解，强调让缓存多命中、上下文少装无关内容。

硅谷Taalas将大模型‘物理焊死’进芯片引关注，而上海交大、辉羲智能与微软亚洲研究院团队用ROM+SRAM异构架构，将端侧LLM推理速度推至20,000 tokens/s。介绍了ROMA和TOM架构优势及应用场景。

当下，Agent 在代码工作流应用广泛，但在大型代码库搜索时存在精准性、Token 效率和速度问题。Semble 是 MinishLab 团队开发的面向 Agent 的代码搜索工具，能解决上述问题，还具备多方面亮点，安装和使用也简单。