「token级探针」共找到 1525 篇相关文章
大模型思维链推理速度倍增！——RoT新框架把思维链「画」进隐空间
随着大模型规模扩展，思维链（CoT）成处理复杂推理任务标准范式，但显式CoT依赖长序列生成，隐式CoT面临优化挑战。腾讯提出RoT新框架，利用视觉编码器将文本推理步骤转为视觉嵌入，实现Token压缩与推理加速，且过程可分析。
太初元碁乔梁：AI算法已经跑到单芯片极限｜MEET2026
在量子位MEET2026智能未来大会上，太初元碁乔梁表示，当下AI算力需求指数级增长，超智融合成行业共识。单颗芯片性能成瓶颈，太初元碁设计PC link实现芯片互联，还分享了HPC+AI在多领域的落地实践。
容器可观测新视角： SysOM延时监控助力定位业务抖动原因
云原生场景下，资源超卖和混合部署使宿主机与容器化应用资源竞争加剧，引发内核级延迟问题。本文结合实战案例，介绍用ack - sysom - monitor Exporter分析定位内核延迟，还介绍了SysOM监控及解决系统延时的方法。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。
构建会思考的测试Agent：从自动化到自主智能的演进
文章介绍面向企业级软件测试的质量数字人系统，结合大语言模型等实现从传统到自主智能测试跨越。分析专有云测试困境，指出通用AI Agent平台局限，阐述系统设计、能力及架构，展示应用成果并展望扩展场景与未来计划。
小米小爱同学：资源受限下，实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰，了解其团队在资源受限的端侧设备实现大模型高性能推理的策略。目前端侧大模型商业化落地慢，团队提前布局，自研框架，实现超180 tokens/s推理速度，还分享未来突破方向。
The Batch: 885 | Claude 升级了
Anthropic更新中型模型Claude Sonnet至4.5版本，在性能上显著提升，还引入可变推理token预算。Claude Code智能编码工具也获功能增强，新增Claude Agent SDK等。测试中Claude Sonnet 4.5表现优异，Anthropic重心转向编码与职场生产力。
LLM驱动的威胁情报提取框架，从非结构化到STIX的自动化:IntelEX
为应对网络攻击，需将非结构化网络威胁情报转化为结构化情报。IntelEX是自动化攻击级威胁情报提取工具，通过LLM上下文学习等增强，能识别攻击序列并提取结构化情报为STIX格式，还可转化成Sigma，在测试中表现优异。
拥抱 AGI 时代的中间层⼒量：AI 中间件的机遇与挑战
文章指出大模型发展呈能力跃迁、生态开放趋势，推动AI应用从聊天机器人向组织级智能体演进。AI中间件可解决应用工程化挑战，但面临上下文管理、记忆更新等难题，短期助力应用规模化，长期或成组织智能“神经中枢”。
英伟达新GPU，超长上下文/视频生成专用
在AI Infra Summit上，英伟达宣布推出NVIDIA Rubin CPX GPU，专为处理百万token级代码生成和生成式视频应用。它是首款为超大上下文AI量身定制的CUDA GPU，性能强且能效高，预计2026年底推出。