「token熵分布」共找到 740 篇相关文章
黄仁勋：芯片公司的时代已经结束了，现在是 AI 工厂的时代
Lex Fridman 采访黄仁勋，黄仁勋谈对 AI 行业理解，认为 AI 是工业产品，NVIDIA 像建 AI 工厂。还提及算力是智能扩展关键，计算从检索转向生成，Token 细分市场，以及公司组织、架构、开源等多方面观点。
LLM内部竟藏着众多策略模型？自所&腾讯团队首次揭示大模型RL新机制
中国科学院自动化研究所与腾讯AI Lab团队从可解释性分析出发，发现LLM内部含多个可采样内部策略，揭示不同模型推理熵模式，提出BuPO算法，在复杂推理任务上性能显著优于传统算法。
具身VLA后训练：TeleAI提出潜空间引导的VLA跨本体泛化方法
现有VLA基座模型能力不足，跨本体适配存在挑战。中国电信人工智能研究院具身智能团队提出“对齐 - 引导 - 泛化”（ATE）框架，实现从调架构到调分布的范式转移，适配主流VLA模型，减少数据需求。
曦望，死磕AI推理成本｜甲子光年
1月27日，国产GPU厂商曦望发布新一代推理GPU芯片启望S3等。启望S3面向大模型推理定制，设计系统级重构，单位Token推理成本降约90%。曦望还推出超节点方案及推理云计划，目标是极致推理性价比。
Gemini 2.5 Pro 负责人：最强百万上下文，做好了能解锁很多应用场景
谷歌DeepMind长上下文预训练联合负责人Nikolay Savinov在播客中分享Gemini 2.5长上下文技术。他认为长上下文能革新产品交互，与RAG协同，未来千万级token上下文将成标配，但当前百万级未达完美时扩规模意义不大。
Code Arena全球可用模型第一！智谱GLM-5.2上线并开源
智谱上线并开源GLM-5.2，在Code Arena等平台表现优异，长任务跑分出色，架构有突破，支持100万token上下文，还引入控制功能。模型在常用编程智能体可用，适配国产算力平台，以MIT协议开源。
EMNLP 2025 | 动态压缩CoT推理新方法LightThinker来了
随着AI发展，大语言模型处理复杂推理任务能力提升，但推理产生大量中间步骤和文本，拖慢计算速度、增加资源压力。研究者提出LightThinker，模仿人类思考模式，动态压缩推理步骤，削减tokens数量，降低成本。
OpenAI重回巅峰：GPT‑5.5全球SOTA，碾压Opus 4.7
OpenAI发布GPT - 5.5，定位为‘为真实工作而生的新一代智能’。它在编码、科研、办公等多领域表现出色，能力重心转向‘自主完成任务’，在多项评估中成绩优异，还能加速生物医学研究，且Token效率大幅提升。
多模态大模型中Attention机制暗藏「骗局」，需用一个公式修正丨上大×南开
上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。
Codex正式开放1M上下文！解除GPT-5.6 Sol封印，三行配置搞定
现在3行配置就能让GPT - 5.6 Sol封印解除，在Codex里用上1M上下文。不过有网友警告轻易别用，因超出默认窗口，模型消耗token速度会翻倍，且模型上下文利用能力会下降。此外，Codex确定会上Astra。