「信息瓶颈」共找到 1215 篇相关文章
信息熵之后，清华提出状态熵！量化分析「系统智能性」的全新视角
清华大学科研团队从自治系统的演化动力学出发，提出状态熵概念，分析其与系统聚合度关系，为系统智能性度量提供新视角。论文给出状态熵统一定义及演化解析表达式，还在典型系统上分析其演化规律。
打破长视频理解瓶颈：HoPE混合位置编码提升VLM长度泛化能力
如今视觉语言模型在长上下文任务表现不佳，CMU和小红书团队深入研究，首次提出多模态RoPE扩展策略理论评估框架，指出现有泛化能力不足原因，提出HoPE大幅提升VLM长度泛化能力。
突破通用领域推理的瓶颈！清华NLP实验室强化学习新研究RLPR
现有基于可验证奖励的强化学习（RLVR）应用范围局限，清华自然语言处理实验室提出 RLPR 技术，通过 Prob - to - Reward 提高概率奖励质量，有领域无关等特点，相关代码等已开源。
华为| 祭出FlashComm1，FlashComm2、FlashComm3，解决LLM推理通算瓶颈
在大模型推理面临通算难题背景下，华为数学家祭出FlashComm 1、2、3。如FlashComm 1优化AllReduce通信，提升推理性能；FlashComm 2重构计算流程，提升推理速度；FlashComm 3实现多流并行，激增模型吞吐。
AI重塑搜索：夸克“深度搜索”如何定义下一代信息入口｜甲子光年
大模型发展推动搜索产品革新，“搜索”变“深度搜索”。夸克升级AI超级框发布“深度搜索”，即将推出“深度搜索Pro”。其“深度搜索”情商高，“深度搜索Pro”免费、快速、专业，夸克正打造AI全能助手。
小米在AI方向有了大动作，但AI不该是资本掩盖信息的手段。
今年下半年小米MiMo团队陆续开源多个模型，或因年初挖来技术天才罗福莉。新开源MiMo - V2 - Flash模型，总参数量309B。但小米AI对外服务网站搜自家产品舆论无果，引发对AI应坦诚审慎的思考。
突破后训练瓶颈？Meta超级智能实验室又一力作：CaT解决RL监督难题
AI后训练依赖监督微调或程序化检查器，但很多有价值任务缺这两种资源。Meta超级智能实验室等机构研究者提出CaT方法，把推理时额外计算当教师信号，为大模型提供监督，实验显示效果显著。
ICML 2025 | 大模型能在信息不完备的情况下问出正确的问题吗？
当前大语言模型推理研究多聚焦被动推理，主动推理研究少，制约其在现实场景应用。为此提出 AR - Bench 基准评估大模型主动推理能力，实验显示大模型主动推理能力严重不足，并指出后续拓展方向。
并行革命，32倍吞吐量跃升！英伟达Helix架构突破百万Token推理瓶颈
英伟达推出受DNA结构启发的Helix并行技术，能解决大模型处理长任务时的卡顿问题，提升上下文长度、并发能力并降低响应延迟。不过也有人认为其技术与实用性有差距。
GRPO遭遇瓶颈？G²RPO-A让自适应指导为小模型推理能力「开外挂」
大模型推理能力难迁移到小模型，现有强化学习方法如GRPO在小模型上性能提升有限。香港中文大学（深圳）唐晓莹教授团队提出G²RPO - A算法，缓解小模型奖励稀疏问题，在多模型实验中表现优于vanilla GRPO。