搜索：自回归语言模型

「自回归语言模型」共找到 8009 篇相关文章

ICML 2026 开幕，清华团队获最佳论文奖，DeepMind 经典巨作拿下时间检验奖

2026年7月6日，第43届国际机器学习大会（ICML 2026）在韩国首尔开幕，投稿规模与录用总数破纪录。会上，清华黄高团队论文获杰出论文奖，指出扩散语言模型“灵活性陷阱”；还有多篇论文获荣誉提名，另有立场论文、时间检验奖等揭晓。

港中文（深圳）和上海交通大学团队提出 StreamBP 算法，通过线性分解和分步计算，将大语言模型训练激活值内存降至梯度检查点的 20%，在相同内存下最大序列长度为其 2.8 - 5.5 倍，代码已开源。

多模态大语言模型（如GPT - 4V）虽有强大图文理解能力，但受数据稀缺、复杂任务表现不佳和评估标准不统一限制。论文提出为MLLM集成外部工具，构建全景图，覆盖多维度，还指出挑战与对策。

Claude Fable 5代码痕迹曝光，或曲线回归。开发者在代码中发现订阅模式改变等证据，且其已现身亚马逊云。Anthropic换帅后与政府沟通改善，国会要求6月26日前答复Fable 5解禁问题，此时OpenAI、谷歌模型延期，Fable 5有望获优势。

文章聚焦AI Agent技术前沿，阐述大语言模型三次能力跃迁，从涌现能力到对齐指令遵循，再到推理与行动。还提及Scaling Law变化，推理时计算扩展更划算，介绍代表性推理方案及多模态融合，指出Agent打破传统对话AI局限。

文章指出大语言模型成企业架构组件，但当前集成脆弱。MCP 引入标准化方法，Java MCP SDK 能将其与企业架构融合。文中探讨 MCP 及其 SDK，分析其设计、应用、权衡等，还给出企业运营助手案例。

GPT-5发布后引争议，网友看法不一。奥特曼回应将全面更新，如翻倍ChatGPT Plus用户使用限额等。OpenAI团队在AMA问答中也解答诸多问题，包括让4o回归、研究多模型并用等。

大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。

Thinking Machines Lab发长文《克服LLM推理中的不确定性》，指出大语言模型推理不确定性的真正元凶是缺乏批次不变性，还解释核函数计算中数字加法顺序问题，介绍使核具有批次不变性的方法并给出实验结果。

随着高分辨率图像与长视频处理需求增长，大型视觉语言模型推理效率成瓶颈。V²Drop从视觉Token内在变化量出发，采用多阶段渐进式剪枝策略，实现无损加速，在图像和视频理解场景表现卓越。