搜索：语言模型微调

「语言模型微调」共找到 7893 篇相关文章

ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键

ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。

微软推出Phi-4推理模型系列，参数最多14B，能在本地高性能笔记本电脑上流畅运行。Phi-4-mini-reasoning在数学推理上性能超越DeepSeek-R1蒸馏模型，且参数规模更小。文章还介绍了模型特点、训练方法、性能表现及局限性等。

淘宝姜宇宁团队上线RecGPT百亿参数推荐大模型，对“猜你喜欢”功能技术升级。大模型赋予传统推荐系统新能力，如让其“白盒化”、理解长上下文等。姜宇宁认为AI要创造商业价值，落到业务场景形成正向循环。

当前主流语言模型依赖固定词表，扩展到多语言、多脚本时面临覆盖受限、计算昂贵、鲁棒性差等问题。ICLR 2023论文提出不依赖词表的PIXEL模型，通过将文本变成图像用视觉Transformer理解，实验验证其有跨语言、抗噪声等优势。

当下多模态大模型微调多「照搬」单模态微调策略，忽视模态差异。中国人民大学和上海人工智能实验室团队提出 MokA 方法，兼顾单模态与跨模态建模，在多基座、多场景实验中显著提升性能。

ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。

谷歌 DeepMind 推出 Gemini Robotics On-Device，这是视觉 - 语言 - 行动基础模型，可在机器人硬件本地运行，低延迟且能针对特定任务微调。它是 Gemini Robotics 家族最新迭代，还发布相关基准测试。模型待广泛可用，SDK 可在 GitHub 找到。

近来，杨立昆计划离开Meta创立以‘世界模型’为核心的AI公司；此前李飞飞也发文指出大语言模型弊端，强调建立‘世界模型’重要性。该模型源于对大语言模型局限的反思，能让AI理解物理世界。

现有归因问答评估方法有‘归因短视’问题，研究团队提出 LOGICSCORE 框架，从三维度量化推理质量。在多数据集测试多款 LLM，发现专有、开源模型等存在不同逻辑问题，还分析典型逻辑错误。

谷歌DeepMind研究人员表明，通用AI智能体处理复杂长期任务需学习内部世界模型，还证明可从智能体策略提取该模型。此研究成果补充多领域，对AI发展和安全意义重大。