搜索：大语言模型（LLM）

「大语言模型（LLM）」共找到 8421 篇相关文章

ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键

ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。

大语言模型成AI应用基础设施，黑盒服务模式引发信任危机。研究者提出IMMACULATE审计框架，能在不暴露模型信息、仅1%额外开销下，验证黑盒LLM API执行完整性，检测违规行为，相关论文与代码已公开。

近年来大语言模型参数膨胀，成本升高，业界重注小语言模型。近日，Boss直聘南北阁大模型实验室发布仅30亿参数的Nanbeige4 - 3B，在多方面媲美甚至超越通义千问Qwen3系列模型，开源印证小模型潜力。

大型语言模型在数学竞赛级任务依赖机械化推理，现有评测集有缺陷。UC Berkeley团队提出OMEGA基准量化其数学泛化能力，实验揭示复杂度引发性能崩塌等问题，指出LLM创新组合难，给出改进方向。

大语言模型领域，推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力，但开源扩散LLM推理慢。近日，NVIDIA等推出Fast - dLLM，无需训练即插即用，推理速度狂飙27.6倍，兼顾速度与精度。

一篇论文发现冒号等符号、“Thought process：”等语句能欺骗LLM，让虚假回答通过。实验表明所有测试模型都会触发假阳性响应。研究人员构建新“评委”模型Master - RM，可让假阳性率接近0%。

Google DeepMind研究《通过内在自我批评提升大语言模型的规划能力》，不借助外部验证器，让LLM反复“自评+重写”，使Blocksworld准确率从49.8%升至89.3%，还介绍了方法及跨模型验证情况。

强化学习虽提升大语言模型表现，但面临探索难题。字节跳动等团队提出FR3E框架，分两阶段重建探索机制，在多数学推理基准实验中显著优于强基线，为大模型强化学习提供新范式。

视觉 - 语言 - 动作模型（VLA）在机器人操控领域潜力大，但应对长时序或精细操作任务时性能下降，根源是缺乏三维空间感知与推理能力。中国科学院自动化研究所与灵宝 CASBOT 提出 QDepth - VLA 模型，提升了机器人空间推理与操控精度。

当前主流大语言模型在具身任务场景面临瓶颈，中兴星云大脑团队推出具身视觉 - 语言基础模型 EmbodiedBrain，构建全流程创新框架，在架构、数据训练、评估体系等方面有突破，还将开源成果推动生态发展。