搜索：深度思考大模型

「深度思考大模型」共找到 8316 篇相关文章

ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键

ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。

秘塔深度研究（https://metaso.cn/）上线，是首个将深度研究作免费基础功能的产品。它在算法、交互等多方面优化，降低成本、保障准确，还创新交互形式，搜索结果清晰有条理，体验佳。

多图像、长视频让大型视觉语言模型推理成本暴涨，成算力瓶颈。腾讯AI Lab联合CMU提出VScan，通过两阶段视觉token筛选机制，在几乎不损性能的前提下实现推理加速，且已在GitHub开源。

清华、上交等团队联合发布首个多模态工业信号基座模型 FISHER，用搭积木法对异质工业信号统一建模。技术报告和权重已开源，还提出 RMIS 基准评估性能，实验显示其泛化能力强。

麻省理工学院提出自适应语言模型框架SEAL，让大模型生成微调数据和更新指令适应新任务。实验显示，其生成的合成数据微调效果超GPT - 4.1，在少样本学习和知识整合任务表现优异。

论文研究发现大模型经强化学习训练解题时，会出现模型探索欲望急速下降的熵崩溃现象，如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源，提出破解方法，研究对AI训练范式变革有重要意义。

Hugging Face开源全新视觉语言模型框架nanoVLM，仅750行代码就能从零训练高效能VLM模型。它在单张H100 GPU训练6小时后，在MMStar数据集准确率达35.3%，且能在免费Google Colab跑。

北邮研究团队通过思维链审计实验，揭示大模型长链推理‘越想越错’现象背后的元认知偏差。研究基于RFC协议文档构建受控知识域，分析推理过程，发现反思会加重幻觉，且现有检测方法难以应对。

近期AI领域政策频出，企业对人工智能应用需求攀升，倾向私有化部署，但行业存在技术错配等问题。国内首部针对AI大模型私有化部署的标准《人工智能大模型私有化部署技术实施与评价指南》立项，正征集起草单位和个人。

VLA大模型记性是短板，处理非马尔可夫任务常束手无策。同济大学等提出KC - VLA框架，用关键帧链接赋予机器人全局时间感知能力，还构建了长时序记忆依赖基准测试，实验显示其性能优越。