搜索：记忆增强型大语言模型

「记忆增强型大语言模型」共找到 1922 篇相关文章

训练效率提升25%、成本降23%！上海期智研究院、算秩未来联合推出MegatronApp：专为万亿参数大模型训练打造的系统工具包

上海期智研究院联合算秩未来在WAIC 2025大会发布开源项目MegatronApp，它是国内首个围绕Megatron - LM的增强工具链。经实际数据，其在该框架下训练效率提25%、成本降23%，含四大模块解决训练难题。

论文提出测试时扩散深度研究代理（TTD-DR），将报告生成建模为扩散过程，有组件自进化机制和动态闭环设计。实验显示其在多领域研究任务超现有方案，为AI研究助手落地提供新范式。

AIGC浪潮下，大语言模型重塑应用开发范式，开发者构建AI应用面临诸多挑战，需可靠高效的异步通信机制。Apache RocketMQ在AI时代演进，有轻量化通信与智能化资源调度两大创新，还介绍了多场景实践。

自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架，挖掘其对未来词元“先验知识”，通过多项技术并行预测多词元，微调预训练模型可显著提速且不损输出质量。

谷歌 DeepMind 推出 Gemini Robotics On-Device，这是视觉 - 语言 - 行动基础模型，可在机器人硬件本地运行，低延迟且能针对特定任务微调。它是 Gemini Robotics 家族最新迭代，还发布相关基准测试。模型待广泛可用，SDK 可在 GitHub 找到。

上海交大联合深势科技团队发布新研究，在“人类最后的考试”（HLE）上获32.1分创纪录。团队推出工具增强推理智能体X - Master、多智能体工作流系统X - Masters并开源，方案表现优于OpenAI、谷歌相关模型。

CVPR NTIRE是计算机图像恢复与增强领域有影响力的赛事。在NTIRE 2025 UGC Video Enhancement中，腾讯TEG香农实验室团队自研算法夺冠，成果落地提升视频清晰度。团队还参加实时赛道获佳绩，且做了硬件推理优化。

上海创智学院和上海交通大学研究团队深入探讨不同基础语言模型在强化学习训练中的差异，提出中期训练策略，将 Llama 改造成适配 RL 的推理基础模型，缩小与 Qwen 性能差距，还发布了 MegaMath-Web-Pro-Max 数据集。

Yann LeCun参与的研究用信息论揭示大语言模型与人类在‘理解世界’上的本质差异。研究引入新量化框架，分析主流大模型，发现AI与人类在‘理解’上有三大核心差异，对当前AI发展趋势提出挑战。

中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜，发现遗忘源于模型激活带偏差新功能，非覆盖旧功能。还设计FVG训练法，保留并对齐函数向量，保护模型能力。相关论文被ICLR2025接收，代码开源。