「高效长上下文建模」共找到 1402 篇相关文章
DeepSeek发布最新论文,5大杀手锏让大模型训练、推理暴涨
全球著名开源大模型平台DeepSeek在huggingface发布超强开源模型V3的论文,从硬件架构和模型设计双视角探讨高效训练和推理,提出DeepSeek - MoE、多头潜在注意力等创新技术,解决内存、计算效率等难题。
Transformer | 一文带你了解Embedding(从传统嵌入方法到大模型Embedding)
文章介绍Embedding基础知识,从传统统计方法到如今大模型用例演变过程。涵盖传统、静态、上下文及大模型Embedding技术,如TF - IDF、word2vec、BERT等,还剖析DS - Qwen1.5B的Embedding并以图展示。
2025年4月17日消息,OpenAI 连发o3和o4 mini,o3为强大推理模型,o4-mini专为高效推理优化。它们能调用ChatGPT工具,可基于图像思考。OpenAI还开源本地代码智能体Codex CLI,兼容所有模型。
英伟达All in的物理AI路线,居然是中国黑马提前一年就定义好了
全球具身智能行业为技术路线争论时,中国深度机智率先提出并跑通「人类学习」路线,以人类数据为起点、动作建模为中心、机器人为AI而生,英伟达等跟进,深度机智全栈落地且进度领先。
小米MiMo Agent 跨会话进化
多数AI编程Agent任务一长就忘事,业界主流靠堆上下文窗口应对,但有缺陷。小米MiMo团队开源的MiMo Code,靠显式存储 - 检索机制,200步以上任务胜率超Claude Code达65%,介绍了其设计及优缺点。
DeepSeek还有多少个“郭达雅”?扒完27篇论文,我们发现了一群“多边形战士”|甲子光年
本文梳理DeepSeek近两年27篇核心论文,发现其研发团队无部门墙,“兵团+小组”配合高效,顶级高校背景研究者多,研发不设限。虽核心作者被挖,但人才密度厚,技术路线已内化,还开放数据侦探工具包。
别再错过啦,AI Agent记忆革命:95.2%检索率的持久记忆系统深度解析
agentmemory是为AI编码Agent打造的持久记忆系统,能自动捕获操作上下文,有三层搜索与四层记忆架构。支持12+种主流AI Agent,有全平台覆盖、零外部依赖等优势,虽有局限但值得开发者一试。
ACL 2026|Doc-V*:读100页文档不如只翻对5页,80页场景「暴打」RAG 10个点
Doc-V*由小米和华中科技大学团队提出,是多页文档理解新范式,通过交互式视觉推理让模型有策略地读长文档。它在多页文档问答基准上比RAG变体提升49.7%,不依赖大模型或长上下文窗口。
6行代码搞定AI Agent记忆!这个16K Star的开源项目打破了传统RAG痛点!
传统RAG方案有上下文断裂、检索不精准等问题,而开源项目Cognee用6行代码就能给AI Agent构建持久化记忆系统。它结合向量搜索和图数据库,形成统一记忆层,支持30+数据源,有多种核心API。
视频世界模型跑长序列不「崩」了!用光流约束+历史记忆+多步训练,让动态场景稳如磐石
现有视频世界模型在长时间交互中易出现运动不合理与场景崩坏问题,核心原因是误差累积。MagicWorld提出面向长时稳定性的交互式建模框架,通过光流约束、历史缓存检索和多步聚合训练,有效缓解误差累积。