「长文本建模」共找到 1204 篇相关文章
让世界模型推理效率提升70倍：上海AI Lab用“恒算力”破解长时记忆与交互瓶颈
上海AI Lab联合多家机构开源Yume1.5，针对视频生成构建可交互“世界模型”的核心难题，提出时空信道联合建模（TSCM），实现近似恒定计算成本的全局记忆访问，展示了世界模型工程化落地的可行路径。
小红书hi lab首次开源文本大模型，训练资源不到Qwen2.5 72B 的四分之一
6月6日，小红书hi lab团队首次开源文本大模型dots.llm1，采用MIT许可证。该模型激活参数量140亿，总参数量1420亿，上下文长度32K。训练资源不到Qwen2.5 72B的四分之一，在多个测评中表现出色。
不懂建模也能做角色！VAST升级AI神器，一手实测来了：一键拆建/魔法笔刷/万物绑骨
3D大模型明星初创公司VAST推出的Tripo Studio大升级，有智能部件分割、贴图魔法笔刷等四大核心功能，直击过去建模流程痛点，实现从“给模型”到“交成果”的质变，提升全链路效率。
李飞飞50亿美金赛道被开源！浙大教授章国锋带队创业，打造无限时长实时3D世界模型
2024年李飞飞创立的World Labs入局空间智能赛道，估值达50亿美元。近日影溯发布并开源实时帧生成模型InSpatio - WorldFM，由章国锋领衔，该模型突破2D局限，效率高、能无限时长推理，展现出高工程可用性。
Agentic RL训练：它不是单一 RL 算 法，而是一整套环境建模、学习信号、异步数据流、策略优化和基础设施的协同系统
文章指出Agentic RL训练不是单一算法，而是协同系统。它与传统RL不同，有四个训练变化。理解它要围绕三个不变量，还从环境建模等八个方面阐述，强调其竞争在于环境、信号、分布与系统的协同闭环。
阿里开源14B电影级视频模型！实测来了：免费可玩，单次生成时长可达分钟级
昨夜阿里发布14B视频模型Wan2.2 - S2V，仅需一张图片和一段音频，就能生成电影级数字人视频。该模型发布即开源，可在通义万相官网免费体验，单次生成时长可达分钟级。
让AI像人类一样认知真实世界！UCLA谷歌强强联手，长时记忆+3D空间理解超越基线16.5%
如何让AI在3D环境中像人类一样思考，是具身智能领域难题。UCLA与谷歌团队带来3DLLM - MEM模型与3DMEM - BENCH基准，让AI有构建、维护和利用长时记忆能力，实验超基线16.5%，但有依赖模拟器预设的局限。
视觉优势还是语义依赖？揭秘 DeepSeek-OCR 高压缩率背后的真相
中科院等团队论文剖析 DeepSeek - OCR，通过实验揭示其高压缩率下准确率高或依赖语言先验。去掉语言先验，准确率暴跌；下游任务推理崩塌，长文本处理也有瓶颈。
中学生就能看懂：从零开始理解LLM内部原理【十二】｜位置嵌入 - 给模型装上"GPS"
文章指出Transformer对词顺序不敏感，引出位置嵌入概念。介绍经典的函数编码、可学习位置嵌入法及新主流RoPE，还提及为让模型处理长文本，在RoPE基础上用PI和YaRN等扩窗技巧。
北大DeepSeek论文或预定ACL Best Paper！梁文锋署名
北大DeepSeek联合发布的NSA论文已被ACL 2025录用且评分高，有望冲击最佳论文。该技术革新传统注意力机制，提升算力效率，是长文本处理的突破。此外，张铭教授团队还有多篇论文上榜。