「长文本训练」共找到 2925 篇相关文章
视觉优势还是语义依赖？揭秘 DeepSeek-OCR 高压缩率背后的真相
中科院等团队论文剖析 DeepSeek - OCR，通过实验揭示其高压缩率下准确率高或依赖语言先验。去掉语言先验，准确率暴跌；下游任务推理崩塌，长文本处理也有瓶颈。
大语言模型高考数学拿高分靠强化学习，那文科考高分得靠什么？
大语言模型在高考数学拿高分靠强化学习，但文科题无标准答案，此方法行不通。豆包1.6系列高考文科全科获683分，靠训练数据、思维链、长上下文和多模态直接读图等因素。
不靠英伟达，中科院在国产 GPU 上跑通 76B 类脑大模型
过去大模型依赖Transformer和NVIDIA GPU体系，硬件自主化难。中科院团队提出类脑大模型SpikingBrain，在超长文本处理上百倍加速，在国产MetaX GPU平台稳定训练76B模型，开辟新道路。
从答题到做实验：SciAgentGym让大模型进入科学工作流
复旦大学NLP实验室提出SciAgentGym，为科学智能体搭建工作流环境，还设计了评测集SciAgentBench。实验显示模型接入工具能提升成功率，但长流程任务性能下降。论文还提出SciForge构建训练数据，提升了模型表现。
马斯克刚关注了这份AI报告
受谷歌DeepMind委托，Epoch发布报告剖析2030年AI的发展。指出训练成本或超千亿美元，公开文本数据2027年耗尽等，马斯克也关注此报告。还从多方面论证发展趋势可延续，且AI将加速多领域科研。
Token烧不起了？比肩Claude Opus 4.6免费模型来了，还将开源
昆仑万维旗下天工AI发布SkyClaw - v1.0，为Agent场景深度优化，免费试用后将开源，价格低。性能超同级别开源对手，逼近闭源巨头。训练围绕环境构建、数据合成、强化学习展开，适合长链路Agent工作流。
仅用图像也能Think：Google等提出一种视觉规划的全新推理范式！
剑桥和Google等提出并开源视觉规划范式，通过纯视觉表示规划，独立于文本。还引入VPRL框架，用GRPO后训练大型视觉模型。实验选三个视觉导航任务，VPRL表现最佳，显著优于其他方法。
提速30倍，Meta重新定义了新一代RAG！
LLM时代，RAG成知识密集型任务标准范式，但处理长上下文时面临延迟高、内存贵问题。Meta超级智能Lab针对RAG特殊结构优化，提出REFRAG框架，有独特训练策略，实验效果显著。
中学生就能看懂：从零开始理解LLM内部原理【十二】｜位置嵌入 - 给模型装上"GPS"
文章指出Transformer对词顺序不敏感，引出位置嵌入概念。介绍经典的函数编码、可学习位置嵌入法及新主流RoPE，还提及为让模型处理长文本，在RoPE基础上用PI和YaRN等扩窗技巧。
微软 Agentic 组织：下一代 AI 系统
微软研究院提出全新推理范式AsyncThink，让LLM从单打独斗进化成带团队的项目经理。它把并发控制转为纯文本协议，经两阶段训练，实验中全方位碾压传统方法，还具跨领域泛化能力。