「长文本模型」共找到 8009 篇相关文章
第二代InfLLM开源，同尺寸快三倍！零参数，可训练稀疏注意力
新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。
大模型长脑子了？研究发现LLM中层会自发模拟人脑进化
帝国理工学院等机构研究人员发表论文，指出大型语言模型（LLM）学习中会自发演化出类似生物大脑的协同核心结构。研究对多个模型剖析，揭示其内部处理规律，为大模型可解释性开辟新路径。
从答题到做实验：SciAgentGym让大模型进入科学工作流
复旦大学NLP实验室提出SciAgentGym，为科学智能体搭建工作流环境，还设计了评测集SciAgentBench。实验显示模型接入工具能提升成功率，但长流程任务性能下降。论文还提出SciForge构建训练数据，提升了模型表现。
给大模型装上「思维分段引擎」：浙大InftyThink解锁无限深度推理
如今大模型长上下文推理面临计算成本高、推理易中断问题。浙大联合北大团队提出InftyThink新范式，将传统推理拆成短片段并总结，突破推理长度限制，在多基座模型实验中表现优异。
深刻理解Token：大语言模型（LLM）是如何看待这世界？
文章指出在大语言模型（LLM）中，Token是处理文本的基本单位。介绍了Token的概念、分词方法、向量化过程，还阐述了分词对模型性能的影响，如导致模型在数学、多语言处理上表现不佳等。
Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限
线性循环模型能处理极长序列，是相比Transformer的关键优势，但过去循环模型性能不足且难以泛化。CMU等研究者证明，通过简单训练干预，循环模型500步后训练可突破256k长度泛化极限。
OpenAI没开源的gpt-oss基础模型，他去掉强化学习逆转出来了
OpenAI未发布gpt-oss基础模型，Cornell Tech博士生Jack Morris自行逆转gpt-oss模型强化学习，发布gpt-oss-20b-base。该模型可生成任意文本，但不再对齐，还测试了其记忆能力，介绍了诞生原理与技术细节。
刚刚，LMArena最新模型榜单出炉！DeepSeek-R1网页编程能力赶超了Claude Opus 4
LMArena最新模型榜单出炉，DeepSeek - R1（0528）表现亮眼。在文本基准测试中整体排第6、开放模型中排第一，细分领域也成绩优异，在WebDev Arena平台与闭源大模型并列第一，超Claude Opus 4。
4B小模型数学推理首超Claude 4，700步RL训练逼近235B性能 | 港大&字节Seed&复旦
香港大学NLP团队联合字节跳动Seed、复旦大学发布Polaris强化学习训练配方，让4B模型数学推理能力超商业大模型，且Polaris-4B可在消费级显卡部署，相关内容已全部开源。
0.005%参数量超越SOTA！提升模型能力无需庞大奖励模型
上海交通大学等校联合团队提出轻量级奖励模型SWIFT，利用大模型隐藏状态线性特征，仅训练极小线性层，在推理任务中超越主流奖励模型，实现计算效率与准确率双提升，且在多领域表现出色。