「长文本训练」共找到 2990 篇相关文章
MiniMax 技术闭门会分享：长上下文是 Agent 的 Game Changer
MiniMax 7月10日举办M1技术研讨会，探讨模型架构创新等领域。会议围绕RL能否赋予模型新能力、预训练价值等展开，指出长上下文是Agent的Game changer，混合架构将成主流，还分享了混合架构推理实践及M1相关问答。
Gemini 3预训练负责人警告：模型战已从算法转向工程化！合成数据成代际跃迁核心，谷歌碾压OpenAI、Meta的秘密武器曝光
2025年底大模型“年终决战”，Gemini 3强势突围。其预训练负责人Sebastian Borgeaud指出，谷歌转向“做系统”，AI进入“数据有限”阶段，合成数据等构成未来进化路径，还分享了预训练热点与挑战。
超 10 万人都在看！Qwen3重塑文本嵌入与重排序技术版图
文本嵌入和重排序是NLP和信息检索关键组件。Qwen3 Embedding、Qwen3 Rerank模型基于Qwen3基础模型构建，有三种参数尺寸。文章介绍其架构、训练方案，还给出实战代码。
刚刚，DeepSeek最新发文！V3/R1训练细节全公开，信息量巨大
网信办新规生效，DeepSeek回应，标注AI生成内容，公开V3/R1训练细节。介绍训练分预训练和优化训练，深挖数据使用，还谈及推理、开源情况，也提到对抗AI幻觉与滥用风险的措施。
刚刚！Kimi Linear横空出世，全新注意力架构：1M长文本解码速度飙升6.3倍，KV缓存砍掉75%
月之暗面推出全新注意力架构Kimi Linear，有望成下一代Agent LLM基石技术。它解决了LLMs处理长序列任务的瓶颈，性能超传统机制，还开源了核心代码。Kimi Linear的KDA模块提升了表达和硬件效率，实验表现佳。
EMNLP2025 | SFT与RL的结合，vivo AI Lab提出新的后训练方法
vivo AI Lab 算法团队提出新的大模型后训练框架 GTA，综合 SFT 和 RL 优点，解决文本分类场景中 RL 收敛慢问题。论文已被 EMNLP 2025 录用，介绍了 GTA 框架设计思路、实验结果等，未来还将探索更多场景和大模型。
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
Qwen3深夜开源新系列：文本表征模型，3种尺寸可选，超越商业API拿下SOTA
Qwen3深夜上新Embedding系列，专为文本表征等任务设计，在Qwen3基础模型上训练，有0.6B/4B/8B三种尺寸，8B版本在MTEB榜单排第一，性能超商业API，已在多平台开源。
智谱终于发布GLM-4.5技术报告，从预训练到后训练，细节大公开
上个月底智谱开源 GLM-4.5 及轻量版，成绩亮眼引热议。现其技术报告发布，详述预训练到后训练细节，还介绍了开源 RL 框架 slime，展示模型架构、训练阶段等，评估了在多任务上的表现。
打破「数据暴力」预训练惯性，阿里Qwen、上交大等提出预训练动态数据选择范式OPUS
阿里Qwen、上交大等团队提出预训练动态数据选择范式OPUS，打破“数据暴力”预训练惯性。它将数据选择与优化器更新轨迹对齐，提升预训练效率与下游泛化表现，实验显示其“效率+性能”双提升。