「长上下文任务」共找到 2877 篇相关文章
重新审视SFT的泛化能力：优化动态、数据与模型能力的条件性分析
上海人工智能实验室等联合研究质疑了‘SFT倾向于记忆，RL实现泛化’观点，指出SFT泛化是条件性现象，受优化动态、训练数据、基模型能力影响，还揭示长思维链SFT会带来安全性能退化。
小米陈龙团队首作：统一具身与自动驾驶的开源模型
小米具身智能团队发布首篇论文，提出统一具身智能与自动驾驶的新模型MiMo-Embodied。该模型在多任务中领先，其四阶段训练框架打通两领域边界，为行业提供新范式。
2M大小模型定义表格理解极限，清华大学崔鹏团队开源LimiX-2M
大语言模型在结构化表格数据处理上表现不佳，清华大学崔鹏团队开源的 LimiX-2M 模型，仅 2M 参数，却能同时支持分类、回归等任务，性能超越经典模型，且训练、运行成本低，科研友好。
1.58bit不输FP16！微软推出全新模型蒸馏框架，作者全是华人
微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。
国产大模型新SOTA：蚂蚁万亿级旗舰模型赶超GPT-5
蚂蚁集团开源万亿参数旗舰大模型Ling-1T，属Ling 2.0家族。它激活比例低降低运算成本，训练有“Ling缩放定律”等方法，多项测试超主流模型，不过处理超长上下文成本较高。
做RAG这一年，最后悔的就是上知识图谱
基于知识图谱的检索增强生成在问答任务中存在三元组索引丢失上下文语义问题，作者提出MDER - DR双阶段框架，在标准测试和特定数据集上性能提升最高66%，还具备多方面优势。
GAN之父Ian Goodfellow病后归来，剑指高效世界模型
GAN之父Ian Goodfellow等提出，利用符号化表示和游戏虚拟世界数据，或为构建动作条件多模态世界模型最佳路径，该模型可支持长时序任务预测与规划，还探讨构建原因、数据来源等。
GPT-5.4发布，最适合OpenClaw的天选模型登场了。
GPT-5.4发布，作者认为它是OpenClaw天选模型。此前Claude贵且受限，GPT-5.3-Codex世界知识差。GPT-5.4代码能力强、世界知识优，还具多特性，如大上下文窗口，目前ChatGPT已上线。
10B超越Gemini-2.5-Pro！阶跃星辰端侧多模态天花板开源
阶跃星辰多模态智能团队开源STEP3-VL-10B多模态模型，仅100亿参数却性能惊人。它采用了独特的架构、训练策略与推理机制，在多任务上表现出色，为小模型发展提供新思路。
AgentCPM-Explore开源，4B 参数突破端侧智能体模型性能壁垒
当行业争论30B能否挑战万亿参数时，清华、人大、面壁智能与OpenBMB联合研发的AgentCPM-Explore开源，基于4B参数在深度探索任务表现出色，还开源配套平台，解决小模型性能提升难题。