搜索：上下文去噪训练

「上下文去噪训练」共找到 2907 篇相关文章

蚂蚁集团扩散大语言模型新突破：超800Token/s，速度与质量兼得

蚂蚁集团将LLaDA更新到2.1，通过引入“草稿 - 编辑”机制，打破扩散模型推理速度与质量的对立僵局。它有极速和质量两种模式，还采用混合训练流程及强化学习，在多基准测试中表现出色。

蚂蚁灵波开源具身智能基座模型LingBot-VLA，用20000小时真实世界数据训练，解锁最大规模开源真机数据之一。它性能超国际顶尖模型，还指明通用具身智能发展路径，为行业提供全栈解决方案。

硅谷大厂HR标配的AI招聘系统Eightfold AI被指控算法歧视，求职者要求提高招聘筛选透明度。同时，美国多所高校研究者完成一项研究，AI能通过人脸照片预测职业走向，但因训练数据问题引发公平性争议。

京东探索研究院大模型研究登Nature旗下期刊。其提出系统与方法，经四大创新使大模型推理提效30%、训练成本降70%。成果支撑JoyBuild平台，可帮企业将通用模型转化为专业模型，加速商业化落地。

近年来大模型号称有百万字处理能力，但这是真本事还是噱头存疑。论文用LongCodeBench测评工具揭开长上下文模型真实表现，测试顶尖模型发现长文本能力‘翻车’，还分析了长上下文难的原因及面临的瓶颈。

本周二，刚被SpaceX收购的Cursor在首届旗舰大会宣布新的1.5万亿+参数模型，在超10万块GPU预训练。Cursor CEO称其规模与Opus、GPT相当，还谈了对其他AI实验室看法，新模型将几周内发布。

当前传统 MoE 有专家激活不均衡问题，华为盘古团队提出 MoGE 解决。基于此架构的盘古 Pro MoE 大模型在昇腾集群高效训练，推理性能强，在 SuperCLUE 榜单千亿内模型并列国内第一，赋能业务落地。

文章围绕OpenClaw类自主智能体生态展开，从生态视角、记忆系统、上下文管理等多方面阐述其构建，还分析了安全风险、治理体系、角色分工及面临的挑战与机会，为理解和发展Agent生态提供参考。

作者分享将 Agent 工程化设计的历程。指出 LLM 做 Agent 有痛点，引入 CLI 接管确定性任务和上下文管理，还设计了 Workflow 串联工具，实现自动扩展和无缝互转，最后做 workflow - creator 形成自洽闭环。

深势科技开源OmniScience数据集，含150万个高质量图文对。它利用先进工具攻克图文提取难题，经严格筛选成型，涵盖多学科。还设计重写流水线提升图文语义契合度，基于此训练的模型表现优异。