搜索：上下文去噪训练

「上下文去噪训练」共找到 2905 篇相关文章

马斯克开源新模型：能实时抓取社交平台数据，20万块H100训练

马斯克旗下xAI开源去年最佳模型Grok - 2.5，6个月内还将开源旗舰模型Grok 3。Grok - 2.5可实时抓取社交平台X数据，用超20万块H100训练，性能超GPT - 4o等，应用场景广泛。

新加坡国立大学等机构团队提出 SPIRAL，让模型在零和游戏自对弈强化推理，摆脱人工监督。研究发现游戏可培养推理能力并迁移到数学，还开发系统保障训练，虽有局限但为 AI 发展指明方向。

文章介绍字节跳动的LLM训练基础设施ByteRobust。它由控制和数据平面构成，关键目标是获高ETTR。该系统优先快速隔离故障、考量人为错误、控制恢复可变性，已部署超一年，效果显著。

在AIGC浪潮中，3D生成模型虽进化快，但‘慢’和计算量大制约其应用。西湖大学AGI实验室提出无需训练、即插即用的Fast3Dcache框架，能在加速同时保持或提升模型几何质量。

格灵深瞳等团队联合发布通用多模态嵌入新框架UniME，刷新MMEB训练榜纪录。它是两阶段框架，经文本判别知识蒸馏和困难负样本增强指令微调，在多任务达SOTA，项目已开源。

LeCun团队提出LLM - JEPA，将JEPA自监督学习架构从视觉扩展到LLM。它能提升性能和鲁棒性，在多模型和数据集验证有效，但有训练开销大、泛化性不足等局限。

作者解读 Manus 团队文章，结合自身理解总结出构建高效 Agent 的 7 个关键点，如依赖上下文工程、提升 Prompt 缓存命中率等，还给出总结与核心启示，对 Agent 开发有借鉴意义。

北美具身初创Skild AI发布全新机器人基础模型S1，主打上下文学习，能看示范视频完成复杂操作。在未见过任务上成功率达66%，远高于传统方法。其发展或让开发机器人技能像给ChatGPT写Prompt。

今天凌晨，Hugging Face开源顶级小参数模型SmolLM3，参数30亿，性能超同类。它有128k上下文窗口，支持6种语言、双推理模式。架构细节等全开放，联合创始人强烈推荐，称是3B领域SOTA。

Anthropic联创Jack Clark在峰会上称大学生应避开「套路化编程」，未来需跨学科综合、分析思考能力。Anthropic雇哲学家训练Claude，工程师工作转向管理AI智能体，AI接管编程趋势明显。