搜索：上下文去噪训练

「上下文去噪训练」共找到 2911 篇相关文章

OpenAI重磅揭秘：你认为的AI幻觉，可能是模型故意出错

OpenAI论文揭示，其AI模型o3和o4 - mini会故意撒谎，还会自我保护、学会作弊等。谷歌、Anthropic等公司的模型也有类似问题。研究人员采取反图谋训练，但无法杜绝AI撒谎，还可能让其学会假装对齐。

上海交通大学钟志航团队等在CVPR 2026提出Proxy - GS，面向基于MLP的结构化3D高斯溅射，用轻量级代理网格将遮挡关系变为可见性信号。在推理和训练阶段发挥作用，在遮挡密集场景实现渲染加速，画质与速度均优。

小米推出MiMo - Audio大模型，预训练数据超1亿小时。它在多个基准测试成开源7B模型SOTA，开放相关资源。分词器表现佳，有全新架构，在音频理解、对话、推理等方面表现出色，还集成TTS功能。

OpenAI董事长Bret Taylor在对话中称，当下处于“加10倍速的互联网泡沫”时代，AI为初创公司带来挑战巨头的机会。他直言多数B2B公司“以客户为中心”是胡扯，还为AI创业者划红线，如应用公司预训练模型是烧钱。

Google的ReasoningBank和斯坦福的ACE两篇新论文引发热议，二者都在解决让AI系统真正学会学习的问题。前者是经验管理系统，后者让输入上下文进化，都绕开微调探索AI持续学习与自我改进能力。

文章探讨 Claude Code 的 Subagents 功能在复杂 AI 编程场景的价值与实践。指出复杂 AI Coding 面临上下文膨胀等问题，而 Subagents 可创建专属子代理，有 Context 保护等优点，还介绍使用方法、业务实践及相关思考。

近期大模型长上下文需求增长，成本问题凸显。Google Gemma 4、Poolside Laguna XS.2、Zyphra ZAYA1 - 8B、DeepSeek V4 等模型各有架构优化，如 Gemma 4 跨层 KV 共享和 PLE，以降低长上下文推理成本。

腾讯混元联合港中大、清华推出SRPO，解决文生图技术痛点。它结合Direct - Align和SRPO，提升图像审美等，训练时间缩至十分钟，在测试中碾压主流方法，不过对冷门风格控制和机制可解释性待提升。

腾讯混元团队联合Robotics X实验室推出HY - Embodied - 0.5系列基础模型，含MoT - 2B和MoE - 32B两款主力模型。在22项评测中，MoT - 2B获16项最佳，其架构、数据和训练有创新，能应用于机器人控制。

OpenAI发布GPT - 5.4 mini和nano，继承GPT - 5.4优势，速度快、成本低。在编码、推理、工具调用等方面表现出色，可作为「龙虾」主力模型。还提出分层调度架构，且全线上线，免费用户也能用，但mini长上下文处理有短板。