搜索：上下文去噪训练

「上下文去噪训练」共找到 2920 篇相关文章

告别直接生成，文生图进入Agent时代：港中文联合伯克利开源Gen-Searcher

过去文生图多是‘直接出图’，遇真实世界知识等易翻车。港中文等团队提出Gen - Searcher，让图像生成模型像Agent一样搜索等，数据、模型和代码均已开源，实验显示它提升了生图准确性和质量。

DeepSeek web 端灰度测试快速模式和专家模式，快速模式用于日常会话，专家模式适合复杂任务，但不支持文件上传，上下文仅 128k。目前两模式能力与 v3.2 没差别，或为 v4 做准备。

中关村论坛上，杨植麟、罗福莉、张鹏、夏立雪、黄超齐聚，共论agent的下一代演进。各位大咖观点硬核，如罗福莉认为中国大模型团队优势在‘算力受限下的最优解能力’，张鹏解释智谱新模型涨价原因等。

Kimi论文‘ATTENTION RESIDUALS’引发AI圈热议，马斯克等大佬高度评价。该论文由17岁高中生陈广宇参与，提出‘注意力残差’机制，解决标准残差问题，分全、分块注意力残差，权衡开销与效果。

现代软件开发中，AI编程智能体虽能写代码但难理解代码，缺乏工程约束与上下文支撑。为此构建工程知识引擎，整合多维数据源，有向量检索等六大能力，经评估可提升智能体效率与代码质量。

智谱发布专为龙虾场景深度优化的基座模型GLM - 5 - Turbo，从底层训练重塑，增强四项核心能力。发布评测基准ZClawBench，模型表现领先。还推出龙虾套餐和安全管理体系，助力企业实现算力自由与安全管控。

本文从信息论角度解读大模型第一性原理。介绍Shannon信息论，提出将其从以BIT为中心转换为以TOKEN为中心解释大模型底层原理，还阐述大模型各阶段信息论原理、定向信息计算方法，对比Granger与Pearl因果。

阿里国际智能技术团队提出生成式推荐模型 REG4Rec，从表征学习、训练目标和推理策略层面设计，提升推理能力与稳定性。离线实验表现优，已在 Lazada 部署，带来显著商业收益，成果被 ICDE 2026 接收。

过去几年，机器人行业面临模型与数据绑定特定场景、能力难以泛化的问题。近日，高德发布 ABot 系列具身基座模型，补齐行业能力缺口，标志具身智能从定制系统转向统一模型，有望降低开发门槛。

英伟达GEAR实验室提出DreamZero，是基于预训练视频扩散骨干网络的世界动作模型，有140亿参数，能让机器人通过文本提示完成未见任务。它解决了传统模型问题，在多方面表现出色，代码已开源。