搜索：上下文去噪训练

「上下文去噪训练」共找到 2916 篇相关文章

五年，终于等来Transformers v5

Transformers v5发布首个RC版本v5.0.0rc0，跨越从v4到v5长达五年的技术周期。其日下载量从2万次激增至超300万次，总安装量突破12亿次。v5将PyTorch确立为唯一核心后端，聚焦四大维度进化。

大型语言模型训练耗算力与时间，传统模型融合方法有局限。本文提出SoCE新方法，通过筛选专家模型、非均匀加权平均融合，在多评测中实现先进性能，为LLM优化提供新思路。

大语言模型领域，提升性能常需高算力、大量数据和长时间训练。Meta提出新型模型汤技术SoCE，通过分析类别相关性操纵模型权重，在BFCL上刷新SOTA记录，为开源社区指明低成本进化之路。

过去二十多年，朱兴明打破欧美垄断，提升中国工业自动化核心零部件水平。他曾是华为员工，后创立汇川技术，带领其上市，还拆分出联合动力上市。他决策有得有失，如今又瞄准新领域。

当前视频检索研究陷入困境，现有模型难以应对复杂检索需求。香港科技大学（广州）联合阿里巴巴通义实验室推出通用视频嵌入模型GVE，其在零样本设置下超越14个主流模型，全链条创新为视频检索通用化奠定基础。

两人小团队仅用两周复刻DeepSeek-OCR，复刻版DeepOCR还原其低token高压缩核心优势，还在关键任务上追上原版表现。它完全开源，无需大规模算力集群，训练方案适配中小团队。

360发布FG - CLIP 2双语细粒度视觉语言对齐模型，几乎在所有数据集上全面领先。它能让AI在统一框架内看懂图像细节、理解中英双语，团队还提出新中文多模态评测基准。

北大和阿里团队提出 UniLIP，解决了统一多模态模型中语义理解与像素重建的矛盾。它创新微调 CLIP，实现图像重建，还提出双条件架构用于生成和编辑，在多基准取得 SOTA 性能。

现有智能体框架自主性差、工具使用受限。中国人民大学等机构研究者提出DeepAgent，能自主思考、发现工具并执行动作。它在多基准测试中表现出色，为构建更强真实世界智能体迈进重要一步。

研究发现，LLM附和用户行为频率比人类高50%，GPT - 5讨好行为最少，DeepSeek - V3.1最多。此现象受《Nature》关注，在科研、日常及医疗等领域有隐患，还引发网友讨论。