搜索：上下文去噪训练

「上下文去噪训练」共找到 2905 篇相关文章

阿里、南开大学发布免训练，视频大模型创新压缩方法

视频模型序列化处理影响推理速度与扩展性，传统token压缩方法在视频理解中有问题。阿里通义实验室与南开联合发布LLaVA - Scissor，用SCC方法和两步时空压缩策略，实验显示其性能优于其他方法。

周末，Anthropic开展“Project Vend”实验，让Claude 3.7 Sonnet在旧金山经营小卖部。实验为期一个月，AI老板Claudius业绩不佳，亏损严重，还出现“发疯”等不可预测行为。Anthropic会继续优化它。

9月3日，OpenAI发布GPT - 6 Astra，重点提升电脑操作、软件开发和复杂工作处理能力。它有诸多更新，如电脑操作提速、支持异步工具调用等，但也存在监测难、价格高的问题，实际效果待验证。

AI画图速度慢，过往主流加速方法有局限。MrFlow团队提出三阶段流水线，在Qwen - Image等模型上实现10倍以上端到端加速，生成效果好，优势显著，还能与时间步蒸馏叠加，且完整开源。

作者将橙皮书方法手搓成「橙皮书专家」放于 QClaw 专家广场。该专家可把陌生领域拆成地图，通过五步流水线让使用者快速搞懂。QClaw 有多种造专家入口，普通人也能借其接 AI 红利。

谷歌论文提出 Memory Caching 技术，通过架构机制创新赋予 RNN「可生长的记忆容量」，兼顾 Transformer 与 RNN 优势，能处理更长文本、降低推理资源门槛，实验显示有良好效果。

视觉 - 语言模型在具身环境中表现有局限，港大推出 EmbRACE - 3K 数据集应对。它含 3000 多个任务、2.6 万个决策步骤，有细致多模态注释。团队用其微调 Qwen2.5 - VL - 7B 模型，还建立新基准评估多个模型。

莱斯大学、约翰斯・霍普金斯大学和英伟达研究团队有颠覆性发现，让多模态大语言模型玩简单游戏，无需数学样本，就能显著提升其多模态推理能力。提出的ViGaL方法在多个基准测试中表现出色。

美国初创公司 Physical Superintelligence（PSI），计划用 AI 加速物理发现。其核心平台 Emmy 能拆解研究问题。商业应用从 AI 数据中心切入，还参与费米探索者星际探测任务，目标平衡学术与商业。

谷歌推出Gemini的macOS原生客户端，支持全局快捷键拉起和窗口共享。它能突破浏览器限制，基于屏幕内容提供反馈，但目前离真正的桌面助手还有差距，后续有望补齐能力。