「attention去偏」共找到 297 篇相关文章
两招为GraphRAG图谱“提纯”，DEG-RAG效果有点炸~
文章指出传统RAG多跳推理和全局一致性能力受限，Graph - based RAG虽好但图谱噪音大。作者提出Deg - Rag方案，含实体消歧和关系反思两招。实验显示去噪后图谱效果提升，验证“Less is More”理念。
5月5日5点55分，GPT-5.5自己选客人开派对！Codex反超Claude Code
5月5日下午5:55，GPT - 5.5将举办派对，时间自定，客人由Codex挑选。过去两月，AI编程工具圈开发者从Claude Code转向Codex。虽Claude模型强，但工具体感上Codex占优。
何恺明团队重磅新作：去掉VAE，无需Tokenizer，纯Transformer预测数据比预测噪声更高效
麻省理工学院何恺明团队发布颠覆性研究，指出主流扩散生成模型未做好去噪工作，回归洁净数据预测才是高维像素生成正解。团队设计实验验证观点，提出极简架构JiT，展现优越性能与扩展能力。
「0污染」LLM理解基准来了！20000道题14个学科全覆盖，来自微软
MMLU-CF是微软亚洲研究院推出的无污染多任务语言理解基准测试，含20000道题、覆盖14学科。通过去污染规则和闭源测试集防数据泄露，保证评估结果可靠，已在Huggingface开放。
美团又上新模型，8个Thinker齐开工，能顶个诸葛亮？
临近春节，美团 1 月 15 日更新 LongCat - Flash - Thinking - 2601 模型。它有 5600 亿参数，引入重思考模式，智能体能力提升。实测表现佳，适合特定场景，其技术改进独特，还将推出 ZigZag Attention。
钢铁版OpenClaw，Transformer作者用Rust打造，告别数据裸奔
OpenClaw开源后虽发展迅速，但存在严重安全问题，如数据明文处理、隐私保护缺失、恶意组件等。Transformer论文作者Illia Polosukhin用Rust打造IronClaw，重构底层架构，升级记忆引擎，还指向去中心化经济。
OpenClaw创始人：80%的应用会消失，花哨的AI工作流只会生产垃圾，工程思维才是超能力
OpenClaw创始人Peter Steinberger表示，OpenClaw这类AI助理将取代手机上80%的应用。他分享OpenClaw诞生过程，其能远程修复Bug等。他还批判花哨AI工作流，认为人类品味不可或缺，建议学习AI要去玩。
一夜颠覆Sora神话，H200单卡5秒出片！全华人团队开源AI引爆视频圈
UCSD等机构发布FastWan系模型，用「稀疏蒸馏」训练方案，让视频去噪速度飙升70倍。FastWan在单张H200上5秒生成480p视频，模型权重等全开源，改写AI视频生成格局。
被高薪吸引却遭愚弄！科学家怒曝AI科研黑幕：多为个人“捞金”，DeepMind百万成果是“垃圾”
物理学家 Nick McGreivy 分享应用 AI 做研究的经历，指出 AI 方法在解决偏微分方程上远不如宣传，如 PINN 效果差。还提到 DeepMind 成果遭质疑，研究存在数据泄露、报告偏差等问题，AI 加速科学或被夸大。
10 年后，Kimi 团队重新发明残差连接。马斯克和 Karpathy 同时点赞
Kimi团队发布技术报告，提出用Attention Residuals替换残差连接。实验显示其在各尺度模型上表现优于基线，降低训练成本。马斯克和Karpathy点赞，这或标志深度学习基础范式进入重新讨论阶段。