「attention去偏」共找到 297 篇相关文章
17 万模型背后：魔搭联合 AMD 送 1000 小时 GPU 的算盘
魔搭社区联合 AMD 推出「AMD 开发者激励计划」，提供最高 1000 小时 GPU 算力额度。魔搭社区对标 Hugging Face，托管超 17 万个开源模型。此次激励是三方匹配的生意，还释放了硬件去美元化和模型托管社区升级的信号。
Paddle OCR走到了尽头，Unlimited OCR一次读40 页
百度开源的Unlimited OCR把解码器里全部attention层换成R - SWA，模型只记128个token，能一次性读完40页文档。相比DeepSeek OCR，它在精度、速度上表现更优，训练成本低，适用范围广。
定位大模型「作弊」神经回路！新研究首次揭示：虚假奖励如何精准激活第18-20层记忆
此前学术界发现大模型用虚假奖励训练也能提升准确率，背后微观机制是黑盒。南科大等团队深度拆解，定位到关键记忆节点，发现‘困惑度悖论’，还能操控记忆，成果对评估、检测和去污染有意义。
Mamba一作预告新架构！长文论述Transformer≠最终解法
Mamba一作将演讲整合成科普长文，探讨SSMs和Transformer模型权衡之术。认为Attention非万能，Transformer是阶段性最优。几天后将发布新架构，能与Transformers兼容，还回顾了两模型特点及结合优势。
Kimi新架构让马斯克叹服！17岁高中生作者一战成名
17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。
苹果机器人负责人也被小扎挖走了！浙大校友，任职Meta机器人技术一号位
苹果又失去四名AI研究员，其中机器人研究小组首席AI研究员Jian Zhang跳槽到Meta，基础模型团队三人分别去OpenAI和Anthropic。苹果AI进展不顺，此前已有6人跳槽，离职潮预计还会持续。
10人创业团干翻行业“潜规则”！全员必须会AI、让跑大模型全程“裸奔”，谷歌老兵不烧钱创业
在AI创业浪潮中，谷歌老兵Bryan Zhou带领10人团队创立AnyInt平台。该平台定位AI Infra中间件，一个API对接所有模型，提倡“去中心化”，让用户付费，还在工程、安全等多方面优化，吸引开发者付费。
Anthropic 发布第四份人类经济指数报告：AI 对全球工作的影响仍然不均衡
Anthropic发布第四份经济指数报告，提出“经济基元”概念，用五个基础指标衡量AI使用情况。报告发现任务越复杂，AI加速效果越明显，不同国家使用方式有差异，还提及“去技能化”等情况及对生产力的影响。
刷新3D生成上限！一键生成精细到毛发的3D资产
在高质量3D生成需求增长背景下，现有3D生成框架在兼顾效率和质量上有瓶颈。南洋理工大学等提出Ultra3D框架，采用coarse - to - fine两阶段流程，用Part Attention机制提升效率，支持高分辨率输出。
对普通人最有用的一次！藏师傅教你用FLUX Kontext解决一切图片问题
黑森林工作室发布生成式流匹配模型 FLUX Kontext，它能编辑图片且不影响未编辑区域，支持多图参考生成新图像。可用于去水印、修复照片、修改海报、生成商品展示图等，还能美颜美体，替代 PS 等工具。