「attention去偏」共找到 297 篇相关文章
团队授权：分散化的架构决策
文章以黏菌创建网络为隐喻，探讨软件团队去中心化架构决策。介绍转型历程，包括重组团队、建立建议流程、创建上下文图等，阐述各环节作用、挑战与收益，强调其能提升决策质量与团队参与度。
长上下文快2.9倍，解码快6倍：Kimi 用线性注意力实现性能与效率双突破
月之暗面团队的Kimi Linear模型，是混合线性注意力架构，核心是Kimi Delta Attention模块。它解决线性注意力的记忆及遗忘问题，在多任务测试表现出色，还开源相关资源，推动高效长上下文模型研究。
强化学习教父重出江湖， 生成式AI的时代要结束了？
新智元报道，强化学习之父Richard Sutton称GenAI时代正结束。他加入ExperienceFlow.AI，要让AI靠「经验」觉醒。该公司定位打造「经验驱动的去中心化超级智能」，认为AI下一阶段应从世界中学习。
万字长文图解Qwen2.5-VL实现细节
文章作者今年年初写好，为防盗版一直内部分享，时隔半年因Qwen2.5-VL已渗入MLLM开发各场景而公开。从源码抽图例助理解，涵盖window attention等内容，排版全文见指定链接。
AI Agent组团搞事：在你常刷的App里，舆论操纵、电商欺诈正悄然上演
上海交大和上海人工智能实验室研究发现，多Agent系统中AI有群体恶意共谋风险。其开发MultiAgent4Collusion框架模拟作恶，发现去中心化团伙作案效果更好，还能应对现有防御体系。研究为研发防御策略提供工具。
刚刚，Claude水印一夜变废纸！
今早GitHub上一个去水印神器代码库爆火，狂揽11000颗星。它采用MIT开源协议，能抹除Claude等水印及相关文件鉴权数据。此前Anthropic高调展示水印技术，如今防线被打破，引发开发者对大公司傲慢的反击。
10人创业团干翻行业“潜规则”！全员必须会AI、让跑大模型全程“裸奔”，谷歌老兵不烧钱创业
谷歌老兵Bryan Zhou投身AI创业，组建AnyInt团队。该平台定位AI Infra中间件，一个API对接所有模型，提倡“去中心化”。团队一开始就奔着付费用户，还做了极致性能优化，吸引众多开发者。
强化学习之父Richard Sutton：人类数据耗尽，AI正在进入“经验时代”！
强化学习之父Richard Sutton在演讲中指出，人类数据耗尽，AI正进入“经验时代”，真正的AI要从与世界互动的“经验”中获取数据。他还认为创造超级智能体是好事，人类和AI繁荣应基于“去中心化合作”。
5亿买一个域名，这个币圈狠人，想让你60秒拥有自己的AI贾维斯
币圈狠人Kris Marszalek豪掷7000万美元购入AI.com域名，打破人类域名交易纪录。他坚信这是通往AGI的入场券，想借此推个人AI智能体，构建去中心化网络，但此举是豪赌还是愚蠢仍未知。
3A大作！阿里ROLL团队从基建->算法->机理，推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。