「注意力去偏」共找到 443 篇相关文章
浙大提出Translution:统一Self-attention和Convolution,ViT、GPT架构迎来新一轮性能突破
近日,浙大与新加坡国立大学提出新型深度神经网络基础操作Translution,融合Self - Attention与Convolution优势,实现二者统一。基于它构建的网络在ViT和GPT架构下性能提升,但对算力要求更高。
Clawdbot 教程 01:模型的配置和切换
作者分享 Clawdbot 模型配置和切换教程,指出配置核心问题是命令行配置与 URL 修正,可用 openclaw configure 命令,不行则手动改配置文件,还介绍模型切换、避免 no output 问题等方法。
Google开源Workspace CLI,让AI在终端操作办公全家桶
Google开源Workspace CLI项目,把全套办公工具装进命令行。它动态构建命令结构,输出为结构化JSON。内置超100个Agent Skills,支持多MCP客户端,认证灵活,还集成Gemini CLI扩展。
忍无可忍,LeCun离职!Meta市值应声蒸发1400亿
金融时报消息,LeCun向同事透露离职Meta计划,下一步打算创业。消息致Meta市值盘前蒸发1400多亿人民币。LeCun受尽挤兑,与Meta有路线分歧,其离开标志Meta‘学院派’研究黄金时代结束。
谷歌 DeepMind 推出 CodeMender:自动修复代码的智能代理
谷歌DeepMind推出CodeMender,这一AI驱动的智能代理能自动检测、修复并加固软件漏洞。它结合多种技术推理程序行为,生成修复方案经自动测试和人工审核后提交。社区反响积极,长期影响待察。
1.9K Star!给 DeepSeek Harness 装上侧边工作台,文件、终端、Git、浏览器、插件一屏搞定!
DeepSeek Harness 是 AI Agent 运行框架,自由度高但默认 Web UI 操作不便。社区插件 DSH - better - sidebar 迅速出圈,装了侧边工作台,整合多样工具,更新勤,适合折腾 DSH 的人。
开会最怕那一声尖叫,被腾讯会议用声链干掉了
开会时多人用多台设备入会常出现啸叫、回声问题,以往解决方法成本高或体验差。腾讯会议‘声链’以纯软件方案解决此问题,让设备自由开麦,声音更自然稳定,体现技术价值。
一个App管好所有Agent技能,Chops来了
Chops是一款macOS应用,能自动发现所有AI coding agent的技能文件,支持Claude Code、Cursor等工具。功能丰富,技术栈纯粹,需macOS 15 Sequoia及以上,下载地址和文档在GitHub。
省下1.25倍算力!Kimi这篇论文,可能改写所有大模型的训练方式
大模型层数增多时,残差连接存在PreNorm稀释问题,导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案,还给出工程解法Block AttnRes,实验显示能省算力且提升效果。
AI 会取代你的工作吗?Anthropic 用 200 万对话告诉你答案
Anthropic发布Economic Index第四期报告,分析200万次Claude对话,提出“经济原语”框架。发现AI对高学历任务加速效果更好但成功率低,还揭示Claude.ai与API差异,引入“有效AI覆盖率”等。