搜索：注意力算子库

「注意力算子库」共找到 501 篇相关文章

浙大提出Translution：统一Self-attention和Convolution，ViT、GPT架构迎来新一轮性能突破

近日，浙大与新加坡国立大学提出新型深度神经网络基础操作Translution，融合Self - Attention与Convolution优势，实现二者统一。基于它构建的网络在ViT和GPT架构下性能提升，但对算力要求更高。

本公众号关注AI前沿技术，分享实战案例与课程。介绍视觉叙事技术及挑战，基于Qwen2.5 - VL 7B模型微调Qwen Storyteller，构建StoryReasoning数据集，还给出实战代码及相关链接。

Cloudflare 分享发现 CUBIC 的 Rust 实现问题，该问题影响开源库 quiche。团队构建模拟环境测试，发现 CUBIC 陷入恢复循环，用 Reno 测试排除广泛问题，最终一行代码修复，使测试通过率达 100%。

AI 应用普及，企业常将不同格式文档喂给大模型，但转换工具存在诸多问题。Firecrawl 团队的开源项目 anydoc 支持 14 种格式统一转 Markdown，速度快、输出一致，还有浏览器版本保障隐私，提供多种编程接口。

开会时多人用多台设备入会常出现啸叫、回声问题，以往解决方法成本高或体验差。腾讯会议‘声链’以纯软件方案解决此问题，让设备自由开麦，声音更自然稳定，体现技术价值。

文章介绍Ally Piechowski观点，读新代码库前可先运行五个Git命令，了解项目情况。不过网友对此有争议，认为Git数据不一定可靠，还可能过度解读。

Anthropic工程师Thariq分享Claude Code Skills打造经验，介绍Skill类型、写作技巧、分享与度量方法。指出Skill是文件夹，有九大类，还给出九条写作技巧，强调好Skill在实践中成长。

大模型层数增多时，残差连接存在PreNorm稀释问题，导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案，还给出工程解法Block AttnRes，实验显示能省算力且提升效果。

在‘提示工程’后，‘上下文工程’成焦点。它是提示工程延伸，因信息过多模型会‘失焦’，上下文是稀缺资源。文章介绍高效上下文‘解剖学’、运行时检索策略、长周期任务应对方法等。

介绍GitHub上的开源项目`free-programming-books`，它汇集海量免费编程学习资源，涵盖编程语言、框架、工具等多方面，有361k+ star。资源广、更新快、结构清、支持多语言，使用简单。