「BERT分类器」共找到 365 篇相关文章
将注意力旋转 90 度！今天，Kimi 的「注意力残差」火了
Kimi团队发布技术报告Attention Residuals，用依赖输入的注意力机制取代标准深度递归，解决传统残差连接的信息稀释和隐藏状态爆炸问题。实验显示其有计算优势，下游任务表现佳。
显存暴降92%！哈工大为线性注意力开辟了新道路
哈尔滨工业大学等团队发现线性注意力性能不足根源是查询范数丢失等。基于此提出NaLaFormer，在ImageNet - 1K准确率最高提7.5%，超分任务峰值内存降92.3%，为线性注意力发展开辟新道路。
用视频存储文本的黑科技！
memvid-rs是memvid的Rust重实现，可将文本文档编码为视频二维码实现存储和检索。它有高性能、用TRUE机器学习等特点，兼容多格式、跨平台，无需安装，适合存档文本语料库等。
LeCun有了新证据！大模型思考与人类思考存在本质差别
Yann LeCun参与的研究用信息论揭示大语言模型与人类在‘理解世界’上的本质差异。研究引入新量化框架，分析主流大模型，发现AI与人类在‘理解’上有三大核心差异，对当前AI发展趋势提出挑战。
Science：AI预测教皇选举翻车！新教皇缘何成「意外之选」？
梵蒂冈宣布美国红衣主教Robert Prevost当选新教皇，而AI预测的是意大利红衣主教Pietro Parolin，Prevost不在预测名单。研究人员用算法分析选举人，还请ChatGPT整理资料，专家指出模型有局限但方法或可用于其他选举。
Cloudflare 推出 EmDash，瞄准 WordPress 的下一个十年
Cloudflare 推出 EmDash 预览版开源 CMS，被指是‘WordPress 的精神继任者’。它以无服务器、开发者优先架构重塑 CMS 模型，解决插件安全风险。不过，WordPress 创始人等对此存疑。
全新线性注意力范式！哈工深张正团队提出模长感知线性注意力！显存直降92.3%！
哈工深张正团队联合多团队发布论文，提出 NaLaFormer 框架，解决线性注意力两大核心缺陷，保持线性复杂度同时精度超越，在多任务表现出色，如超分任务显存降 92.3%。
【栏目对话和访谈】ClawdBot 创始人 Peter：AI 是杠杆，不是替代品；编程语言不重要了，重要的是我的工程思维
这是对 ClawdBot 创始人 Peter Steinberger 的访谈。他分享 ClawdBot 开发历程，认为 AI 是杠杆非替代品，编程语言不重要，工程思维才关键，还预测 80% App 会消失，批判复杂智能体编排系统。
解决算力瓶颈，给多模态瘦身！Token压缩完整图谱与选型指南
给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余，提升训练与推理效率。北大等团队剖析其全貌，给出完整图谱与选型指南，还揭示了未来演进路径。
合成数据≠生成模型：一文读懂合成数据的全新范式
最新研究提出合成数据全新分类框架，突破‘生成模型=合成数据’传统认知，涵盖多种方法。还按应用层次划分场景，指出合成数据面临模型坍塌等挑战，正成新型基础设施。