「注意力算子库」共找到 501 篇相关文章
告别死记硬背!SkillRL自动提炼Skills持续进化
大型语言模型智能体常孤立运行,难从经验学习。SKILLRL受人类技能启发,提出有效经验迁移需抽象。它通过经验驱动的技能蒸馏、分层技能库和递归技能进化机制,在多实验中表现出色。
从一行代码发现DeepSeek的秘密:Model1到底是什么?
在DeepSeek - R1发布一周年时,有人在GitHub的FlashMLA代码仓库发现神秘代号Model1,可能是V4。文章分析了代码仓库用途、新模型“露馅”原因,还从代码中发现Model1细节,结合论文梳理时间线,最后也提出了怀疑。
NeurIPS 2025 | Code Graph Model:重塑代码大模型架构,利用“代码图”突破仓库级编程瓶颈
在 NeurIPS 2025 上,蚂蚁全模态代码算法团队展示「Code Graph Model (CGM)」,它将代码库图结构注入 LLM 底层注意力机制,打破业界刻板印象,在权威榜单上表现出色。文章解析其架构、训练策略和配套框架。
Telegram创始人搞了个狠活:100%隐私的去中心化AI网络
Telegram创始人帕维尔·杜罗夫推出专注机密AI计算的去中心化网络Cocoon,或终结中间商垄断。它基于TON区块链,有三层架构,四步完成AI查询,但面临延迟和竞争挑战,未来将采用DAO治理。
我MiniMax,用实习生处理数据,照样屠榜开源大模型
MiniMax M2屠榜开源大模型,引发社区热议。它在注意力机制、数据处理、思考模式上另辟蹊径,公开技术细节。M2团队选Full Attention,雇实习生处理数据,提出交错式思维链策略,强调实用性和泛化能力。
EMNLP 2025 | 动态压缩CoT推理新方法LightThinker来了
随着AI发展,大语言模型处理复杂推理任务能力提升,但推理产生大量中间步骤和文本,拖慢计算速度、增加资源压力。研究者提出LightThinker,模仿人类思考模式,动态压缩推理步骤,削减tokens数量,降低成本。
谷歌大脑之父首次坦白!茶水间闲聊引爆万亿帝国,AI自我突破触及门槛
AI界传奇Jeff Dean在「登月播客」深度访谈中,回顾个人成长、Google Brain早期故事及AI未来思考。他揭秘诸多细节,还谈到神经网络发展、注意力机制突破、LLM可解释性等内容,也提及未来五年规划。
别焦虑!不会用AI也不会被淘汰,工程师老哥实测各类工具:10倍生产力神话太夸张了
工程师科尔顿·沃奇实测Claude Code等AI开发工具后发现诸多问题,如难以理解大型代码库上下文、跟不上标准等。他认为‘10倍生产力’是神话,AI需工程师引导,大家不必因AI而焦虑。
不靠海量数据,如何精准喂养大模型?上交Data Whisperer:免训练数据选择法,10%数据逼近全量效果
上海交通大学等团队提出 Data Whisperer,首个免训练的注意力驱动数据选择框架。它利用模型自身能力打分挑数据,无需训练与人工标注,用 10% 数据让微调效果逼近全量数据,在多方面领先传统方法。
极致优化Android平台APK的大小
文章以Android为例,介绍UE包可裁剪部分的优化思路与实践,优化APK大小和Native库运行时内存占用。从压缩NativeLibs、代码体积优化、资源裁剪等方面着手,还给出优化效果和额外资料。