「自注意力机制」共找到 1944 篇相关文章
这次，LLM黑盒被LLM打开了~
随着大语言模型（LLM）能力提升，其内部机制更不透明。概念描述新范式用另一个 LLM 自动生成自然语言解释。介绍了描述对象、生成方法、评估指标，还提及社区关注方向，指出结合多种手段才能把解释变知识。
腾讯混元 TurboS 技术报告首次全公开：560B 参数混合 Mamba 架构，自适应长短链融合
日前腾讯混元 TurboS 技术报告全公开。它是超大型 Hybrid Transformer - Mamba 架构 MoE 模型，有自适应长短思维链机制，总参 560B。在多榜单成绩亮眼，多语种和多任务处理能力强，还介绍了核心创新、训练策略等。
2K Star！颠覆PPT！这个560KB的HTML文件，把整个办公套件装进了一个文件里！
Bento是开源项目，把文档、编辑器等全打包进约560KB HTML文件，功能堪比PowerPoint。它数据纯JSON、支持AI协作与端到端加密协作，还自研多个引擎，有多种上手和与AI协作方式。
小米MiMo Agent 跨会话进化
多数AI编程Agent任务一长就忘事，业界主流靠堆上下文窗口应对，但有缺陷。小米MiMo团队开源的MiMo Code，靠显式存储 - 检索机制，200步以上任务胜率超Claude Code达65%，介绍了其设计及优缺点。
实测最强的Cowork Agent模型M2.7，这是龙虾最好的模型搭子
实测MiniMax新发布的M2.7模型，解决了Agent的笨拙感，是国内最强的Cowork Agent模型。它技能命中率高，能自进化，对办公场景做了优化，还能解决生产效率问题，加强了人设保持能力。
阿里达摩院开源具身大脑基模：3B激活参数性能超越72B，转身就忘事的机器人有救了
阿里达摩院开源RynnBrain具身大脑基础模型，全系列7个。它是业界首个有 时空记忆的模型，在20项具身Benchmark上超顶尖模型。具小而美优势，训练用自研架构提效，数据丰富，输入输出灵活。
从单领域到多能力协同：数据混合如何重塑AI的强化学习
上海AI Lab的OpenDataLab团队通过大规模实验剖析可验证强化学习（RLVR）在多领域推理中的机制，发现逻辑与数学数据相互支持、代码推理有跨领域混合效应等，为构建AI推理模型提供关键发现。
万亿参数狂欢！一文刷爆2025年七大顶流大模型架构
文章深入剖析2025年顶级开源模型的创新技术，介绍了DeepSeek V3/R1、Kimi 2、Qwen3等七大顶流大模型架构，揭示滑动窗口注意力、MoE和NoPE如何重塑效率与性能。
国际PC巨头入局，Violoop押注个人主权AI｜甲子光年
Violoop获亿元级融资，产品计划9月16日众筹。它想让AI设备随使用更懂用户，提出“个人主权AI”，即个人掌握经验与改进能力。研发聚焦让AI理解人，设置主权边界，有三层自进化路径，还探索多终端应用。
最大开源第一视角数据集 EgoLive 来了，名校站台、近百家机构争相申请
今年4月京东开源业界最大人类第一视角数据集EgoLive，已获近百家机构申请。它用自研设备采集，经多模态处理，覆盖多场景任务。其数据用于JoyAI - RA训练，在真实场景验证效果好，还推动具身智能数据标准化。