「全注意力机制」共找到 2728 篇相关文章
DeepSeek-R1登顶Nature，8位专家严审通过， 大模型「交卷时刻」来了
近日，DeepSeek - R1登上Nature封面，打破主流大模型未经过独立同行评审惯例。同行评审可理清模型机制，提升透明度与可信度，还能避免‘刷榜’‘自评’，虽有公司担心泄密，但它是验证成果的必要程序。
分布式事务：共识之外，分布式系统状态管理的另一大基石
文章深入探讨分布式系统中“共识”与“事务”的区别与协同，介绍分布式事务的应用场景、实现范式、隔离级别，还阐述 MVCC 机制及其在并发控制、版本存储等方面的应用，最后调研业界数据库产品的事务实现。
还得是华为！Pangu Ultra MoE架构：不用GPU，你也可以这样训练准万亿MoE大模型
华为盘古团队发布Pangu Ultra MoE模型架构与训练方法的中文技术报告。该模型全流程在昇腾NPU上训练，团队在架构和训练方法创新，实现准万亿MoE模型训练，还在多方面优化提升性能。
出海企业苦等的可信任AI营销产品，飞书深诺做出来了
出海生意进入困难模式，不少企业寄望于AI，但现有AI营销产品难达预期。飞书深诺推出Marvy 2.0，将出海营销全流程装进系统，具备技术优势，有13年业务经验等，还计划推Marvy Lite，助力全球数字营销平权。
Anthropic最新论文：检测LLM内省意识的方法
Anthropic与MIT等研究表明，LLM能‘感知’被注入的steering vector，‘内省意识’在DPO等后训练阶段涌现。研究构建实验，发现内省能力行为稳健、检测非简单线性关联等，还揭示检测与识别机制不同及两阶段电路。
英伟达：RLP 让 AI 在预训练时就学会思考
英伟达研究团队发布 RLP 技术，与传统大语言模型训练不同，它在预训练阶段就让模型学会'先想后说'。通过奖励机制自我监督，实验效果惊人，性能提升显著，不挑数据，打破了大模型训练范式。
macOS Harness：AI 自己写代码，操作你的整台 Mac
macOS Harness 是 browser - use 团队开源项目，目标是让 LLM 用持久化 Python 进程完成 Mac 上几乎所有任务。它仅提供六个原始操作，模型用其操作应用，还能在运行中补全缺失部分。项目有诸多优势，目前仅支持 macOS。
卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独
当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。
Zvec: 开箱即用、高性能的嵌入式向量数据库
Zvec是轻量级嵌入式向量数据库，为终端侧设计，有开箱即用等四大优势。它基于Apache 2.0协议开源，能满足向量检索在多场景需求，相比现有方案功能更全、资源管控强、性能出色，后续还将持续迭代。
RAG外部检索是多余的，英伟达最新成果颠覆认知
英伟达INTRA论文指出RAG架构中检索器和生成器在不同表示空间工作，存在retriever - generator mismatch问题。INTRA让模型用注意力查询检索自身编码表示，训练量小，在多跳QA上超越多种检索基线。