「新注意力机制」共找到 4316 篇相关文章
你的最快安卓芯片发布了!全面为Agent铺路
高通发布全球最快Windows PC处理器骁龙X2 Elite系列、全球最快移动SoC处理器第五代骁龙8至尊版移动平台。高通CEO安蒙提出对AI趋势的六大理解,新芯片在性能、功耗等方面有显著提升。
DeepSeek-R1登顶Nature,8位专家严审通过, 大模型「交卷时刻」来了
近日,DeepSeek - R1登上Nature封面,打破主流大模型未经过独立同行评审惯例。同行评审可理清模型机制,提升透明度与可信度,还能避免‘刷榜’‘自评’,虽有公司担心泄密,但它是验证成果的必要程序。
分布式事务:共识之外,分布式系统状态管理的另一大基石
文章深入探讨分布式系统中“共识”与“事务”的区别与协同,介绍分布式事务的应用场景、实现范式、隔离级别,还阐述 MVCC 机制及其在并发控制、版本存储等方面的应用,最后调研业界数据库产品的事务实现。
Anthropic最新论文:检测LLM内省意识的方法
Anthropic与MIT等研究表明,LLM能‘感知’被注入的steering vector,‘内省意识’在DPO等后训练阶段涌现。研究构建实验,发现内省能力行为稳健、检测非简单线性关联等,还揭示检测与识别机制不同及两阶段电路。
北京AIGC视听产业创新中心:“数字浮游”今日开展,AI视听实验室赋能艺术实践
2026年3月7日至5月5日,“数字浮游——第六届北京电影学院国际新媒体艺术三年展巡回展”在郎园Station X美术馆举办。该展由北京电影学院与X美术馆联合主办,汇集24位(组)艺术家的26件作品,呈现数字技术下的创作环境。
英伟达:RLP 让 AI 在预训练时就学会思考
英伟达研究团队发布 RLP 技术,与传统大语言模型训练不同,它在预训练阶段就让模型学会'先想后说'。通过奖励机制自我监督,实验效果惊人,性能提升显著,不挑数据,打破了大模型训练范式。
永别了,Sora!奥特曼All in超级App
OpenAI一早关停爆火仅6个月的AI视频APP Sora,包括其开发者版本及ChatGPT内视频功能。奥特曼此举是为打造「超级应用」、为IPO铺路,同时为新模型Spud腾出算力,其预训练已完成,将在未来几周发布。
卡帕西点赞Transformer内置计算机!每秒3万Token吞吐,拿下世界最难数独
当前大模型推理顶尖但精确计算不足,Percepta团队在Transformer权重里内嵌可执行程序,通过2维注意力头设计提升推理效率,能在普通CPU上实现每秒3万+Token的流式输出,还精确求解了世界最难数独。
统治AI十年的Transformer,要被亲爹亲手砸碎?
5月5日旧金山的辩论赛上,Transformer联合发明人Łukasz Kaiser为其作品辩护,三位挑战者指出Transformer五大死穴。Kaiser称除非新架构证明有更好的scaling曲线,否则Transformer仍是主流,还给出具体辩护。
RAG外部检索是多余的,英伟达最新成果颠覆认知
英伟达INTRA论文指出RAG架构中检索器和生成器在不同表示空间工作,存在retriever - generator mismatch问题。INTRA让模型用注意力查询检索自身编码表示,训练量小,在多跳QA上超越多种检索基线。