「分布式Attention」共找到 126 篇相关文章
卡帕西630行代码炸出81个智能体，4天协作跑2333次实验，公布预训练十大发现
Karpathy的Autoresearch项目630行代码让AI自主实验，提升语言模型训练效率。全球开发者让多智能体协作，智能体自发形成同行评审制度。项目发起者公布十大发现，还衍生出表现出色的auto - discovery项目。
Nature重磅：智能的尽头是算力！谷歌大佬承认「预测下一个词即智能」
芯片速度触顶，摩尔定律失效，但AI却在疯狂跃迁。Nature文章指出，智能的增长不靠芯片加速，而是结构重组与协作。其核心是预测和并行协作，AI正以类似生命演化的方式发展，与人类相互依存。
万字长文梳理「罗福莉」三个半小时的访谈：2026年不是Agent元年，是生产力爆发年
小米大模型负责人罗福莉在访谈中复盘技术剧变，分享对OpenClaw的认知转变，阐述Agent框架本质，介绍MiMo V2架构选择，探讨人跟Agent共创、多模态Agent等内容，判断2026年生产力将爆发。
中国AI创业者重登GTC舞台：杨植麟用技术语言讲了一个智能上限突破的浪漫故事｜甲子光年
美国当地时间3月17日，月之暗面（Kimi）创始人杨植麟在英伟达GTC演讲，介绍Kimi技术路线图。他提出开源模型要出色，给出Token效率、长上下文、智能体集群三个概念，还探索了未来架构，且将创新开源。
不盲目跟风：消息代理选型实战指南
消息系统在分布式架构中至关重要，消息代理选型常缺系统方法。文章剖析 Apache Kafka 与亚马逊 SQS 特性，对比它们在命令、ECST、事件通知三种消息模式下的适配性，为选型提供参考。
深度拆解，硬核解构，揭开vLLM推理系统实现高效吞吐的秘籍
文章深度拆解 vLLM 推理系统，介绍其核心组件和高级特性，包括推理引擎流程、调度机制、高级功能等，还提及系统扩展、分布式部署、性能测量等内容，助力读者理解推理引擎工作原理。
为MoE解绑：全新「专家即服务」推理架构发布，超细粒度扩展锐减37.5%成本
近年来大模型推理开销增长，MoE架构虽能避免计算量同比增，但带来扩展性差、容错性低、负载不均等问题。为此作者提出全新「专家即服务」推理架构EaaS，实验显示它能锐减37.5%成本。
「我受够了Transformer」：其作者Llion Jones称AI领域已僵化，正错失下一个突破
颠覆性论文《Attention is all you need》作者之一Llion Jones在TED AI大会称厌倦Transformer。他认为AI领域资源多但创造力降，过度聚焦单一架构或错失重大突破，建议调高‘探索旋钮’并分享结果。
Databricks开源限流方案，抛弃redis，性能提升10倍
Databricks 开源高性能限流系统设计，抛弃 Redis，通过内存分片和批量上报机制，实现 10 倍性能提升。还将限流算法改为令牌桶，解决了精度控制、在线迁移等问题，权衡了分布式一致性。
ICLR2025 | LLM为什么能拒绝回答有害问题呢？
该论文首次系统性研究注意力头在LLM安全中的作用，提出Ships和Sahara方法，在极少参数改动下显著降低模型安全性，发现不同模型安全头高度重叠，为理解模型安全机制提供新视角。