「分布式Attention」共找到 128 篇相关文章
斩获4.1K star，再见tcpdump！这款开源神器让网络分析快如闪电！
Kyanos是基于eBPF技术的开源网络分析工具，能透视Linux内核网络活动，解决分布式系统网络难题。它零配置、有内核级透视和智能流量解密能力，功能丰富，应用场景广，相比同类优势明显。
人类已成少数派！DeepMind 研究科学家：广告没人看了，互联网上AI的流量已经超过了真人
Google DeepMind高级研究科学家Nenad Tomašev预测，未来世界主要网民将是智能体。他指出智能体虽能自动化工作，但存在安全风险，如认知单一化、网络陷阱等，还探讨了协作模式、安全防护及未来形态。
Generalist之后，罗剑岚团队推出LWD，也要变革具身智能训练范式
智元机器人与上海创智学院联合发布全新具身智能训练范式 LWD，可让机器人在真实世界部署中持续自主改进。它打破传统 AI 静态模式，构建数据飞轮，在四大维度创新，经测试表现出色，或成具身智能转折点。
我用AI做了个付费榜第一的App，现在人民日报管这叫「手搓经济」
人民日报提出「手搓经济」，指个人开发者用AI做出的应用受青睐。作者作为亲历者，认为报道判断准，但应注意手搓动机是创造、参与者不止年轻人，且产品从1到100仍需投入。
微软打包收购OpenAI？就差一点！
OpenAI奥特曼被董事会罢免时，微软差点雇佣式收购，资金、文书一天到位。微软曾对OpenAI商业化存疑，而奥特曼不想被其完全掌控，签亚马逊大单。此外，马斯克索赔，OpenAI要防御多方围猎。
一次缓存引发的文件系统数据不一致问题排查与深度解析
本文详述由自研分布式文件系统客户端 EFC 缓存架构更新引发的数据不一致问题排查过程。经多轮分析，发现是版本号回退致客户端读旧数据。修复后测试无异常，还揭秘部分 POSIX 接口底层情况。
原来Scaling Law还能被优化？Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。
小米小爱同学：资源受限下，实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰，探讨大模型端侧部署难题。团队自研推理框架，实现180 tokens/s推理速度，采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。
21
本文聚焦vllm v1中管控模型分布式推理的核心Executor部分，介绍其4种类型及适用场景，以mp类型为例阐述Executor - Workers架构，还说明了大小数据在两者间的传输机制及原理。
一个框架，重塑具身研发流程：Dexbotic走向具身PyTorch
开源具身智能原生框架 Dexbotic 宣布支持 RLinf 作分布式强化学习后端，打通 VLA 模型研发中「SFT 与 RL 割裂」问题。其 2.0 版实现模块化解耦与多源混训，构建开发闭环，孵化出 DM0 大模型。