搜索：分布式Attention

「分布式Attention」共找到 126 篇相关文章

OpenAI 早期董事会成员：算法与神经网络成“超能架构”，我们如何自处？｜文末赠书

OpenAI 早期投资人里德·霍夫曼新书《AI 赋能》中文版推出。书中提出 AI 应是放大人类行动力的工具，还阐述“超级能动性”概念，强调技术与人类深度共生，批判盲目创新，主张技术锚定人文价值。

香港大学、香港科大与腾讯ARC Lab联合提出SCoPE，让视频模型处理位置关系的基底从张量网格转向射线空间。它将相机射线坐标注入Video DiT，新增参数不到原模型0.1%，多方面表现获改善。

GitHub上项目Beads登上Trending榜单，它是为AI编程助手设计的分布式任务追踪系统，底层基于Dolt数据库，解决多AI协作痛点，有版本控制、AI优化等亮点，还提供多种安装方式。

文章深入解析OpenClaw技术架构与原理，它以Gateway为核心，是高度灵活的个人AI助手系统，改变了软件开发范式。涵盖统一控制平面、推理循环、定时任务等多模块。如Gateway负责消息路由等，推理循环控制运行逻辑。

大语言模型发展中，上下文长度成关键瓶颈，主流架构计算开销大。清华刘知远团队提出《InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation》，提出可切换注意力框架，为长上下文研究提供新思路。

本文从 Serverless 面临的挑战出发，介绍 Cube 系统设计，包括分布式调度、资源池化等。还探讨其在 Agent 场景应用，如极速代码执行、高并发 Agentic RL 等，最后展望向行业开源，助力 Agent Infra 发展。

2017年《Attention Is All You Need》提出Transformer架构，重塑AI版图。其作者“Transformer八子”中，Lukasz Kaiser加入OpenAI，参与GPT-4、GPT-5等研发。他10月将出席大会分享见解，曾预言多模态等趋势已渐成现实。

随着大模型参数规模扩大，分布式训练成关键路径，高带宽域设计对提升训练效率至关重要。现有HBD架构在可扩展性、成本和容错能力等方面有局限，北大、阶跃、曦智团队提出InfiniteHBD架构解决问题。

Kyanos是基于eBPF技术的开源网络分析工具，能透视Linux内核网络活动，解决分布式系统网络难题。它零配置、有内核级透视和智能流量解密能力，功能丰富，应用场景广，相比同类优势明显。

Google DeepMind高级研究科学家Nenad Tomašev预测，未来世界主要网民将是智能体。他指出智能体虽能自动化工作，但存在安全风险，如认知单一化、网络陷阱等，还探讨了协作模式、安全防护及未来形态。