「分布式Attention组件」共找到 298 篇相关文章
AI Infra入门干货总结：大模型是如何高效推理的
作者深入研读vLLM源码，以Llama 3为例，聚焦Decoder-Only架构LLM，介绍推理各环节及张量维度变化，讲解连续批处理和Paged Attention概念，还阐述推理流程、采样策略等，最后总结相关拓展内容。
具身智能落地四问：路线图、陷阱、生态位与破局思路｜甲子引力X
在「渡口——甲子引力X2025科技产业投资大会」上，梅卡曼德创始人邵天兰探讨具身智能落地问题。他指出落地有陷阱，企业应耐心发展；智能机器人对手是人工与专用设备，要找生态位，梅卡曼德做通用组件应对挑战。
美团又上新模型，8个Thinker齐开工，能顶个诸葛亮？
临近春节，美团 1 月 15 日更新 LongCat - Flash - Thinking - 2601 模型。它有 5600 亿参数，引入重思考模式，智能体能力提升。实测表现佳，适合特定场景，其技术改进独特，还将推出 ZigZag Attention。
谷歌DeepMind：AGI不必是巨型模型，拼凑型AI群或率先涌现，管理大规模Agent迫在眉睫
DeepMind最新研究提出，AGI未必以单一巨型模型形式出现，可能由多个次级AGI智能体协作拼凑涌现。为此，团队提出分布式AGI安全框架，包含四层深度防御模型应对新安全挑战。
飞书MCP不好用？我一天自研了人生教练MCP （v3.0）｜ 附：我的AI启发
作者因飞书MCP更新与期望不符，花一天自研人生教练MCP组件。介绍了人生教练Agent特点，还给出启动方法，最后分享在MCP实践中发现的AI趋势及实践总结。
AI 编码圈新卷王 Magic Path 来了，Claude Engineer 团队出品，号称UI设计的 Cursor 时刻。
Magic Path是Claude Engineer团队推出的AI驱动UI设计工具，非开源但有免费额度。它AI先行，能按提示词生成组件和React代码，亮点诸多，上手体验佳，生成UI可用，还有页面串联等功能，虽有不足但潜力大。
10 年后，Kimi 团队重新发明残差连接。马斯克和 Karpathy 同时点赞
Kimi团队发布技术报告，提出用Attention Residuals替换残差连接。实验显示其在各尺度模型上表现优于基线，降低训练成本。马斯克和Karpathy点赞，这或标志深度学习基础范式进入重新讨论阶段。
训练即服务！让模型训练回归算法语义，150行代码跑通RL
ModelScope团队开源Twinkle框架，采用Client - Server架构，支持20余种算法组件。开发者约150行代码就能编排复杂RL训练循环，底层调度等交给框架。它兼顾易用性与灵活性，有多种特点和优势，代码已开源。
SGLang 确定性推理实现技术细节笔记
文章围绕SGLang确定性推理展开，介绍其启用方式，详述批次不变性原理与Batch Invariant Ops实现，如Matmul Persistent Kernel设计；还阐述确定性采样、Attention Backend配置、AllReduce改动等，给出环境变量及测试脚本，有完整解决方案。
跟Claude谈个恋爱怎么了？Nature最新研究：真能给人聊傻了
Nature旗下研究指出，聊天机器人持续顺着、理解、陪伴用户，可能让正常人怀疑现实。研究总结出“放大螺旋”框架，含语言镜像、超个性化、谄媚三组件，叠加会成妄想放大机。OpenAI也关注此问题。