「分布式Attention组件」共找到 299 篇相关文章
在 Cache-DiT 框架下实现原生 Serving功能
Cache-DiT 是唯品会开源的 PyTorch 原生 DiT 推理加速引擎，此前聚焦离线推理。现实现完整 Serving 功能，支持单卡与分布式推理模式。文章介绍其实现过程、借鉴 SGLang 的设计，还总结踩坑及使用方法。
清华开源｜做一门课要3天？用 OpenMAIC，30分钟生成完整互动课堂｜GitHub 15.6k
OpenMAIC 是清华开源的 AI 互动课堂平台，能将主题或学习材料快速转化为完整互动学习体验。它把课堂拆成多种交互组件，架构设计出色，支持多 LLM 服务商，还能在聊天应用生成课堂。
打破确定性魔咒！北航团队提出VBF++：用“不确定性建模”刷新多模态视频推荐 SOTA
北京航空航天大学和北京邮电大学联合提出VBF++框架，将多模态融合从“点估计”升级为“分布建模”。它由上下文感知先验、推荐引导的对抗优化和元学习三大组件构成，在多个数据集上刷新SOTA。
性能比肩DeepSeek-R1，MiniMax仅花380万训出推理大模型性价比新王｜开源
MiniMax开源推理大模型MiniMax - M1，原生支持100万token输入、8万输出，性能比肩DeepSeek - R1，仅花380万训成。采用Lightning Attention机制与CISPO算法，在多领域表现出色，模型权重可在HuggingFace下载。
适配鸿蒙操作系统！！腾讯游戏直播SDK基于Kuikly三端一码开发实践
随着鸿蒙Next发布，腾讯推进游戏电竞直播SDK鸿蒙适配。基于Kuikly框架实现业务代码100%跨三端、跨多App复用，节省超50%人力。介绍适配工作、目标、方案，还提及组件Kuikly化等内容。
近期，不错的LLM Agent统一记忆框架综述~
随着GPT、Qwen、Claude等大模型能力提升，LLM-based Agent走向长期任务。论文提出统一框架拆解Agent Memory为四组件，围绕两个数据集复现比较10个方法，还设计出新的低token开销框架。
比Transformer更强的架构来了？浙大新作Translution，一统卷积和自注意力
随着大模型发展遇瓶颈，浙大等校学者提出神经网络基础操作Translution，实现自注意力与卷积的融合统一，构建更普适神经计算机制。它性能超Self - attention，为新一代神经网络发展开辟新方向。
SGLang Team：在 96 个 H100 GPU 上部署具有 PD 分解和大规模专家并行性的 DeepSeek
本文介绍 SGLang 团队在 96 个 H100 GPU 上部署 DeepSeek 的方法。利用 PD 分解和大规模专家并行性，SGLang 实现高吞吐量，成本低。博客探讨并行设计、优化方法，所有组件开源，也指出了当前局限与未来方向。
3.6K Star 开箱即用！开源Agentic浏览器，Perplexity Comet最强平替！
传统浏览器缺乏AI自动化能力，新兴的Perplexity Comet又有云端依赖和费用高的问题。开源的Agentic浏览器BrowserOS可作其平替，有AI聊天扩展等组件，功能强大且跨平台，能带来安全智能的浏览体验。
Paddle OCR走到了尽头，Unlimited OCR一次读40 页
百度开源的Unlimited OCR把解码器里全部attention层换成R - SWA，模型只记128个token，能一次性读完40页文档。相比DeepSeek OCR，它在精度、速度上表现更优，训练成本低，适用范围广。