「生成式深度学习」共找到 3925 篇相关文章
SGLang Hierarchical Sparse Attention 技术深度解析
阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架,介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈,以 DeepSeek DSA 集成测试,使推理性能大幅提升,目前项目处于开发阶段。
vLLM PIECEWISE CUDA Graph 技术学习笔记
文章围绕vLLM PIECEWISE CUDA Graph技术展开,介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容,PIECEWISE技术让vLLM在prefill阶段性能提升。
独白:OpenAI前员工的深度反思
OpenAI前员工在博客分享工作体验,从文化、技术等多维度剖析公司。指出极速扩张面临挑战,文化独特,技术上用Python单体代码库、依赖Azure,还详述Codex项目诞生,认为AGI竞赛在OpenAI等三家展开。
深度洞察:AI带来的产业发展趋势
文章指出AI正以极快速度改变世界,趋势已成。探讨软件业从以应用为中心到以模型为中心的变革,还将阐述从以应用为入口到以AI为入口、AI巨头发展方向及未来展望等内容。
LightX2V Ulysses Attention 实现学习笔记
本文记录了LightX2V中Ulysses Attention的实现方式与张量形状推导。在多模态/视频场景,其实现可概括为一种layout变换,还提供`enable_head_parallel`和`use_fp8_comm`选项,效果受运行环境等因素影响。
谷歌最新版「深度研究」反击GPT-5.2
GPT - 5.2发布前,谷歌推出新版Gemini Deep Research Agent,基于Gemini 3 Pro构建,功能强大。还开源DeepSearchQA,推出交互API。此外,DeepMind与英国政府合作,在城市规划、科学研究、网络安全等多领域应用AI技术。
The Btch:838 | 苹果加强生成式 AI 布局
苹果更新 Apple Foundation Models(AFM)系列,含设备端和服务器端版本,还发布 Foundation Models 框架。AFM 模型架构特别,训练有优化,测试表现有差异。此前苹果论文引争议,此次或是其重启 AI 战略之举。
重磅!翁荔最新Scaling Law深度洞察来了
北大毕业的前OpenAI高管翁荔(Lilian Weng)的《Scaling Laws, Carefully》值得一读。Scaling law是预训练预算表,能帮少烧错钱。文章探讨大模型训练预算分配,分析Kaplan和Chinchilla结论差异及数据稀缺问题。
The Batch: 939 |在推理阶段学习长上下文
大型语言模型处理长上下文时通常准确性降低、速度变慢,研究人员提出TTT - E2E方法,通过推理时训练模型将上下文压缩到transformer权重中,还展示了其运作方式、测试结果等。
9.9K star 惊艳,一行代码即可生成!
介绍了基于Python的开源工具MapToPoster,它能通过一行代码将全球任意城市地图转化为极简艺术海报。项目在Github有9.9k+ star,有多种功能特性,操作简单,降低了地图设计门槛。