「ECD数据集」共找到 2609 篇相关文章
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发,逐步加入self-attention机制、position嵌入等,实现完整GPT。介绍Transformer结构,讲解位置编码、单头自注意力等机制的代码实现,还阐述后续层的用途、参数调整及训练效果,最后提及模型优化方向。
还得是华为!Pangu Ultra MoE架构:不用GPU,你也可以这样训练准万亿MoE大模型
华为盘古团队发布Pangu Ultra MoE模型架构与训练方法的中文技术报告。该模型全流程在昇腾NPU上训练,团队在架构和训练方法创新,实现准万亿MoE模型训练,还在多方面优化提升性能。
一文讲透程序编排的核心方式:从表达式语言到并行化实践
文章围绕程序编排展开,介绍单语句编排、类编排、流程编排、并行化编排等核心方式,分析多种编排框架特点及适用场景,还提及Lindorm泛时序数据解决方案,为开发者提供编排参考。
Agent 元年,小厂碎步快跑反超
2025 年被视为 Agent 元年,AI 从“助手”走向“员工”。飞猪“问一问”出圈,虽小厂在模型、技术上不占优,但 AI Agent 落地门槛降低,小厂抓住场景和体验,或在 AI 时代弯道超车。
【万字长文】大模型开源开发全景与趋势解读
本文以蚂蚁开源团队视角,基于OpenDigger数据,分析大模型开源开发生态。呈现2025年全景图,涵盖135项目。指出训练、推理、应用侧主导领域,还探讨生态趋势、项目兴衰及近期厂商动态。
ParScale:一种全新的大模型Scaling Law
文章提出并行扩展(ParScale)路线,在不增模型参数下,通过引入并行流提升性能。新扩展定律打破传统范式,两阶段后训练策略降成本,还适用于边缘设备,研究仍在进行。
通过查看GPU Assembly分析CUDA程序
文章是关于通过分析SASS代码提高内存受限CUDA程序性能的笔记。以向量复制程序为例,对比普通和向量化版本,通过查看SASS代码,解释向量化版本性能更快的原因是加载/存储数据量更大、启动块数更少。
超低延迟的端到端语音模型!首次生成音频仅需53ms,比同级别模型快3-5倍!
随着语音应用场景普及,语音大模型响应慢成瓶颈。VITA团队开源端到端语音模型VITA - Audio,7B参数模型首次生成音频仅53毫秒,比同级别快3 - 5倍,完全开源,有超低延迟等优势。
李飞飞发布Atlas,世界模型进入新时代
李飞飞创业公司 World Labs 发布新一代世界模型 Atlas,它是全模态模型,能处理四模态数据。其核心为空间上下文设计,评测成绩不错,应用场景丰富,公司发展节奏密集,产品路径有转向。
鹿明发布NexCore:当机器人技能成为一种基础设施
8月19日鹿明机器人发布具身智能进化引擎Lumos NexCore,试图在数据、模型等与机器人间建立生产与运行链路,让机器人能力成可复用‘技能资产’,解决具身智能技能生产效率问题。