「哥大团队」共找到 7414 篇相关文章
MOE RL实战：统一FP8全流程训练
SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。
陶哲轩用GPT5-Pro跨界挑战！3年无解的难题，11分钟出完整证明
陶哲轩与GPT - 5 Pro合作解决微分几何领域3年未解难题。GPT - 5 Pro从计算到证明一气呵成，助陶哲轩突破思维局限。陶哲轩认为AI在小、大尺度上有用，中尺度无益，还印证多尺度衡量工具有效性观点。
Cursor为Blackwell从零构建MXFP8内核，MoE层提速3.5倍，端到端训练提速1.5倍
Cursor团队从NVIDIA的Hopper H100s升级到Blackwell B200s后遇性能瓶颈，他们回归基础，从零重写MoE训练层，抛弃对现有CUDA库依赖，释放了Blackwell架构潜能，实现MoE层和端到端训练提速。
SAPO：让强化学习告别“硬剪切”
强化学习是提升大语言模型推理能力的核心技术之一，但现有基于组的策略优化方法面临 token 级重要性比率高方差问题。GRPO 和 GSPO 采用硬剪切有学习信号丢失等缺点。为此提出 SAPO，用平滑门控函数替代硬剪切，实验效果良好。
一个上海AI独角兽爆发了
全球AI圈因MiniMax“发布周”沸腾。新模型MiniMax - M1被视为“性价比新王”，还有新视频、语音模型表现出色。其89年博士闫俊杰带队，在大模型研发上多次做非共识选择，现估值超30亿美元，还推出智能体产品。
新国产GPU「曦望」，刚融了10个亿
国产GPU公司曦望Sunrise由商汤2024年底分拆独立，时隔半年完成近10亿融资。其产品曦望S1、S2已量产，S3在研发。两位联席CEO分别是百度元老王湛和AMD芯片老将王勇，核心团队规模小但成果显著。
智谱新模型也用DeepSeek的MLA，苹果M5就能跑
智谱AI上市后发布新成果，开源轻量级大语言模型GLM-4.7-Flash，API免费开放调用。该模型是30B总参数、3B激活参数的MoE架构，定位为“本地编程与智能体助手”，评测表现佳，采用MLA架构，多平台支持。
超越Claude 3.5和o1！8B模型靠「分层投票+测试时训练」逆袭
近日MIT研究者发现测试时训练在大模型应对复杂推理问题时，能分解任务提升回答准确率。8B的lemma3模型经此方法，在ARC和BBH数据集上性能显著提升，超Claude 3.5等。但该策略部署效率低。
a16z 合伙人：AI 正将 10 倍工程师“降级”为 2 倍！应用层已无技术护城河，未来在基础设施和业务深耕
Andreessen Horowitz (a16z) 的合伙人 Martin Casado 在对话中指出，当前AI大模型竞争格局似当年云计算大战，寡头垄断将降临。他还谈到AI对开发者、投资决策、市场格局的影响，以及对AI安全、开源等问题的看法。
【博客转载】CUDA Vectorized Memory Access （文末送书）
文章展示如何用向量化内存访问提高CUDA函数有效内存带宽，实现朴素自定义设备内存拷贝函数，对比不同数据类型、大小及方法的性能，得出拷贝数据单元多、单元大及以8或16字节向量化单元拷贝可提升带宽等结论。