「GPT - 5.4」共找到 3181 篇相关文章
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程,指出padding分max和sum模式,旧版sum padding浪费计算、影响cuda graph使用,v0.4.10后有优化,max padding仍待完善。
DeepSeek用的GRPO有那么特别吗?万字长文分析四篇精品论文
文章解读 Kimi k1.5、OpenReasonerZero、DAPO 和 Dr. GRPO 四篇论文,分析 DeepSeek R1 里 GRPO 及改进算法。指出 GRPO 非特殊 RL 算法,当前 RL 算法实现相似,变革聚焦价值函数取舍等核心维度。
超越MLA!新架构MLRA百万token,解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时,自回归生成受限于显存带宽。为减少KV缓存开销,业界尝试多种方法,但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA,拆分KV缓存为四个并行分支,降低显存占用,实现4路张量并行,性能更优。
十分钟出结果,陶哲轩用Gemini Deepthink帮人类数学家完成Erdős问题论证
Erdős问题网站专注数学研究与解答,收录厄尔德什提出的各类数学问题。11月20日,Wouter van Doorn提出反例,陶哲轩提交给Gemini 2.5 Deep Think,十分钟得到证明,他半小时转为基础证明。之后Boris Alexeev用Harmonic的Aristotle工具完成形式化。
DeepSeek正开发高级AI Agent模型,硬刚OpenAI
彭博消息,DeepSeek正开发高级AI Agent模型与OpenAI竞争。此模型能在极少指令下执行多步任务并自我优化,计划Q4推出。此前该司模型表现佳,技术已在多领域落地,但构建AI Agent仍有挑战。
一个月的活一周干完!英伟达世界模型训练速度飙升400%
英伟达世界动作模型 DreamZero 训练成本高、耗时长,无问芯穹与清华等推出的 RLinf 框架,从算子融合到 I/O 全链路系统级重构,使训练吞吐拉高近 4 倍,还解决多类性能瓶颈,保证训练效果。
蛰伏一年,周衔团队带来首个具身基础模型,烹饪做实验弹琴,效果炸场
Genesis AI公布首个机器人基础模型GENE - 26.5,能完成烹饪、解魔方等复杂任务。该模型是全栈系统,以仿真加速迭代,用自研手套采集数据,还重写控制栈。公司后续计划发布全身机器人。
再创历史!英伟达市值一夜突破5万亿美元,今年涨幅56%,黄仁勋晋升全球第八富豪
10月29日,英伟达市值突破5.03万亿美元,成全球首家破5万亿美元公司,今年涨幅56%。黄仁勋以1792亿美元持股价值居福布斯富豪榜第八。这或因GTC大会公布多项革新与合作,且AI热潮让其GPU需求旺盛。
LoRA中到底有多少参数冗余?新研究:砍掉95%都能保持高性能
这篇创新研究介绍了LoRI技术,证明即使大幅减少LoRA的可训练参数,模型性能依然强劲。研究团队在多个任务上测试了LoRI,发现仅训练LoRA参数的5%,LoRI就能匹配或超越其他方法的性能。
Claude估值暴涨300%!全球独角兽字节第三他第四
Anthropic官宣完成F轮130亿美元融资,最新估值达1830亿美元,较上轮暴涨近300%,成全球第四大估值初创公司。半年内营收从10亿美元年化突破50亿,Claude Code年收入破5亿。