「GPT架构」共找到 2769 篇相关文章
为什么BF16的FlashAttention会把训练「炸掉」？清华首次给出机制解释，用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。
Greg Brockman（OpenAI 联合创始人）把“那场宫斗”讲完整了：董事会、请愿书、马斯克与控制权
OpenAI联合创始人Greg Brockman做客播客，讲述公司“宫斗”内幕、与马斯克谈判细节等。还谈及模型能力、算力瓶颈、AI应用等，如GPT 5.1到5.2有质的飞跃，算力将成基本人权，AI推翻物理假设。
社区供稿丨Ring-2.5-1T，思更深，行更远
今天发布并开源万亿参数思考模型 Ring-2.5-1T，在生成效率、思考深度、长程执行上大幅提升。与其他模型对比，在高难推理和长程任务执行达开源领先。介绍架构优势、手搓案例，也提及不足与未来计划。
BJIFF·电影+｜第十六届北京国际电影节AIGC电影单元征片公告
第十六届北京国际电影节AIGC电影单元开启征片，该单元已成长为全球关注的AI电影创作新阵地。介绍了组织架构、征集时间与范围、作品要求、荣誉设置等，还设有活动福利，致力于打造全球AI影视创新平台。
DeepSeek-OCR 2再进化，对图像理解已经像人一样逻辑推理了
DeepSeek-OCR 2升级，保持前代高效压缩率和解码效率，引入DeepEncoder V2，模仿人类视觉因果流机制，将图像理解转为逻辑推理，在文档解析领域实现逻辑重构，性能显著提升。
斯坦福英伟达推出测试时强化学习：微调开源模型胜过顶级闭源模型，仅需几百美元
斯坦福、英伟达等提出TTT - Discover方法，基于开源模型gpt - oss - 120b，在测试阶段引入强化学习更新模型权重。它采用熵目标函数和PUCT启发机制，解决分布外问题，成本低且表现优，但目前适用于连续奖励场景。
DeepSeek连发两篇论文背后，原来藏着一场学术接力
2026年1月，DeepSeek连发两篇论文，一篇解决信息稳定流动，另一篇聚焦知识高效检索。研究发现其与字节Seed团队存在“接力”，如mHC改进字节Seed的HC，Conditional Memory引用多项工作，梳理关系能助理解论文与架构创新方向。
账上仍有30亿元现金，王小川不下牌桌｜甲子光年
1月13日百川智能开源新一代医疗大模型Baichuan - M3，在医疗AI评测中夺冠，超越GPT - 5.2。王小川带领百川转型AI医疗，虽面临挑战但账上有30亿现金，选择院外商业化，预计2027年考虑上市。
AI原生数据库的思考
文章围绕AI原生数据库展开，分析企业应用大模型的问题，指出AI场景驱动数据库新工作负载。探讨AI数据库变与不变、实现路径，介绍原生混合搜索、现代数据架构、数模融合等，还提及seekdb的发布、定位、优势与不足。
后生可畏！何恺明团队新成果发布，共一清华姚班大二在读
何恺明团队继5月提出MeanFlow (MF) 后，近日推出改进版Improved MeanFlow (iMF)，解决了原始MF三大核心问题。它重构预测函数，还实现灵活的无分类器指导和高效的上下文内条件作用架构，提升了实用性和效率。