「模型参数量」共找到 8240 篇相关文章
五年，终于等来Transformers v5
Transformers v5发布首个RC版本v5.0.0rc0，跨越从v4到v5长达五年的技术周期。其日下载量从2万次激增至超300万次，总安装量突破12亿次。v5将PyTorch确立为唯一核心后端，聚焦四大维度进化。
AI折叠！Fable 5和GPT-5.6，正沦为少数人的特权
当前AI体验出现严重“阶层折叠”，极少数人用Fable、GPT - 5.6等顶级大模型，大众用的是低参数的平庸产品。算力成本让普通人难以触及顶级AI，在医疗等领域也存在使用差距，不过也有人认为普通工作无需顶级模型。
破解AI对不同上下⽂位置的敏感度不⼀致，新框架使出“解铃还须系铃人”
语言模型存在位置偏见，影响复杂推理等任务。论文提出Pos2Distill框架，将模型优势位置能力迁移到劣势位置缓解偏差，设计了Pos2Distill - R1和Pos2Distill - R2，在检索和推理任务表现好且有跨任务泛化能力。
MOE RL实战：统一FP8全流程训练
SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。
AI办公斩杀线，一页文档多少钱
腾讯混元Hy4 preview正式发布并开源，参数770B，是开源阵营里参数最大的Apache 2.0模型。它能处理长文本，官方定位有软件工程、办公分析等四个方向。还分析了处理一页文档的成本，指出办公AI下半场重在‘读懂’。
手握30亿、被蚂蚁狂挖人，转型被骂惨的王小川，真的翻身了？
在大模型竞争中，2023 年成立的百川战略收缩聚焦医疗，起初内外存疑。2025 年，AI 医疗技术与应用进展显著，今年初大厂入局。百川如今开源 Baichuan - M3 模型，王小川认为医疗已入应用阶段、多模态非主战场，且国内 To C 更好。
LeCun炮轰Hinton：他认可LLM就是想摆烂退休了！
Yann LeCun在播客专访中火力全开，炮轰Hinton认可LLM是想摆烂退休，直言LLM不是通往智能的路，还吐槽Meta卷入LLM竞赛后无法专注研究。他介绍了新公司AMI和世界模型、JEPA等技术，认为JEPA类世界模型五年内将统治AI圈。
【博客翻译】使用PyTorch加速生成式AI第四部分：Seamless M4T，快速优化
这是使用纯原生PyTorch加速生成式AI模型系列博客的第四部分，专注加速FAIR的Seamless M4T - v2模型。通过torch.compile + CUDA Graph，在不损失精度下实现text decoder模块2倍、vocoder模块30倍加速，端到端推理2.7倍加速。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
AI 的终极护城河不是模型
硅谷风投投资人Jaya Gupta指出，当AI领域趋同，产品易被复制时，公司组织形态才是难以复制的护城河。如OpenAI、Palantir围绕新型工作创造新型机构，吸引特定人才。公司应匹配叙事与组织形态，选人要注重结构认可。