「缩放定律」共找到 87 篇相关文章
国产大模型新SOTA:蚂蚁万亿级旗舰模型赶超GPT-5
蚂蚁集团开源万亿参数旗舰大模型Ling-1T,属Ling 2.0家族。它激活比例低降低运算成本,训练有“Ling缩放定律”等方法,多项测试超主流模型,不过处理超长上下文成本较高。
盘一盘,2017年Transformer之后,LLM领域的重要论文
本文梳理2017年Transformer后LLM领域重要论文。如提出Transformer架构的论文成现代AI基石;介绍GPT - 3的论文确立‘大模型 + 大数据’缩放定律,引领LLM军备竞赛等。还列举各论文内容与影响。
【梁文锋署名】DeepSeek再发新论文:75%思考+25%记忆,这是他们算出来的最优解
DeepSeek新论文《Conditional Memory via Scalable Lookup》提出Engram模块,指出大模型用计算模拟查字典是浪费算力,Engram能给模型装“记忆”,还发现参数分配呈U型缩放定律,推理和长上下文能力提升显著。
无需训练,直接「算出」最强AI!理想汽车发现端侧Scaling Law
理想汽车基座模型MindVLA团队与国创决策智能技术研究所联合发布论文,提出面向端侧大语言模型的「硬件协同设计扩展定律」,解决大模型部署在端侧设备的难题,实现软硬协同设计,提升模型性能和研发效率。
所有大模型,都学物理学:北大物理系一篇研究,震撼了AI圈
北大等机构团队跨界用物理学最小作用量原理,提出新颖方法估计 LLM 生成方向性,揭示其背后‘物理定律’。发现 LLM 生成有细致平衡现象,还能用物理指标给大模型画像,让 AI 研究提升到‘物理科学’高度。
从静态模型到数字生命体:自进化AI Agent综述
近年大型语言模型催生AI智能体发展,但现有系统依赖人工预设,难适应动态环境。论文提出自进化AI智能体,可通过环境反馈自动优化,还提出三定律、四阶段范式演进模型等,开源EvoAgentX框架。
投奔小扎,Jason Wei连发两篇博文公布“屠龙术”:一个公式看透AI,一条心法指引人生
OpenAI研究科学家Jason Wei被小扎挖走后连发两篇文章。一篇提出“验证者定律”,指出训练AI解决任务难易与可验证性成正比;另一篇从强化学习悟到人生要走On - Policy路线,发挥自身优势。
HBM之父:HBM的终点是HBF
韩国SK海力士宣布完成HBM4开发,它将成数据中心和AI芯片首选。HBM4有出色数据处理速度和能效,应用后AI服务性能或提升69%。HBM之父金正浩教授预测,未来HBF将取代HBM,还提出金氏定律指导行业发展。
Temperature Scaling可大幅提高Test-Time Scaling瓶颈!
大型语言模型解决复杂推理问题时,测试时扩展(TTS)是提升性能的途径之一。但传统TTS依赖增加样本数量,性能提升有瓶颈。本文提出温度缩放新思路,实验表明其能大幅提升性能,还给出降低成本方法。
ACL 2025杰出论文!用能力显著向量让大模型下游任务性能预测更精准
上海人工智能实验室与复旦大学联合研究成果《Capability Salience Vector》获ACL 2025杰出论文奖。提出能力显著向量(CSV)解决验证损失与下游任务能力脱节问题,实验验证其提升了下游任务表现可预测性。