「参数量估算」共找到 1251 篇相关文章
除了prompting外,不动参数,如何改变模型行为?
文章指出传统提示工程控制大模型生成行为有缺陷,提出Steering Target Atoms (STA)方法。它用稀疏自编码器分解LLM高维表示,定位“原子知识组件”精准控行为,实验效果超现有技术,还能控制推理长度。
大量英伟达GPU开始在仓库吃灰
微软CEO纳德拉承认,公司有成堆GPU因缺电、缺空间闲置。如今电力与数据中心建设跟不上AI产业扩张,算力端企业调整策略,网友建议开发低能耗芯片,微软还将向阿联酋投资建设数据中心。
硅谷的「十万大裁员」:Meta按代码量裁员
2025年,AI浪潮席卷硅谷,引发新一轮裁员潮。从互联网巨头到初创企业,纷纷边裁边招,将资源转向前沿大模型。基层岗位被自动化压缩,顶尖AI人才需求飙升,裁员是职位版图重塑的前奏。
1万亿参数Ling-1T开源,国产LLM牛了~
Ling-1T是Ling 2.0系列首款旗舰“非思维”模型,总参数量达1万亿。预训练数据超20万亿token,支持128K上下文长度。在多项任务中表现出色,是目前已知最大的FP8训练基座模型,已完成全面评测。
半量工具,双倍效能:ARPO革新大模型强化学习
大语言模型在多轮工具调用场景有挑战,传统强化学习算法有探索效率低和资源消耗大问题。本文提出ARPO,通过量化token熵分布变化设计自适应探索机制,降低工具调用成本且提升多轮推理性能。
第六章 Coding优先编的是「过程与约束」,不是「参数」
本章以开面包店类比训练大模型,介绍 AutoResearch 自主实验框架。它将研究生助理工作循环交给 Agent,在固定时间用单一指标判断好坏。仓库获约 64.7K Stars,Karpathy 设计哲学为极简主义与固定约束。
ERNIE 5.0:走向原生统一的万亿参数多模态基础模型
过去多模态模型‘拼接式’方案存在理解与生成割裂问题,ERNIE 5.0 借此提出,用统一自回归框架做多模态理解与生成,在架构、训练与系统层面有创新,评测中各模态能力表现出色。
开源医疗模型SOTA:蚂蚁健康发布百亿参数医疗大模型
由浙江省卫生健康信息中心、蚂蚁健康等联合开发的AntAngelMed医疗大模型正式开源。它凭借独创训练与架构,在权威评测中表现优异,降低算力门槛,将专业知识、诊疗能力与计算架构融合,为医疗AI落地奠基。
250份文档就能给大模型植入后门:不分参数规模
Claude母公司Anthropic联合英国AISI和图灵研究所研究发现,仅250份恶意文档就能给不同规模大模型植入“后门”漏洞,打破了以往对大模型数据中毒的认知,给厂商提了个醒。
万亿参数狂欢!一文刷爆2025年七大顶流大模型架构
文章深入剖析2025年顶级开源模型的创新技术,介绍了DeepSeek V3/R1、Kimi 2、Qwen3等七大顶流大模型架构,揭示滑动窗口注意力、MoE和NoPE如何重塑效率与性能。