「大素数空隙」共找到 5171 篇相关文章
超越MLA!新架构MLRA百万token,解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时,自回归生成受限于显存带宽。为减少KV缓存开销,业界尝试多种方法,但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA,拆分KV缓存为四个并行分支,降低显存占用,实现4路张量并行,性能更优。
卡帕西点赞Transformer内置计算机!每秒3万Token吞吐,拿下世界最难数独
当前大模型推理顶尖但精确计算不足,Percepta团队在Transformer权重里内嵌可执行程序,通过2维注意力头设计提升推理效率,能在普通CPU上实现每秒3万+Token的流式输出,还精确求解了世界最难数独。
豆包 Seed 2.0 来了:字节模型跨越鸿沟
春节前字节发布豆包大模型 2.0,其在 Text 领域进入榜单前十,视觉能力全球第四且成本低。它定位多模态 Agent 模型,有多种能力升级,文中用多个案例展示其强大,还强调字节重原生能力非简单蒸馏。
R1/Qwen训练新范式:无需继续训练,直接“算”出权重,提效500%
DeepSeek - R1爆火让RLVR成大模型后训练焦点,但训练代价高昂。学者发现RLVR中LLM权重和输出概率呈线性变化,提出“权重外推”等方法,实现最高6.1倍训练加速,RL - Extra在多榜单展现高效率。
Anthropic刚发布了一份「AI抢饭碗报告」:学历越高越「被抢」
Anthropic《经济指数报告》揭示,任务越复杂AI加速越猛,学历高的工作受影响大。还指出人机协作能大幅提升任务时长,不同国家AI应用有贫富和技术代差,也提到了‘去技能化’问题及对生产率的预测。
腾讯AngelSlim升级,首个集LLM、VLM及语音多模态为一体的投机采样训练框架,推理速度飙升1.8倍
随着大模型应用成本与延迟问题凸显,腾讯混元升级 AngelSlim 训练框架,将投机采样技术拓展至全模态场景。它以 Eagle3 架构让推理速度最高飙升 1.9 倍,还具全模态训练、面向部署等亮点,有开源代码。
8B模型任务击败GPT-5?阶跃星辰开源Deep Think新框架,小模型解锁百万Token测试时计算
阶跃星辰推出并行协同推理框架PaCoRe,让大模型突破上下文窗口和处理速度限制。基于此框架,小模型能解锁百万级Token测试时计算。PaCoRe - 8B在数学基准测试中超越GPT - 5,还具备前沿性能、“综合”能力涌现等优势。
英特尔中国 40 年,未来战略明确:坚持代工业务,Intel 18A 是未来三代产品基石
在英特尔产业创新大会上,英特尔明确战略方向,坚持代工业务,以 Intel 18A 为未来三代产品基石。明年将推更多基于该制程的产品,还发力新兴市场。此外,其 Panther Lake 平台性能飞跃,推动 AI PC 发展,也助力机器人市场。
18个月月收33万刀!起底“AI套壳”生意经:是昙花一现还是隐形金矿?
文章探讨AI套壳生意,指出开发者调用现成API做应用,这类应用有昙花一现的,也有长成产品的。套壳应用面临模型访问权和分发渠道两大挑战,但利基市场有机会,成功产品需有结果主导权和专有数据。
如何让LLM的输出更有创造性和随机性?
文章指出让大模型生成随机创造性内容困难,介绍了调整温度和top_k参数等提升LLM创造性和随机性的方法,还提到min_p参数影响及外部引入随机性思路,不过LLM本质有局限,多智能体或可缓解。