「大语言模型(LLM)」共找到 8304 篇相关文章
秋招超强助攻:零基础1小时上手GPT微调!全流程教程免费开源
新一年秋招季,岗位对AI能力要求提升。OpenAI发布新开源大模型GPT - OSS,博主Lorentz Yeung开源本地部署和微调训练GPT - OSS的教程,助零基础者上手,还介绍环境搭建、代码和训练前后效果对比。
综述 | 从“说出来”到“脑中算”:Latent Reasoning的范式跃迁与无限可能
大型语言模型用显式思维链推理有局限,潜在思维链(Latent CoT)让推理在连续隐藏状态空间进行。论文梳理该领域,建立框架,介绍方法,探讨可解释性与无限深度推理,指出价值、挑战与未来方向。
ACL2025 | 抓出0.1%的捣乱分子压缩方法OTT:近乎无损 超越KIVI,内存减6.4倍 吞吐量提2.3倍
LLM生成文本时KV Cache内存占用高,限制模型批量处理能力。论文提出OTT方法,动态追踪异常令牌单独高精度保存,其余压缩。实验显示,它准确性高、效率好,不过在极短文本等场景有局限。
无需人类插手!AI战队自主进化,人类玩家瑟瑟发抖
论文《Agents of Change: Self - Evolving LLM Agents for Strategic Planning》以桌游《卡坦岛》为“考场”测试AI战略能力。研究团队设计四代AI特工,实验显示能自我进化的AI完爆静态AI,不过也存在计算成本高、依赖基础模型等问题。
ChatGPT Images 2.0震撼发布!碾压谷歌Nano Banana,设计真要完了
北京时间凌晨3点,OpenAI发布ChatGPT Images 2.0,是先进模型,能处理复杂视觉任务。它精度控制力高、多语言能力强,风格表达成熟,支持多种宽高比,有现实世界理解能力等,已向相关用户开放,但也有局限性。
超越MLA!新架构MLRA百万token,解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时,自回归生成受限于显存带宽。为减少KV缓存开销,业界尝试多种方法,但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA,拆分KV缓存为四个并行分支,降低显存占用,实现4路张量并行,性能更优。
R1/Qwen训练新范式:无需继续训练,直接“算”出权重,提效500%
DeepSeek - R1爆火让RLVR成大模型后训练焦点,但训练代价高昂。学者发现RLVR中LLM权重和输出概率呈线性变化,提出“权重外推”等方法,实现最高6.1倍训练加速,RL - Extra在多榜单展现高效率。
Andrej Karpathy 盛赞!斯坦福团队新作,让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”,把推理延迟大幅降低,显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效,提出Megakernel以重构执行方式。
中兴发了一篇论文,洞察AI更前沿的探索方向
当大模型参数量冲向万亿级,AI 行业面临瓶颈。中兴通讯发布论文剖析困境,勾勒前沿方向。文中分析了 LLM 现状、架构瓶颈、AGI 争议等,还阐述了改进优化措施及下一代计算范式发展趋势,介绍了中兴的探索实践。
Temperature Scaling可大幅提高Test-Time Scaling瓶颈!
大型语言模型解决复杂推理问题时,测试时扩展(TTS)是提升性能的途径之一。但传统TTS依赖增加样本数量,性能提升有瓶颈。本文提出温度缩放新思路,实验表明其能大幅提升性能,还给出降低成本方法。