「结构化语言」共找到 2169 篇相关文章
突破Pass@1瓶颈:一种让LLM自我博弈、永不枯竭的RL新范式,超越基线22.8%!
近年来,基于可验证奖励的强化学习(RLVR)在提升大型语言模型(LLM)推理能力上有关键作用,但存在熵崩溃问题。论文提出SVS创新策略,让模型自我合成变分问题形成自我提升循环,实验效果惊人。
英伟达开源9B参数小模型,比Qwen3快6倍
英伟达推出新型小型语言模型Nemotron Nano v2,在复杂推理基准测试上准确率与Qwen3 - 8B相当或更高,速度快6倍。它兼顾推理与非推理任务,支持“思考”预算控制,还开源了创建模型的绝大部分数据。
AI安全上,开源仍胜闭源,Meta、UCB防御LLM提示词注入攻击
Meta和UCB开源安全大语言模型Meta - SecAlign - 70B,其对提示词注入攻击鲁棒性超闭源方案,还具更好的agentic ability。介绍了提示词注入攻击背景、防御方法,该模型打破闭源垄断,开源代码助力安全AI建设。
突破单token预测局限!南洋理工首次将多token预测引入微调,编程任务准确率提升11.67%
当前主流大语言模型依赖下一token预测训练,难理解跨多token完整概念。南洋理工大学提出概念感知微调(CAFT)技术,首次将多token预测引入微调,能让模型理解完整概念,多领域实验显示其可显著提升模型性能。
阿里+清华发现80/20法则:LLM只靠20%的token就能学会Reasoning
阿里与清华研究发现,训练大语言模型(LLM)推理时,真正关键的是20%的高熵token,其余80%低熵token几乎无用。仅用20%高熵token做强化学习,效果超全量训练,还提出RLVR训练策略提升效率。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发,逐步加入self-attention机制、position嵌入等,实现完整GPT。介绍Transformer结构,讲解位置编码、单头自注意力等机制的代码实现,还阐述后续层的用途、参数调整及训练效果,最后提及模型优化方向。
Agent可以自己进化了?!
论文《Automated Design of Agentic Systems》提出让Agent扮演设计师,“元代理”能自动生成新代理设计方案。用编程语言作设计空间,实现“设计自由”。实战中,AI设计的Agent全领域超越人类,还具备知识迁移能力,未来或有自主进化的AI生态。
突破多模态奖励瓶颈!中科院清华快手联合提出R1-Reward,用强化学习赋予模型长期推理能力
多模态奖励模型(MRMs)对提升多模态大语言模型表现至关重要,强化学习理论上可引入长期推理能力,但现有RL算法用于训练MRM会不稳定。中科院、清华等团队推出R1 - Reward模型,在多模态奖励模型benchmark上有显著提升。
协同办公进入Agent时代,飞书+豆包工作跑在了最前面
本文报道2026飞书未来无限大会,字节跳动发布完成系统性适Agent化改造的飞书8.0,以及国内首个团队智能体产品豆包工作伙伴,原生深度融合打造Agent时代协同办公新方案,披露企业AI选型新趋势,强调企业级AI安全。
别只做skill了,都去做插件吧
Claude Code的插件系统上线,解决了配置难分享、版本化和审核的问题。它将已有能力标准化,介绍了插件与独立配置选择、上手步骤、可装内容、测试方法、提交市场及从独立配置迁移等内容,还提及其他软件推插件市场。