「上下文依赖」共找到 1095 篇相关文章
语言反思>强化学习:伯克利新架构碾压传统RL
大型语言模型下游任务优化依赖强化学习,但计算成本高。伯克利等机构论文提出GEPA新型优化器,将LLM执行轨迹转化为诊断信号,用语言反馈替代标量奖励,仅用传统方法1/35计算量,性能最高提升19%。
差点被Ilya摁掉,胎死腹中!ChatGPT爆红内幕首次公开
本文深度揭秘ChatGPT爆红内幕,从产品发布、命名内幕到团队文化等方面展开。还提及OpenAI内部对发布的争议,以及ChatGPT发布方式的转变,同时指出依赖用户反馈改进模型存在的问题和OpenAI看重的人才特质。
合成数据>人工数据,绝对性能暴涨超10个点!仅需任务定义,高效微调大模型
为解决基础模型在专业领域表现不佳、依赖人工标注数据的难题,北大、MIT等机构提出「合成数据强化学习」框架。该框架仅需任务定义,能生成合成数据微调模型,在多领域基准上性能提升显著,代码已开源。
无需标注和奖励模型!仅靠自信度RL,16个样本训练20步,效果飙升21%!
论文提出RLSC,让大语言模型用自身答案置信度作奖励信号,摆脱人类标注依赖。它以模型自信度内部信号替代多数投票外部信号,小成本提升模型数学能力,还让模型学会快推理,不过也存在安全隐忧。
多模态扩散模型开始爆发,这次是高速可控还能学习推理的LaViDa
近期基于扩散模型的视觉 - 语言模型 LaViDa 出现,它继承扩散语言模型优点。与自回归模型不同,扩散模型能并行、处理双向上下文。LaViDa 在多任务测试有竞争力,推理蒸馏和文本填空表现好,还能权衡速度与质量。
不再“纸上谈兵”:大模型能力如何转化为实际业务价值
InfoQ《极客有约》X AICon 直播栏目邀华为云郑岩、蚂蚁集团杨浩、明略科技吴昊宇,探讨大模型驱动业务提效。分享场景探索、技术落地经验,如选模型考量因素、AI Agent 创新等,还提及 MCP 应用与未来展望。
我用 GLM-5.2 读 148 万字资料:一天读懂一个知识
作者用 GLM-5.2 处理 148 万字 Transformer 资料,它生成可打开的 HTML 阅读页,将内容排成理解路线。GLM-5.2 在评测榜单中进入第一梯队,主打 1M 上下文,还分享了使用该模型处理资料的具体做法。
公里级场景也能稳住了,国产团队把长视频3D重建又往前推了一步
浙江大学、地平线机器人和之江实验室的新工作 Scal3R 要解决长视频 3D 重建问题。它借助 test - time training 技术,设计全局上下文模块和同步机制,提升长序列重建稳定性和精度,能处理超万帧几千米的场景。
生成式推荐补上关键一环!语义ID首次实现可微分联合优化 | SIGIR'26
生成式推荐依赖语义ID,可现有语义ID常先学好再冻结,与推荐目标不一致。论文DIGER首次将可微分语义索引机制引入生成式推荐框架,让推荐损失参与语义ID学习,还设计策略解决训练问题,实验表现佳。
Memento-Skills VS OpenClaw 不改模型也能进化
Memento - Skills让AI Agent自己设计自己,通过部署时学习进化,不动模型参数,将经验写进技能库。经测试,在HLE和GAIA基准测试中准确率大幅提升,与OpenClaw等定位不同,有多种部署方式,不绑定模型。