「长文本训练」共找到 2925 篇相关文章
揭秘LLM“思考”之谜：推理即“梯度下降”，元学习框架解构训练过程，还给优化提供新思路
上海AI Lab团队提出RaML框架，从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性，还对比不同训练策略，指出RaML为优化LLM性能提供新思路。
正交化之外是什么？微软等提出ARO优化器：训练提速1/3，揭示矩阵优化新「蓝海」
微软研究院联合多校发布论文，提出新优化器 ARO。它将梯度旋转作为原则，能让大模型训练提速约 1/3，比 Muon 高效 10% - 15%，还能全模型优化，揭示了矩阵优化新方向。
大神Karpathy炮轰复杂UI应用没有未来，Adobe首当其冲，网友：不提供文本交互，就是在阻挡AI浪潮
大神Karpathy预言只有复杂UI界面、不提供文本交互的应用将被淘汰，还点名Adobe、CAD。他言论引发讨论，支持者强调后端接口，反对者认为专业软件有其价值。此外，他还批判大模型编程‘重生成轻判别’。
卡帕西630行代码炸出81个智能体，4天协作跑2333次实验，公布预训练十大发现
Karpathy的Autoresearch项目630行代码让AI自主实验，提升语言模型训练效率。全球开发者让多智能体协作，智能体自发形成同行评审制度。项目发起者公布十大发现，还衍生出表现出色的auto - discovery项目。
字节Seed新方法！开源8B代码模型：自己筛数据训练自己，同量级SoTA，还能超越百亿级对手
传统code大模型依赖人工筛选数据，成本高、效率低。而Seed - Coder团队让LLM自己筛选数据训练自己，打造8B参数轻量级开源代码模型，性能超百亿级对手，不过也存在通用和数学能力短板。
速递｜前字节Seed强化学习专家孙鹏加入星尘智能，将大模型后训练经验带到物理世界
9月2日消息，前字节跳动Seed团队强化学习专家孙鹏博士加入星尘智能，负责机器人强化学习方向。星尘智能有技术、资本和商业优势，孙鹏经验丰富，此次加入将助力其强化学习后训练发展。
美团龙猫LongCat技术升级！新注意力机制解码速度快10倍，还能处理1M超长文本
美团龙猫LongCat系列发布全新稀疏注意力机制LoZA，重点解决长文本任务难题。它在MLA机制基础改造，计算复杂度降至线性，处理128K上下文解码快10倍，性能不缩水，后续还计划支持动态稀疏比例。
国产类脑大模型适配国产沐曦GPU！长序列推理提速超百倍，仅用2%数据匹敌主流模型
中国科学院自动化所李国齐、徐波团队发布类脑脉冲大模型SpikingBrain (瞬悉)-1.0，借鉴大脑信息处理机制，适配国产沐曦GPU，长序列推理提速超百倍，仅用2%数据匹敌主流模型，探索构建国产自主可控类脑大模型生态。
用得越多、失业越快？GitHub 大改 Copilot 规则：默认拿个人代码训练 AI，还搬出 Anthropic 挡枪！
当地时间3月26日，GitHub宣布自4月24日起，Copilot Free、Pro和Pro+用户交互数据默认用于训练改进AI模型，但用户可手动退出。它称此举因模型需更多数据，还拿微软等挡枪，却遭开发者吐槽。
交互扩展时代来临:创智复旦字节重磅发布AgentGym-RL，昇腾加持，开创智能体训练新范式
强化学习之父指出人工智能迈入「经验时代」，在此背景下，复旦、创智、字节研究者发布 AgentGym - RL 框架。它是全新端到端 RL 框架，提出 ScalingInter - RL 方法，7B 模型经训练追平顶尖商业模型，为 AI 发展注入动力。