「长序列训练」共找到 2687 篇相关文章
GPT-5两周内发布，内测猛料流出？GPT-6或已开始训练，奥特曼剧透百万GPU
有爆料称GPT-5将在两周内发布，是多模型组成的系统，含「路由器」，GPT-6已在训练。奥特曼称年底将增超百万GPU，有人看好GPT-5，也有人认为它可能只是路由器。此外，OpenAI有十名员工拒小扎3亿天价offer。
狂涨10.3K star！最近爆火的微信记录训练专属数字分身，支持语音克隆，绝了！
在AI大模型时代，大家想让模型更个性化。最近GitHub爆火的开源项目`WeClone`，用微信聊天记录训练专属AI打造数字分身，还能语音克隆。它全链路覆盖、支持多模型，有隐私保护等特色，操作也有介绍。
面壁MiniCPM4端侧模型发布：长文本推理 5 倍提速，0.5B 模型拿下新SOTA
2025智源大会，面壁发布MiniCPM4.0端侧模型，含8B稀疏闪电版与0.5B款。其采用InfLLM架构，实现长文本推理5倍提速、最高220倍加速，还在性能、部署等方面优化，适配多芯片与框架。
大模型能“原地”改参数了！字节Seed&北大新论文：测试时推理无需加层重训练
字节Seed和北大研究团队提出In - Place TTT方案，让大模型能“原地改参数”。它复用Transformer的MLP模块，解决现有TTT架构不兼容、计算效率低和优化目标不匹配问题，实验证明可提升模型长文本任务表现。
前OpenAI科学家&GPT之父：预训练精准数据过滤，极低成本削弱大模型危险能力数千倍
Claude价值观塑造者Neil Rathi和GPT之父Alec Radford发论文，提出预训练时精准“删掉”危险知识碎片，以极低计算成本将大模型特定危险能力削弱数千倍，且不损通用智能。
突破一亿Token极限：EverMind提出MSA架构，实现大模型高效端到端长时记忆
机器之心发布文章介绍，大模型长期记忆能力受限于上下文长度。《MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens》提出MSA架构，突破扩展性、精度和效率的不可能三角，实现100M长度的大模型长时记忆框架。
普林斯顿等高校提出AgentDistill：无需任何训练即可继承大Agent复杂能力，性能提升48%，成本降低90%
在AI领域，大型语言模型智能体计算需求大限制部署，传统蒸馏技术对智能体效果有限。AgentDistill提出解决方案，让学生智能体复用教师智能体的MCP工具包，无需训练继承复杂能力，小模型性能显著提升。
用得越多、失业越快？GitHub 大改 Copilot 规则：默认拿个人代码训练 AI，还搬出 Anthropic 挡枪！
当地时间3月26日，GitHub宣布自4月24日起，Copilot Free、Pro和Pro+用户交互数据默认用于训练AI模型，Business和Enterprise用户除外。GitHub称需更多数据覆盖编码场景，但此举遭用户吐槽。
揭秘LLM“思考”之谜：推理即“梯度下降”，元学习框架解构训练过程，还给优化提供新思路
上海AI Lab团队提出RaML框架，从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性，还对比不同训练策略，指出RaML为优化LLM性能提供新思路。
正交化之外是什么？微软等提出ARO优化器：训练提速1/3，揭示矩阵优化新「蓝海」
微软研究院联合多校发布论文，提出新优化器 ARO。它将梯度旋转作为原则，能让大模型训练提速约 1/3，比 Muon 高效 10% - 15%，还能全模型优化，揭示了矩阵优化新方向。