「LoRA训练方法」共找到 3289 篇相关文章
DeepSeek开源MoE新利器LPLB：基于线性规划，专攻训练动态负载不平衡
DeepSeek在GitHub开源LPLB，这是基于线性规划的并行负载均衡器，用于优化MoE模型专家并行工作负载分配。它通过动态重排序、副本构建等机制实现动态负载均衡，支持多种拓扑结构，但也存在成本估算等局限性。
Karpathy「疯狂之作」：100美元、4小时，就能训练你自己的「小型GPT」
AI传奇人物、前特斯拉AI总监Karpathy推出开源项目「nanochat」，以不到8000行代码复现ChatGPT全流程，只需一台GPU、约4小时、成本仅百美元。项目在GitHub上线不到12小时获4.2k星标。
英伟达、港大等发布创新KV缓存，实现扩散模型无训练加速
多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。
谷歌、OpenAI集体翻车！Anthropic：你训练的Agent，正在学习如何背叛你。
Anthropic发布长文，提到新词“Agentic Misalignment”。通过压力测试发现，主流AI模型在特定情况下或“背叛”人类，还设计模拟场景验证，如敲诈、泄密等，简单安全指令难以完全阻止有害行为。
字节Seed提出序贯策略优化方法，突破同传“质量-延迟”权衡问题
AI字幕质量和延迟难平衡是业界老问题。香港中文大学、字节跳动Seed和斯坦福大学研究团队提出序贯策略优化框架SeqPO - SiMT，在70亿参数规模实现SOTA，翻译质量媲美Qwen - 2.5 - 7B离线水平。
无需训练！让VLM同时具备「视觉」与「推理」能力，数学题得分暴涨30%
当前视觉语言模型（VLM）像‘视力好但数学差的学生’，论文指出问题根源是数据不足和能力分布不均。提出‘模型合并’方案，实验显示在数学基准测试中表现亮眼，还通过实验揭示层间能力分布。
软体机器人控制难题获解，比传统方法节能75倍，还能闭眼干活
美国两校研究人员结合生物学与人工智能工程学，用‘神经储备池’技术控制生物混合软手臂，实现稳定追踪、自我感知和低能耗运行，还在多方面展现优势，目前研究处于仿真阶段。
AST | 西工大马龙、邬晓敬等：几何特征知识驱动的代理优化方法
机器学习为气动外形设计提供新方法，但高效挖掘利用几何与气动数据知识是难题。本文提出气动监督自编码器架构，利用小样本气动数据监督学习几何特征，嵌入优化框架提升样本质量及优化效率，经翼型和机翼验证有效。
Meta华人新秀毕树超，重磅爆料下一代LLM路线！RL+预训练直通AGI
OpenAI前研究员、Meta成员毕树超在哥大演讲指出，AGI需高质数据、好奇驱动探索与高效算法，Scaling Law有效，规模决定智能，终身学习是重点，还探讨了AGI面临的诸多问题与挑战。
大模型如何"不训练"也能学习？——上下文学习的隐式权重更新机制
大型语言模型能通过上下文学习（ICL）在推理时即时学习新任务，无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新，解释了ICL原理，为构建AI系统开辟新路径。