「不对称训练」共找到 3316 篇相关文章
星海图高继扬:具身智能下半场,应用为王
星海图CEO高继扬在AGI Playground大会分享具身智能观点,认为2026年是下半场,核心是应用。具身智能发展慢因缺高质量数据和合适本体,未来产品形态或为‘整机+预训练模型+后训练工具’,下游将形成大生态。
一篇多模态大模型推理技术最新综述
华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展,涵盖关键算法设计、奖励机制创新及实际应用,探讨了RL在LLMs/MLLMs中的关键设计与优化策略,还涉及多模态大模型推理多方面内容。
苹果提出原生多模态Scaling Law!早融合+MoE,性能飙升秘密武器
如今打造强大多模态模型是AI重要目标,常用方法有局限。法国索邦大学、苹果研究人员开展原生多模态Scaling Laws研究,对比早融合与后融合,探讨多种因素对模型性能影响,发现早融合、多模态MoE优势,为后续研究指明方向。
只需一次指令微调,大模型变身全能专家天团,8B模型性能反超全微调基线 | ACL25 Oral
预训练大模型适应专业领域需高昂微调成本,稀疏混合专家架构虽能提升推理效率,但从头训练耗资源。浙大与Thomson Reuters团队提出SIMoE,单阶段微调就能升级大模型,还解决传统方法两大局限,在性能和效率上双突破。
苹果提出新型反向传播:一台iPhone 15 Pro Max就能微调LLM
苹果提出内存高效型反向传播(MeBP),可在内存使用量和计算时间上比零阶优化(ZO)有更好权衡,收敛更快、性能更优,还在iPhone 15 Pro Max验证其有效性,且公开了实现链接但目前为空。
刚刚!AI 圈顶流 Karpathy 三连击:开源、泼冷水、AI 教育~
10月,AI圈顶流Andrej Karpathy有三连动作:开源nanochat项目,100美元可复刻ChatGPT;发表AGI十年论,给行业泼冷水;推进Eureka教育项目,重构AI教育范式。
AI Agent的上下文工程:构建Manus的经验教训
上下文工程是AI智能体的“系统一”,决定其速度、恢复力与扩展边界。Manus通过试错与用户验证,给出可复用经验,如利用大模型“上下文学习”能力、关注KV - cache命中率等。
陶哲轩DeepMind梦幻联动,最强通用科学Agent来了!一口气解决芯片设计、矩阵乘法和300年几何难题
谷歌DeepMind与陶哲轩等打造的AlphaEvolve是LLM驱动的进化编码Agent。它能优化计算生态、调度数据中心等,还解决了数学难题,已在谷歌内部使用,现开启早期邀测试用。
2w+ star,和claude对着干,牛皮!
Anthropic 给 Claude 生成文字添加水印,方式独特且难去除。`watermarks-remover` 项目应运而生,针对不同水印机制分层处理,兼容多格式文件,有多种安装使用方式,还明确告知能力边界。
切开Claude大脑,Anthropic称发现了一个类似人类意识的内部空间
Anthropic在Claude模型中发现J空间,其与人类大脑全局工作空间理论相似,承载特殊内容且可干预、参与多步推理等,但模型和人脑有差异,研究也有局限性。