「安全训练」共找到 2964 篇相关文章
从RLHF、PPO到GRPO再训练推理模型,这是你需要的强化学习入门指南
强化学习是当今LLM重要技术,Unsloth团队发布教程,从吃豆人谈起,介绍RLHF、PPO到GRPO,分享用GRPO训练推理模型技巧,涵盖相关概念、训练方法及奖励函数设计等内容。
无需人工标注!AI自生成训练数据,靠「演绎-归纳-溯因」解锁推理能力
新加坡国立大学等机构研究者提出元能力对齐训练框架,模仿人类推理心理学原理,将演绎、归纳与溯因能力融入模型训练。实验显示,该方法提升模型在多任务上的性能,且有跨领域可扩展性。
535B大模型“直播”训练三个月:代码、数据、Loss全公开,吴恩达公开力挺
当多数模型公司还在争论是否开放权重时,斯坦福大学的Marin项目启动535B-A23B模型训练,并公开训练过程。该项目旨在探索基础模型能否像开源软件一样被公开研究和建设,引发关注。
千卡集群破壁之道:vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长,但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲,结合 LLaVA 和 DiT 模型实践,解析优化策略,分享提升训练效率与稳定性的经验,还展望了 AI Infra 未来。
Google开源黑科技!不用训练的时间序列预测模型,17.9K Star 疯狂追捧!
Google Research团队开源的TimesFM时间序列预测模型获17.9K Star。它零训练、开箱即用,基于1000亿时间点预训练,涵盖多场景数据,还能给出置信区间,已集成到Google多个产品。
李飞飞团队新作:DiT不训练直接改架构,模型深度减半,质量还提高了
本文介绍「嫁接」技术,可在小计算预算下编辑预训练 DiTs 探索新架构。不从头训练,替换算子创建混合架构,保持质量同时减少计算量。还通过实验展示该技术在构建高效架构和文生图模型中的效果。
求稳的安全IP,安谋科技如何守正出奇?|甲子光年
12月24日,安谋科技推出新一代SPU IP——“山海” S30FP/S30P,给出面向高性能计算芯片的全栈安全解决方案。该方案从硬件IP层、软件中间件到云端服务构建一栈式安全防护体系,有五大核心亮点。
OpenAI Astra被曝引入「循环深度」能力飙升!安全专家坐不住了
OpenAI 最强新模型 Astra 或即将发布,它是首个达「关键级」网络安全能力门槛的模型,在测试中表现优异。《The Information》爆料其用「循环深度」技术,能力提升但引发安全专家担忧,该技术可使模型内部计算增多,思维链监控或失效。
打破资源瓶颈!华南理工&北航等推出SEA框架:低资源下实现超强多模态安全对齐
本文介绍北航彭浩团队的 SEA 框架,针对多模态大模型低资源安全对齐难题,用合成嵌入替代真实数据,突破资源瓶颈。还构建 VA - SafetyBench 评估安全风险,实验验证了 SEA 低资源、高泛化优势。
昇腾+鲲鹏联手上大招!华为爆改MoE训练,吞吐再飙升20%,内存省70%
最近华为在MoE训练系统给出算子和内存优化新方案,三大核心算子全面提速,系统吞吐再提20%,Selective R/S实现内存节省70%,为大规模MoE模型训练扫清障碍。