搜索：安全训练 - AI Reading Hub

「安全训练」共找到 2967 篇相关文章

AutoResearch-LLM：让 Agent 接手 LLM 训练优化

本文是 LLM 微调 AutoResearch 落地实战。作者将电商场景 Qwen3 微调流水线沉淀成 Agent 驱动的三阶段框架，还分享踩坑经验。思路方法与平台无关，可类比到外部环境，适合关注 AI Coding 等的同学。

阿里开源新项目ROCK，解决了智能体无法在真实环境中规模化训练的难题。它与阿里此前的RL训练框架ROLL配合，构成完整的智能体训练闭环，推开了Agentic AI规模化应用的大门。

OpenAI在连遭安全指控后，豪掷约389万元+股权急招安全防范负责人，要制定执行安全防范框架。此前其安全团队负责人更迭频繁，此次招聘是否‘应激之举’待商榷。

卡耐基梅隆大学研究者构建基于GSM - Infinite的可控合成数据框架，分析预训练、中期训练和RL对模型推理泛化能力的影响，调和了RL有效性的不同观点，为改进训练策略提供基础。

智能体发展带来诸多安全问题，仅靠外部防护不合理。Simon Willison总结其致命三要素，指出间接提示词注入攻击难防。Invariant Labs等提出六种安全设计模式，可综合使用，多LLM方法值得关注。

Fortune爆出Anthropic因CMS配置失误，致新模型Claude Mythos信息泄露。该模型有阶跃式进步，在多领域表现超前代，网络安全能力突出。此事反映AI迭代快但安全待提升，安全成模型评估关键。

文章总结拓展Andrej Karpathy教学视频，分析大模型聊天流程与原理，介绍LLM训练步骤，包括预训练、后训练和强化学习，还提及主流特性应用，如文件上传、网络搜索，强调带问题学习的重要性。

OpenAI发论文揭示语言模型出现幻觉的根本原因，即训练和评估过程奖励猜测而非承认不确定性。预训练阶段就埋下幻觉种子，后训练阶段‘考试机制’强化幻觉，还给出改评分规则的解法。

Claude Code上线官方安全插件security - guidance，能在写代码时自动识别并修复安全漏洞。它分三层防线，覆盖多种漏洞类型，还支持自定义安全策略，安装方便，但只是辅助工具。

2026年7月ICML大会上，小米MiMo团队负责人罗福莉介绍MiMo - V2.5系列。该系列跳出传统思路，从架构、训练、推理协同设计，实现“聪明、快速、便宜”，如预训练降成本、后训练有硬核算法、推理加速达1000 TPS。