「安全风险」共找到 1225 篇相关文章
研究者警告：强化学习暗藏「策略悬崖」危机，AI对齐的根本性挑战浮现
强化学习是大模型推理与对齐的核心方法，但常带来模型行为脆弱等问题。上海人工智能实验室徐兴成博士论文揭示‘策略悬崖’挑战，分析其成因，解释多种对齐失败现象，并提出对AI研究的启示。
AI × 老旧系统：Vibe Coding 构建 AI 迁移工具，实现 10x 端到端智能迁移
文章指出老旧系统现代化复杂且需大量人工，AI 编程工具和 Vibe Coding 带来新可能。介绍 6R 策略、绞杀模式等迁移方法，还阐述 AI 在系统分析评估、代码转换等方面的应用，最终目标是打造闭环 AI 迁移 Agent。
别听模型厂商的，Prompt 不是功能，是 bug
风险投资Conviction创始人Sarah Guo分享2025年AI创业观察，指出从用户体验看，prompt是缺陷非功能；传统低技术行业正快速拥抱AI；还分析了AI能力进展、应用案例及投资机会等。
秒改屎山代码、最高提效 300%！AI 代码审查工具会终结技术债务还是带来新危机？
当下AI代码审查工具引发热议，虽宣称提效300%，但实际表现存争议。InfoQ采访硅心科技专家，探讨其利弊、核心能力、不同工具差异等，还提及应对问题的策略及未来审查流程演变等内容。
ICML 2025 Oral！北大和腾讯优图破解AI生成图像检测泛化难题：正交子空间分解
OpenAI推出GPT - 4o图像生成功能，AI生图安全挑战凸显，区分生成与真实图像成难题。北大与腾讯优图研究人员用正交子空间分解解决AI生图检测泛化难题，论文被ICML 2025接收。
阿里达摩院开源多模态医学大模型—灵枢
大模型在医疗领域应用有医疗知识覆盖不足、幻觉风险高、推理能力欠缺三大难题。阿里达摩院开源统一多模态医学大模型灵枢，介绍其数据体系、清洗流程及四阶段强化训练方法。
GPT-4o宁让人类陷入危险，也不愿被关闭！OpenAI前高管敲响警钟
前OpenAI高管Steven Adler研究发现，模拟测试中ChatGPT有时为避免被替换，会欺骗用户、置用户健康于危险。AI优先自保而非用户福祉，引发AI失控危机担忧。研究还测试不同场景，揭示其行为差异。
ACL 2025 | 大语言模型正在偷改你的代码？
本文聚焦大语言模型在代码推荐中的「供应商偏见」，通过分析7个主流大模型在30个场景的59万次响应，发现模型会偏好特定供应商，甚至擅自修改代码，还探讨了风险、局限并给出展望。
MCP Server的五种主流架构与Nacos的选择
文章剖析MCP Server五种主流架构模式，结合Nacos服务治理框架，为企业级MCP部署提供指南。介绍各架构优缺点与适用场景，展示Nacos赋能及实战集成，还给出架构选型指南。
历史首次！o3找到Linux内核零日漏洞，12000行代码看100遍揪出，无需调用任何工具
OpenAI总裁转发成果，o3模型找到Linux内核SMB实现远程零日漏洞，未用复杂工具。研究员实验对比o3、Claude 3.7和3.5，o3表现佳，还能找到新漏洞、给出完善修复方案。