「安全研究」共找到 2667 篇相关文章
为老父亲做的桌面 Agent，不小心在 GitHub 霸榜一周
OpenHuman是TinyHumans AI构建的开源桌面AI Agent，登上GitHub榜单并霸榜一周。它想成桌面级个人AI操作系统入口，但使用体验与愿景有差距，工程架构有亮点，也存在安全风险，其产品哲学有价值但执行粗糙。
Anthropic 的 Harness 哲学：把 Agent 当牲口，而非宠物
本文分享Anthropic最新两篇博客，介绍其将运维圈“宠物 vs 牲口”哲学用于AI Agent架构设计。旧架构如“宠物”易出问题，新架构脑手分离，把Harness做成可随时重启的“牲口”，降低延迟、提升安全，还提出信任框架。
拿下五角大楼大单后，OpenAI被曝开始向北约推销军事化AI
刚拿下五角大楼大单，OpenAI 转头向北约推销军事化 AI。其 CEO 奥特曼称要覆盖北约「所有机密网络」，后解释为「非机密网络」。Anthropic 因坚守安全红线被国防部出局，OpenAI 却拥抱军工，其「护栏工程学」难控风险。
中科院信工所发布首篇LLM智能体幻觉综述！梳理5类幻觉、18大诱因与10种缓解方案，300+论文资源开源
中科院信工所等机构团队发布首篇聚焦LLM智能体幻觉的综述，厘清其与传统语言幻觉区别，提出5类幻觉分类体系和18大触发原因，给出10种缓解策略，还开源300+论文库并指明未来研究方向。
首个代码世界模型引爆AI圈，能让智能体学会「真推理」，Meta开源
Meta重组后的AI部门推出首个代码世界模型CWM，是320亿参数开放权重LLM。它与传统大模型思路不同，能模拟代码执行。CWM在通用编程与数学任务表现不错，Meta还开放相关检查点以支持研究。
谁为 Data Agent “买单”？
Kyligence联合创始人李扬围绕AI数据智能体服务对象及带来的转变分享思考。它能解决领导数据客观性、时效性等问题，也助分析师深入研究，最大价值是让业务人员从0到1用上数据，推动企业数智化转型。
LeCun亲自出镜打脸质疑者！憋了20年的AI世界模型，终于爆发了
LeCun亲自出镜介绍V-JEPA 2新进展，目标是开发改变AI与物理世界交互的世界模型。V-JEPA 2基于视频训练，有两阶段训练细节，能用于机器人规划，Meta还发布三个基准测试，后续将研究分层和多模态JEPA模型。
首次曝光！OpenAI新一代旗舰Astra换上“循环深度”推理架构：用计算深度换参数规模
9月2日消息，OpenAI将推出的旗舰模型Astra采用“循环深度”新技术，用较小模型实现庞大模型性能，降低成本。但该技术会让AI推理过程不可读，加重安全担忧，此前奥特曼已因Astra“能力过强”踩刹车。
中国人能飞！杭州发布全球首款站姿载人飞行器
杭州酷飞发布站姿个人飞行器Urban、坐姿个人飞行器Dream及自研NA80飞控系统。产品操作简便，已获海外近百台定金订单，还构建了安全防护体系并补齐保险。两款飞行器定位不同，核心是自研飞控。
Auto Research时代，47个没有标准答案的任务成了Agent能力必测榜
Einsia AI旗下Navers lab发布Agent Benchmark——Frontier-Eng Bench，让AI在47个多学科交叉的硬核任务中做工程优化，测试其迭代优化能力。研究总结出AI进化规律，初步勾勒接近真实工程循环的AI系统。