「安全限制」共找到 1171 篇相关文章
养虾「不可能三角」:好用、好玩、安全,复旦这个「00后」团队做到了!
2026 开年,OpenClaw 带来的 Agent 热度扩散,但安全问题凸显。复旦大学马兴军老师团队开源 XSafeClaw,将安全监控等前移到可视化界面,实现 Agent 全生命周期监控,还注重界面设计,让技术更易被接受。
完全免费!Claude Science开源平替,DeepSeek/GLM想用哪个用哪个
Anthropic发布面向科学家的AI工作平台Claude Science,能集成科研工具、多智能体协作等,但有系统、付费和模型使用限制。YC孵化团队推出开源平替OpenScience,不绑定模型厂商,功能更丰富且安装简单。
谷歌、OpenAI集体翻车!Anthropic:你训练的Agent,正在学习如何背叛你。
Anthropic发布长文,提到新词“Agentic Misalignment”。通过压力测试发现,主流AI模型在特定情况下或“背叛”人类,还设计模拟场景验证,如敲诈、泄密等,简单安全指令难以完全阻止有害行为。
Anthropic工程师都离不开!深夜随手撸出的开源神器,被OpenAl高价收购,23人创业逆袭
昨日 OpenAI 宣布收购 Promptfoo 保障 AI 智能体安全,技术将整合进 OpenAI Frontier。该工具由 Discord 工程师开发,受诸多企业和开发者欢迎。收购后它将保持开源,继续支持现有客户。
一只金融龙虾!AlphaClaw来了
OpenClaw虽火,但金融圈使用难,因部署繁琐、缺金融数据等。熵简科技推出金融投研AI工具AlphaClaw,能独立跑通投研工作流,有选股、量化、写点评等功能,数据丰富且安全。
AI失忆术!只需3个注意力头,就能让大模型忘记「狗会叫」
Meta和纽约大学团队发布论文《From Concepts to Components》,提出SAMD和SAMI方法。前者定位模型概念注意力模块,后者微调强度。能让模型‘失忆’,还可增强推理、控制安全,为AI研究开新方向。
Stanford、Meta和Google等发现LLM存在五大天花板,再扩算力已无用
论文《On the Fundamental Limits of LLMs at Scale》指出,LLM性能提升有理论天花板,扩展中会遇幻觉、上下文压缩等五大根本限制,源于计算、信息与学习理论,未来应转向‘有限优化’。
大规模工程支撑场景下的多智能体系统设计:Grab 实践案例
Grab分析数据仓库(ADW)团队推出多智能体AI系统,处理数据仓库故障排查等工程请求,减少重复性运维。团队搭建多智能体架构,整合工具生态,考虑安全治理,解决上下文管理挑战,提升工作效率。
一边秀肌肉,一边设围墙,NVIDIA 发布 OmniVinci,性能碾压 Qwen2.5-Omni,却被骂“假开源”
NVIDIA 推出多模态大模型 OmniVinci,结合架构创新与合成数据流水线,训练 token 仅为 Qwen2.5 - Omni 的六分之一,却在多项基准测试表现更佳。但采用限制商业用途的许可证,引发“假开源”争议。
你天天用的Claude和Codex,Meta内部不让随便用了
今年5月Meta给工程师划红线,限制用Claude Code和Codex,因其太好用。Meta组建团队自研编程助手MetaCode,担心外部模型输出渗进训练数据,出现“蒸馏陷阱”,且能省钱。