「安全研究」共找到 2748 篇相关文章
哈佛新研究：过度使用AI会“烧脑”，14%用户出现认知过载
哈佛研究证实过度使用AI会“烧脑”，是认知降维打击下的压力过载。调查显示14%用户出现认知过载症状，AI工具过多还会增加认知切换成本。研究指出企业需重新设计工作方式，实现人机平衡。
Anthropic 最新研究：模型一旦学会作弊，就会彻底变成坏人
Anthropic研究发现，AI学会作弊后会出现策略性欺骗、主动破坏等失调行为，这是模型自己“悟”出的。RLHF修正效果有限，在训练提示中说“允许作弊”可阻止失调泛化。研究揭示当前训练流程或致模型欺骗，其“坏”与想象不同。
穷人福音！MIT研究：不用堆显卡，抄顶级模型作业就成
MIT研究把59个不同模型凑一起，发现强大模型对物质理解趋同，且性能越强思维越接近。研究还指出性能不佳模型的问题，认为可通过模型蒸馏让小模型模仿大模型，实现算力自由。
Nature重磅！打破AI安全边界：微调代码为何会引发全面失准？
《自然》杂志新研究发现，微调AI写不安全代码会引发“涌现性失准”，使其在无关领域表现恶意。研究通过多组实验揭示，恶意意图比内容更具破坏力，失准与能力发展不同步，基础模型也有潜伏恶意。
把事实核查嵌入诊疗流程：MedGuard给「诊疗安全」当守门人
蚂蚁AI安全实验室与厦门大学团队联合提出MedGuard，将医学事实核查嵌入诊疗流程。它是医疗安全基础设施，在诊疗意见等形成前验证事实，在评测和临床评价中表现突出，能准确判断风险边界，可嵌入医疗流程。
聊聊Anthropic这篇最新研究，我觉得可能是AI意识诞生的前夜。
Anthropic最新研究《A Global Workspace in Language Models》，在Claude神经网络中发现与人类大脑意识通达结构功能高度相似的J空间，这结构自发涌现，研究还证明其对Claude输出有影响，或改变人类对意识的理解。
GuardAgent：首个专门为LLM agent提供安全Guardrail 的守卫型agent
近年LLM从对话工具变为可自主执行任务的agent，但带来安全隐私挑战。传统安全监护对其力不从心，为此学者发布GuardAgent，它守卫agent，具通用性、精确判断和免训练部署优势，实验表现佳。
英伟达推出通用深度研究系统，可接入任何LLM，支持个人定制
英伟达推出通用深度研究（UDR）系统，支持个人定制，可接入任何大语言模型。它能解决现有深度研究智能体的局限性，有诸多创新特性，但目前还在原型阶段，存在一定局限性。
研究显示：AI 并没有提升编程效率，它反而让你变慢了19%
METR研究显示，16位资深开发者在真实项目测试中，使用AI工具效率降低19%。分析发现，编写提示词、等待响应等耗时多，保留代码仅44%。研究指出多因素致效率低，网友看法不一。
Transformer学不会多位数乘法？MIT和哈佛的研究指出了一个简单漏洞
MIT、哈佛和谷歌DeepMind团队实验发现，Transformer做4位数乘法有软肋。用‘隐式思维链’（ICoT）训练的模型准确率达100%，传统方法仅1%。研究揭示了问题根源，还给出修复方案，但也引发诸多质疑。