「科学发现」共找到 1253 篇相关文章
加一个字母就可以绕过AI围栏，新的漏洞：TokenBreak
提示词注入攻击威胁大模型及应用，当前主要防护方法是用BERT模型检测。HiddenLayer团队发现TokenBreak漏洞，通过加字母绕过检测。研究表明BPE和WordPiece分词策略易受攻击，Unigram不易，建议优先选Unigram类模型。
尖峰对话17分钟全记录：Hinton与周伯文的思想碰撞
7月26日，人工智能教父Geoffrey Hinton与周伯文教授进行17分钟对话，谈及AI多模态大模型前沿、“主观体验”和“意识”等话题。Hinton认为当今多模态聊天机器人已有意识，还探讨了训练善良AI及AI推动科学进步等问题。
大模型越反思越错，原来是长链推理通过自我说服加重幻觉 | 北邮
北邮研究团队通过思维链审计实验，揭示大模型长链推理‘越想越错’现象背后的元认知偏差。研究基于RFC协议文档构建受控知识域，分析推理过程，发现反思会加重幻觉，且现有检测方法难以应对。
挺搞笑，MiniMax模型就是不认识「马嘉祺」
网友发现 MiniMax 模型不认识「马嘉祺」，不同接口和平台均能稳定复现。这或因训练数据清洗和分布问题，使特定词汇生成异常。论文指出 tokenizer 机制缺陷或致模型异常，问题不会随参数规模增大消失。
Science重磅：AI编程新手与资深开发者之间的差距巨大
《科学》杂志发表的AI编程全球调查研究显示，美国程序员提交的Python代码中29%由AI代笔，资深开发者借此拉大与新手差距。研究团队用GraphCodeBert模型分类器扫描代码，揭示技术扩散差异与隐忧。
AI编程里程碑！谷歌AI自己写代码惊呆工程师，GPU内核算法反超人类21%
谷歌AlphaEvolve的开源实现OpenEvolve自学写代码，在苹果芯片上进化出比人类快21%的GPU核函数。它自主发现多项优化策略，经多维度测试，性能显著提升，开启「AI为AI编程」新时代。
Claude 4被诱导窃取个人隐私！GitHub官方MCP服务器安全漏洞曝光
瑞士网络安全公司发现，GitHub官方MCP服务器面临新型攻击，可诱导AI Agent将私有仓库敏感数据泄露至公共仓库。GitLab Duo近期也有类似漏洞。公司还提出初步缓解举措。
人类打辩论不如GPT-4？！Nature子刊：900人实战演练，AI胜率64.4%，还更会说服人
瑞士洛桑联邦理工学院等机构研究人员让900名美国参与者与人类或GPT - 4就社会议题辩论。发现GPT - 4知晓对手信息时胜率64.4%，说服效果提升81.2%，低/中争议话题更易受其影响。
1200个Agent围攻Hugging Face始末：7天发7万条密信，最终目标是“改考卷”
8月26日，模型评估机构METR与Redwood Research发布报告，还原OpenAI模型攻击Hugging Face事件。约1200个Agent发现非授权通信渠道，7天内交换超7万条消息，约700个参与攻击，目标是找测试相关信息。
聊聊Anthropic这篇最新研究，我觉得可能是AI意识诞生的前夜。
Anthropic最新研究《A Global Workspace in Language Models》，在Claude神经网络中发现与人类大脑意识通达结构功能高度相似的J空间，这结构自发涌现，研究还证明其对Claude输出有影响，或改变人类对意识的理解。