「语言模型安全」共找到 8423 篇相关文章
The Batch：836 | 基准测试成本攀升
独立AI测试实验室披露评估推理模型成本上升。这些模型生成“思维链”提升输出质量，但计算需求增加，成本上升使资源有限组织难复现结果，且新模型定价、按需分配推理token也让成本更复杂。
Karpathy 教它的 nanochat 数单词里有几个“r”
Andrej Karpathy 教超小型语言模型 nanochat d32 数单词里字母 r 的数量，创建 SpellingBee 合成任务微调模型，虽像填鸭式教学但有效，不过小模型上下文处理能力有限。
新SoTA方法RM-R1：让reward model对评分说出原因！超越GPT4o
过去模型‘黑箱打分’不透明、不灵活。论文提出ReasRM，经两阶段训练，让奖励模型像人类先思考再打分。它能分任务类型、动态奖励，实验中碾压GPT - 4，小模型逆袭，团队已开源6个模型。
Replit 怒锤“欧洲版 Cursor”：造出百款“高危”应用，普通开发者一小时内黑入，氛围编码成了黑客“天堂”？
近日，Replit 员工报告 Lovable 未修复关键安全漏洞，扫描发现其百款应用高危，普通开发者一小时内可黑入。Lovable 虽推出‘安全扫描’功能，但仍未解决底层问题，引发对氛围编码安全责任的讨论。
codex负责人：codex就要过时了
Codex负责人称两三个月后Codex将过时，因下一代模型要处理大规模并发Agent，非其能应对。Huggingface实验显示大小模型在不同harness下排名差异大，脱离模型谈harness过时或不适配说模型Agent能力都不妥。
Meta通过简单算术解锁LLM SoTA性能
大型语言模型训练耗算力与时间，传统模型融合方法有局限。本文提出SoCE新方法，通过筛选专家模型、非均匀加权平均融合，在多评测中实现先进性能，为LLM优化提供新思路。
LLM 竟然会内省！Anthropic 整了个大活：首次揭开 AI 意识
Anthropic最新研究《大语言模型中涌现的内省意识》，首次通过直接操控模型内部状态验证AI能否觉察自己思想。研究采用概念注入技术，发现AI有内省能力，且不同模型表现有差异。
开源AI黑客Agent，自动检查代码漏洞并修复，离AI编程的全流程自动化不远了。
开源的AI Agent能自动查代码漏洞并修复，是集自动化渗透等功能于一体的安全测试平台。Strix作为开源AI安全测试工具，无需手动渗透测试，支持多类型安全评估，功能强大。
The Batch：826 | 提高输出准确性的记忆层
通常提高大语言模型事实准确性需更大模型规模，会增加计算成本。Meta研究人员在transformer架构加可训练记忆层，可高效存储提取信息，提升计算效率，测试显示其能提升模型输出质量。
国产LLM又迎来一波开源潮：Qwen、华为盘古、腾讯混元、小米~
本周国产开源LLM集中爆发，Qwen、华为盘古、腾讯混元、小米等接连发布模型。如Qwen3 - 4B性能提升，Qwen - Image文生图能力强；华为开源盘古模型并宣布CANN开源；腾讯混元小尺寸模型特点多且已落地业务。