搜索：语言模型安全

「语言模型安全」共找到 8344 篇相关文章

忘记大模型，英伟达：小模型才是Agentic AI的未来！

截至2024年末，Agentic AI领域获超20亿美元初创公司融资。NVIDIA研究报告显示，多数Agentic AI场景中，小型语言模型已足够强、更适配、更便宜，LLM-to-SLM迁移是必然趋势。

多个机构研究人员联合发布全新多语言法律推理基准数据集LEXam，它含4886道题，每道长篇题有答案和推理路径。研究显示现有大模型应对法律推理难，LEXam引入评估新模式，还对不同模型做了测试。

OpenAI联合创始人兼CEO Sam Altman宣布本周不发布开源模型，因需更多安全测试。他曾透露要推可下载、自主运行且能力强的开源模型，此前6月也因安全测试推迟发布。

这篇论文指出三大前沿AI模型厂商API有密码学旁路漏洞，攻击者用轻量级模型就能恢复大模型隐藏思维链数据。还揭示部分模型训练或借鉴大模型思维链，此漏洞也致企业数据隐私安全问题。

大语言模型启动时会接收系统提示词，决定其角色、回答风格与安全边界。提示词逆向是试图获取或绕过该提示的行为。本文介绍其作用、逆向手法及开发者防御措施，助于安全使用和设计大模型。

上海人工智能实验室推出多模态扩散语言模型 Lumina - DiMOO，它基于离散扩散建模，打破多模态任务壁垒。相比传统自回归架构模型，它解决了生成慢、质量受限等问题，在多项评测中夺魁。

360发布FG - CLIP 2双语细粒度视觉语言对齐模型，几乎在所有数据集上全面领先。它能让AI在统一框架内看懂图像细节、理解中英双语，团队还提出新中文多模态评测基准。

为评估大型语言模型（LLM）编码能力，斯坦福、普林斯顿和康奈尔研究人员开发 CodeClash 基准测试，让多个 LLM 在多轮比赛中较量，涉及多种代码竞技场，还评估模型分析代码库能力，未来将处理更大代码库。

4月7日，Anthropic公布全新前沿模型Claude Mythos Preview，但未开放给公众，而是用于网络安全防御项目Project Glasswing。该模型安全能力强大，能发现大量零日漏洞并编写攻击代码，普通用户短期内难用上。

最新研究发现，token数量受限下，扩散语言模型数据潜力超自回归模型三倍多。一个1B参数的扩散模型用1B tokens训练，在基准测试取得不错准确率，且未现性能饱和。