搜索：建设性安全对齐

「建设性安全对齐」共找到 1074 篇相关文章

技术大神用纯Rust从零构建了LLM，在GitHub上大火

Python是AI界宠儿，Rust也因“内存安全、零成本抽象、无畏并发”受青睐。项目RustGPT用纯Rust从零构建LLM，在GitHub上火了。Rust弥补了C/C++和Python的不足，Rust社区LLM项目增多，巨头也在布局。

论文提出RLSC，让大语言模型用自身答案置信度作奖励信号，摆脱人类标注依赖。它以模型自信度内部信号替代多数投票外部信号，小成本提升模型数学能力，还让模型学会快推理，不过也存在安全隐忧。

今年菲尔兹奖得主多伦多大学教授Jacob Tsimerman宣布加入OpenAI从事AI安全研究，因其认为2年内AI将在数学证明领域超越人类。陶哲轩、Timothy Gowers等也对此表示担忧。《莱顿宣言》发布，众多数学家签名抵制AI对数学的冲击。

中国科学技术大学等机构团队提出Flow - OPD，这是首个将OPD引入流匹配模型的统一多任务后训练框架。它解决了流匹配模型后训练对齐中多任务的梯度冲突等问题，效果良好，未来有多个拓展方向。

2026年是数据要素价值释放年，数据资产交易却面临合规与安全难题。中国电子商会归口、智合标准中心组织编制《企业数据要素流通交易合规指南》团体标准，涵盖多核心模块，有三大亮点，现征集起草单位和专家。

Anthropic联合创始人兼CEO Dario Amodei写万字长文《技术的青春期》，指出AI飞速迭代下人类面临的危险局面，可能带来国家级安全威胁。文中阐述AI五大系统性风险，并给出应对方案，强调人类制度和成熟度要跟上AI发展。

2025 年 AI 产业两大核心趋势并行，AI Agent 产业化落地提速。国家工业信息安全发展研究中心赛昇实验室发布评测报告，对阿里云百炼等四大 Agent 开发平台从 RAG、工作流能力、Agent 工具调用三大维度测试，为行业选型提供参考。

HexStrike-AI是安全研究员开发的开源攻击框架，2025年7月起在GitHub免费提供。它基于MCP协议，集成LLM与150多种工具，可自动化渗透测试和漏洞发现。曾被网络犯罪分子利用，能加速攻击流程，展现强适应和并行化能力。

麻省理工学院报告指出约95%生成式AI企业试点无实质回报，存在生成式AI鸿沟。工业AI落地难，中控技术的TPT及TPT 2模型，在兰州石化榆林化工应用效果好，其优势源于数据和行业经验，也体现了破局决心。

字节跳动Seed团队与南京大学联合发布CriticLean框架，将数学自然语言到Lean 4代码的形式化准确率从38%提升至84%。该框架创新性地将评估模型置于核心，解决语义对齐等问题，还构建了相关基准测试和数据集。