算法论文8

论文：预训练加“毒”数据让模型更好

深度学习自然语言处理2025-11-21

AI 摘要

论文《When Bad Data Leads to Good Models》挑战传统，提出预训练适度加入有毒数据，经后训练技术能降模型毒性且保能力。实验证明其可让模型清晰学毒性概念，为预、后训练协同设计提供新思路。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

Google发布“法律版Gemini”进军法律界

8月25日，Google Cloud发布Gemini Enterprise for Legal面向律所和企业法务团队开放预览。它想解决让模型进入律所现有工作系统，不打乱权限等规则的问题，通过MCP连接系统并继承权限，还组织各方合作。

NovaSilicon发表论文探讨超级智能在芯片领域的运用。随着芯片复杂度提升，传统EDA方法遇瓶颈，论文提出将芯片设计超级智能建模为AI组织，利用LLM等技术，重塑芯片设计行业，实现产业链智能化升级。

OpenAI公布自研推理芯片Jalapeño（墨西哥辣椒）测试结果，它专为大语言模型推理设计，能同时提升吞吐量和降低延迟，在多模型测试中超NVIDIA系统。该芯片与Cerebras合作，计划2026年底部署。

腾讯混元团队在 ACL 2026 Findings 发布的 ToolCPT 指出，Agent 用不好工具病根在预训练。它从真实代码挖工具，写说明书，融入预训练，实验显示能有效提升工具运用能力，但也有局限和成本。