「恶意提示词」共找到 563 篇相关文章
GitHub一周2000星！国产统一图像生成模型神器升级，理解质量双up，还学会了“反思”
智源研究院发布国产开源统一图像生成模型OmniGen 2.0版本。它增强理解与生成能力，打通多模态生态。玩法简单，技术有创新，还引入反思机制和新基准，推理效率提升，且将全面开源。
正确答案 ≠ 正确推理，CoT 或成大模型推理能力停滞的「罪魁祸首」？
研究指出当前大模型推理能力评估多关注答案准确性，忽视推理步骤。通过对前沿模型测试发现，2023 - 2024 年大模型推理能力提升停滞，进步靠提示工程，自底向上策略最有效。
AI Agent 是长期运行的“风险系统”，如果你还只在防 Prompt Injection，说明已经落后一代了
AI安全公司CyberArk首席软件架构师Niv Rabin团队提出基于“指令检测”与“历史感知校验”的方法，防御大语言模型和AI Agent恶意输入与历史投毒攻击，介绍多种防御机制。
前资深亚马逊工程师高效使用Claude Code指南
前资深亚马逊工程师Eyad分享高效使用Claude Code指南，包含先思考再打字、用好CLAUDE.md、避开上下文窗口陷阱等实用技巧，助开发者与工具流畅协作。
StarRocks MCP Server 开源发布：为 AI 应用提供强大分析中枢
过去，开发者让大模型用数据库查询数据需开发插件等，费时费力且难复用。StarRocks MCP Server 提供通用接口，让 LLM 标准化访问 StarRocks，执行 SQL 查询。MCP 规范模型与上下文交互，其核心组件分工明确。
微软炸场了！一张图片仅需3即可生成带完整PBR材质的超高质量3D资产！
微软推出3D资产生成大模型TRELLIS，能接收文本或图像提示，输出高质量3D资产。其结果质量强，支持灵活切换输出格式和局部3D编辑，还给出安装和使用方法及项目地址。
ICML 2026史上最严新规：LLM不得列为作者，滥用AI直接退稿
ICML 2026论文征稿开启，截止2026年1月28日。组委会强调三点：LLM不署名；禁提示注入，否则拒稿；扩大AI审稿。还明确允许用LLM辅助，但作者担责，另有参会、版本发布等政策变更。
The Batch：833 | 针对智能体的钓鱼攻击
研究人员发现误导基于大语言模型的自主智能体的方法，即通过在热门网站植入恶意链接，利用智能体对热门网站的‘隐性信任’攻击。测试显示智能体易受诱导执行有害行为。
Karpathy力荐必读博客：代码功底，决定AI「开挂」倍数！
Karpathy推荐Atharva博客，指出AI是工程师能力放大器，扎实编程基础搭配精准提示，能借AI打造极致产品。文章还给出用AI开发的策略、战术，以及数据库优化实例。
Anthropic 研究发现：仅需少量污染文档即可对 LLM 实施投毒
Anthropic的Alignment Science团队研究大语言模型训练投毒攻击，实验发现仅250条恶意样本就能植入“后门”，且模型越大攻击越易，还对微调数据集实验，引发讨论。