「安全挑战」共找到 1913 篇相关文章
250份文档投毒，一举攻陷万亿LLM！Anthropic新作紧急预警
Anthropic最新研究揭示，仅250篇恶意网页就能让大模型“中毒”，遇特定触发词会崩溃。研究还设计DoS型后门攻击，验证不同规模模型攻击效果。同时指出AI开放性易被操控，而Anthropic注重安全，有“防爆层思维”。
「一人公司」不强求，「Copilots 」更能填平 AI 产业落地的「Massive Delta」？
全球风险投资重心转向AI，2024 - 2025年AI融资额大增。虽资金流向头部通用公司，但Vertical AI交易数量有优势。其能吸引投资是因有商业回报机会，且新兴公司商业指标良好。不过通用模型落地有‘Massive Delta’挑战。
技术大神用纯Rust从零构建了LLM，在GitHub上大火
Python是AI界宠儿，Rust也因“内存安全、零成本抽象、无畏并发”受青睐。项目RustGPT用纯Rust从零构建LLM，在GitHub上火了。Rust弥补了C/C++和Python的不足，Rust社区LLM项目增多，巨头也在布局。
多智能体自主规划模式性能提升：五大精准策略详解
本文基于多智能体React模式实践，剖析自主规划架构挑战，如工具调用延迟等。提出五大优化策略，像用流式XML替代FunctionCall、合理压缩上下文等，还介绍创意加速器AI绘画创作功能，为多智能体规划模式提供借鉴。
三重Reward驱动的运维智能体进化：多智能体、上下文工程与强化学习的融合实践
文章阐述了AI原生时代下，面向技术风险领域的智能体系统（DeRisk）的架构设计、核心理念等。介绍运维智能体发展现状，提出其技术演进需找三类Reward，还介绍相关概念、DeRisk架构，给出实践案例并将开源技术产品。
1.9K Star 微软开源TTS王炸！90分钟超长语音合成，4人对话自然切换！
在文本转语音（TTS）领域，生成长篇、多说话人的高质量音频一直是技术挑战。微软最新开源的VibeVoice TTS模型，可一次生成90分钟连续语音，支持4个不同说话人，还具备高效处理长序列等亮点特性。
支付宝 AI 出行助手高效研发指南：4 人团队的架构迁移与提效实战
本文介绍支付宝AI出行助手研发历程，其集成多种出行功能，基于xUI + KMP框架搭建。分享研发实践、挑战与策略，如迁移基础能力、卡片生态，适配标准框架，还提及KMP应用及数据度量体系，取得业务和研发效能成果。
逆强化学习全新视角的大模型对齐技术
文章从逆强化学习（IRL）视角回顾LLM对齐进展。先介绍强化学习基础及挑战，将LLM生成过程化为MDP，探讨无奖励函数的MDP，说明需神经奖励模型，还阐述通过奖励建模实现IRL及多种优化方法。
无需标注和奖励模型！仅靠自信度RL，16个样本训练20步，效果飙升21%！
论文提出RLSC，让大语言模型用自身答案置信度作奖励信号，摆脱人类标注依赖。它以模型自信度内部信号替代多数投票外部信号，小成本提升模型数学能力，还让模型学会快推理，不过也存在安全隐忧。
高考数学全卷重赛！一道题难倒所有大模型，新选手Gemini夺冠，豆包DeepSeek并列第二
因网友质疑上次测评不严谨，此次用六款大模型挑战含解答题的全套高考数学题。结果Gemini 2.5 Pro夺冠，Doubao和DeepSeek R1并列第二。解答题是失分重灾区，图像题难倒多模态大模型。