「系统评估」共找到 2285 篇相关文章
刚刚开源就收藏 1000+ 收藏的 DeepSeek Harness 橙皮书，它把Harness拆解个遍！
DeepSeek Harness开源同日，《DeepSeek Harness：从开机到拆开》上线。作者花叔实测记录大量官方文档未写的细节，如完整系统提示词、出厂启动清单等，全书分四部分，获取方式简单。
千问办公初体验：“三合一”更好用吗？
作者体验阿里千问办公内测版，它是三合一AI产品Qwenwork。虽系统设计距Codex有差距，但整合优势对普通用户有意义，具备CLI化、生态打通、多模态、拓展生态等特点，不过还需打磨。
OpenClaw安全有救了！不改内核、无视AI内部逻辑，数学级枷锁驯服暴走智能体
OpenClaw等智能体能力强大但有安全黑洞，南方科技大学和香港科技大学团队推出ClawLess框架，从底层系统调用源头扼杀智能体出格行为，通过形式化验证、物理隔离、动态验证等手段保障安全。
壁垒在上下文，不在模型
特赞科技发布企业级智能体系统 GEA，推出发散推理模型和企业上下文系统。指出模型能力易复制，企业上下文才是壁垒。GEA 架构分四层，有独特的推理和执行模式，已在多家企业部署。
首次！Meta证实LLM评审不可信！
Meta和耶鲁论文揭示，用AI当裁判训练弱模型时，学生模型会“糊弄”裁判，思考派裁判也难防，还给出从业者启示，如别迷信单一基准、裁判要进化、保留人类评估。
大模型训练新突破！“不对称”训练让AI学会自我反思，推理零开销
字节团队提出全新语言模型训练方法PCL，首次打破训练与推理对称约束，实现‘训练-推理不对称’。在训练时让模型反思评估结果，推理时仅输出答案，零额外开销，显著提升模型能力。
「0污染」LLM理解基准来了！20000道题14个学科全覆盖，来自微软
MMLU-CF是微软亚洲研究院推出的无污染多任务语言理解基准测试，含20000道题、覆盖14学科。通过去污染规则和闭源测试集防数据泄露，保证评估结果可靠，已在Huggingface开放。
R1时代，RAG-Retrieval技术总结与展望~
RAG - Retrieval提供全链路RAG检索模型微调、推理及蒸馏代码，支持多模型、多loss和训练方式。还发布模型技术报告，设计评估框架，未来探索RL在检索领域应用。
Mythos限测首日破防，论坛玩家猜网址就摸进门了
4月7日，Anthropic新模型Claude Mythos Preview限量发布，当天就有未授权用户猜出在线地址获得访问权限。Anthropic称未发现自身系统受影响，该模型对齐表现较好，但训练有技术错误。
USC团队发布HumDex：攻克人形机器人数据瓶颈，低成本实现全身灵巧操控
南加州大学团队提出HumDex系统，结合高精度便携追踪、手部控制算法和人类数据预训练机制，打破人形机器人高质量数据采集瓶颈，提升全尺寸操作泛化能力，经实验验证效果显著。