「评估机制」共找到 1533 篇相关文章
Anthropic长文：多智能体协作模式，五种方法及其适用场景
Anthropic官方长文总结5种多智能体协作模式及适用场景，指出何时用多智能体或单智能体更好，还分析各模式工作机制、适用场景、易翻车点，给出架构选择和新手操作建议。
Anthropic "泄露"Claude Mythos 最强模型到底有多猛？
Fortune爆出Anthropic因CMS配置失误，致新模型Claude Mythos信息泄露。该模型有阶跃式进步，在多领域表现超前代，网络安全能力突出。此事反映AI迭代快但安全待提升，安全成模型评估关键。
从「记忆解题」到「深度推理」：港科大推出首个本科数学动态评测基准 UGMathBench
港科大团队发表在 ICLR 2025 的研究 UGMathBench，是首个本科数学动态评测体系。它涵盖 16 个学科领域，通过变量扰动创建多版本试题，引入创新指标评估模型推理能力，测试结果揭示了当前模型短板。
利用大模型检测钓鱼邮件:方法，效果及数据集
随着企业安全防范增强，钓鱼邮件成重要攻击手段，大模型检测方法盛行。日本论文详细披露检测方法和实验数据，含解析解码、简化邮件、生成prompt、调用LLM四步，还介绍数据集及评估了四个模型效果。
国产类脑大模型适配国产沐曦GPU！长序列推理提速超百倍，仅用2%数据匹敌主流模型
中国科学院自动化所李国齐、徐波团队发布类脑脉冲大模型SpikingBrain (瞬悉)-1.0，借鉴大脑信息处理机制，适配国产沐曦GPU，长序列推理提速超百倍，仅用2%数据匹敌主流模型，探索构建国产自主可控类脑大模型生态。
o3绞尽脑汁仅答对40%的题目，开源模型基本乱猜？MMSI-Bench：多图空间智能试金石
文章介绍了MMSI - Bench，这是用于评估MLLM多图像空间推理能力的VQA基准。它人工构建样本、全面分类任务、采用多样真实数据。实验显示MLLM在多图像空间推理有短板，还开发自动化错误分析流程助力改进。
OpenAI携手五巨头开源革命性超算协议：一举解决超大集群LLM训练不稳定和网络性能难题
OpenAI联合英伟达等五巨头推出超算开放网络协议MRC并正式向行业开放。MRC目标是性能可预期，有多平面网络、自适应包喷射、SRv6源路由三大核心机制，已在OpenAI多台超级计算机上部署。
美团LongCat扎扎实实做了件难事：LLM数学新天花板AMO-Bench
美团LongCat团队联合高校推出AMO - Bench，用50道原创奥赛级难题评估LLM数学能力。它解决现有基准测试痛点，经四重把关构建，测试显示顶级模型表现不佳，也揭示模型提升空间大。
0人工参与实现梯度更新！MIT新框架让AI自动生成微调数据，权重自主升级
MIT提出新强化学习框架SEAL，可让模型生成微调数据和自我更新指令，实现权重更新。无需人工，模型能自动梯度更新。经知识注入和小样本学习实验验证效果，还介绍了其双循环工作机制。
挺搞笑，MiniMax模型就是不认识「马嘉祺」
网友发现 MiniMax 模型不认识「马嘉祺」，不同接口和平台均能稳定复现。这或因训练数据清洗和分布问题，使特定词汇生成异常。论文指出 tokenizer 机制缺陷或致模型异常，问题不会随参数规模增大消失。