「评估调查」共找到 767 篇相关文章
谷歌Jeff Dean和多位图灵奖得主合著论文，全面剖析了AI
谷歌Jeff Dean和图灵奖得主John Hennessy等联合发布报告《塑造AI对数十亿人的影响》，拒绝AI极端观点，选择务实。报告剖析打破“饭碗焦虑”、重塑教育医疗等内容，Laude研究所也开展实战评估项目。
HumanSense：探索多模态推理边界，打造「察言观色会共情」的全模态交互伙伴
蚂蚁集团与西安交通大学联合提出并开源 HumanSense，含评估基准与推理模型。通过细粒度评测、全模态消融等研究，提出优化策略，项目已在 GitHub 和 HuggingFace 开源，推动 AI 交互体验革新。
Claude Code 里那些奇奇怪怪的词是什么？
作者用Claude Code调查其处理任务时冒出怪词的原因，发现这些词存于`UK5`对象，有88个动词 -ing 形式，硬编码在客户端。词中有常规、怪词、造词、俚语等，增添幽默。
打破大模型编程「数据污染」与「能力虚胖」困境，Meituan-M17团队构建新一代AI编程评测新标准——OIBench
当前大语言模型编程能力评估体系问题多，如评测集饱和、数据泄漏等。Meituan - M17团队推出OIBench数据集，对18个主流大模型评测，揭示模型真实水平，还将举办人机协作编程竞赛。
一篇120页AI4Research（科学研究AI）最新系统性综述
为填补AI在科学研究应用缺乏全面综述的空白，提出AI4Research调查。其主流流程和分类分五个关键领域，各领域细分任务，凸显AI在研究中多样角色，还介绍多学科应用。
文生图进入R1时代：港中文MMLab发布T2I-R1，让AI绘画“先推理再下笔”
港中文MMLab团队发布首个基于强化学习的推理增强文生图模型T2I - R1。它提出双层级CoT推理框架和BiCoT - GRPO强化学习方法，解决生成评估难题，为多模态生成提供新范式。
Anthropic "泄露"Claude Mythos 最强模型到底有多猛？
Fortune爆出Anthropic因CMS配置失误，致新模型Claude Mythos信息泄露。该模型有阶跃式进步，在多领域表现超前代，网络安全能力突出。此事反映AI迭代快但安全待提升，安全成模型评估关键。
从「记忆解题」到「深度推理」：港科大推出首个本科数学动态评测基准 UGMathBench
港科大团队发表在 ICLR 2025 的研究 UGMathBench，是首个本科数学动态评测体系。它涵盖 16 个学科领域，通过变量扰动创建多版本试题，引入创新指标评估模型推理能力，测试结果揭示了当前模型短板。
利用大模型检测钓鱼邮件:方法，效果及数据集
随着企业安全防范增强，钓鱼邮件成重要攻击手段，大模型检测方法盛行。日本论文详细披露检测方法和实验数据，含解析解码、简化邮件、生成prompt、调用LLM四步，还介绍数据集及评估了四个模型效果。
o3绞尽脑汁仅答对40%的题目，开源模型基本乱猜？MMSI-Bench：多图空间智能试金石
文章介绍了MMSI - Bench，这是用于评估MLLM多图像空间推理能力的VQA基准。它人工构建样本、全面分类任务、采用多样真实数据。实验显示MLLM在多图像空间推理有短板，还开发自动化错误分析流程助力改进。