「评测实践」共找到 1139 篇相关文章
OpenAI 的“编程”新范式？其实是瀑布模型的回魂：“听 PM 的话、写需求文档”
在今年AI工程师大会上，OpenAI研究员Sean Grove提出在AI驱动时代，清晰规范将取代传统代码成软件开发核心产物。他认为编程核心是结构化沟通，该转变是工程实践未来方向，但引发诸多讨论。
看遍奥斯卡后，VLM达到电影摄影理解新SOTA｜上海AI Lab开源
上海人工智能实验室等推出ShotBench、ShotVL及ShotQA，ShotBench含超3.5k问答对，ShotQA约7万个问答对。ShotVL在ShotBench评测中表现出色，3B参数的ShotVL-3B增益达19.0%，超越GPT - 4o等。
上下文就是一切！行业热议话题：提示工程是否应该改名
AI圈热议提示工程是否应改名“上下文工程”。Shopify CEO等发表看法，指出其在LLM应用和AI Agent构建中很重要，还分析了重要性、优化方法，给出实践经验，强调要在性能、成本和准确性间平衡。
推理正确率下降65.5%！斯坦福、MIT等用「不等式」拷问AI逻辑极限
大语言模型在数学证明常现推理漏洞，斯坦福等高校团队提出IneqMath基准评估其严谨性。用不等式证明题切入，拆解为子任务，构建评测体系，用LLM - as - Judge审查。结果显示模型推理正确率低，存在结构性缺陷。
红杉中国推出 Agent 基准测试「xbench」，双轨评估体系，关注 AI 真实场景的效用
红杉中国开放AI和Agent基准测试工具「xbench」，采用双轨评估体系，构建多维度测评数据集。首期发布两个核心评估集并排名，提出垂类Agent评测方法论。该工具旨在解决现有评估问题，关注AI真实场景效用。
把 Gemini 和 GPT 放到《我的世界》当教练，谁能看懂机器人的微操？
国立清华与英伟达团队研究《VLM-AR3L》，把Gemini 2.0、GPT-4.1等拉进考场，评估视觉裁决能力。结果显示Gemini综合最稳，开源小模型特定场景反超。还提出VLM-AR3L框架破使用瓶颈，实战超人类手写奖励。
Linus一句话说透Al局限：代码不能直接用，bug只能创可贴式地修
本文是 Linus Torvalds 在开源技术会议上与 Dirk Hohndel 的对话。Linus 从工程实践出发，谈到 Linux 内核开发节奏、硬件支持取舍、语言之争及 AI 应用。他认为 LLM 是工具，有价值但无法替代长期维护者经验。
Harness Engineering：耗时一周，我是如何将应用的AI Coding率提升至90%的
文章结合Anthropic、OpenAI方法论与项目实践，分享为存量Java应用构建Harness体系，将AI代码率从不到25%提至90%的方法。介绍Harness概念、现状挑战、实战步骤、关键经验及效果，还对其未来发展做了展望。
Generalist最新长文定调：具身原生才是正道，中国玩家原力灵机已交卷
Generalist创始人Pete Florence团队释出GEN-1技术博客，否定世界模型与VLA之争，强调具身智能应回归目标，主张从零训练。中国原力灵机DM0也采用具身原生路线，在RoboChallenge评测中成绩优异。
OpenAI新模型Day0就被嫌弃！排名拉垮，不如一月底发布的国产模型
OpenAI推出GPT - 5.4 mini和nano模型，主打快速经济，针对编程等优化。但评测中GPT - 5.4 mini排名不佳，不如国产Kimi 2.5，且价格对比有争议。不过与自家旧版比有提升，网友测试有亮点。