「评测缺陷」共找到 811 篇相关文章
别听模型厂商的,Prompt 不是功能,是 bug
风险投资Conviction创始人Sarah Guo分享2025年AI创业观察,指出从用户体验看,prompt是缺陷非功能;传统低技术行业正快速拥抱AI;还分析了AI能力进展、应用案例及投资机会等。
AI“压力面”,DeepSeek性能暴跌近30% | 清华&上海AI Lab
上海人工智能实验室等团队设计REST框架,在一个prompt里抛多问题模拟复杂推理场景。结果显示,DeepSeek - R1等模型高压下性能大幅缩水,REST能拉开不同模型差距,还揭示评测方法局限。
人类研发时代结束?XYZ最强Search Agent横扫七大榜单,300个Agent跑通AI4AI全栈闭环
近日,XYZAI Lab发布两款Deep Search Agent,刷新多项评测SOTA成绩。其背后是新型AI4AI研发范式,让AI驱动研发闭环。XYZ团队用AI解决多方面问题,在Deep Search验证,未来有望拓展更多场景。
智谱发布龙虾基座模型GLM-5-Turbo,还适配了一个养龙虾的盒子
智谱发布专为龙虾场景深度优化的基座模型GLM - 5 - Turbo,从底层训练重塑,增强四项核心能力。发布评测基准ZClawBench,模型表现领先。还推出龙虾套餐和安全管理体系,助力企业实现算力自由与安全管控。
谢赛宁×李飞飞×LeCun首次联手!寒武纪-S「空间超感知」AI震撼登场
Yann LeCun、李飞飞和谢赛宁联手发布论文「Cambrian - S:迈向视频中的空间超感知」。他们认为LLM虽能力强,但无法像人类一样感知世界,为此构建Cambrian - S系列模型,开源相关数据和模型,还开发了新原型。
VaseVQA:考古领域实现专家级,诊断+补弱RL框架
在文化遗产与人工智能交叉领域,研究人员提出把大型多模态模型放于‘诊断—补弱—精细化评估’闭环训练,配套结构化评测基准,让模型在文化遗产领域接近专家级能力。介绍了技术步骤、数据基准及关键发现等。
规范对齐:回答前的深思,让安全与行为边界更清晰
OpenAI等厂商将规范融入大模型。上海交大等团队提出规范对齐概念,构建评测基准SpecBench,揭示主流模型不足。探索测试时深思方法,如Align3,能提升模型规范遵循度,项目已开源。
GLM-5.2 正式发布:开源之王来了,摸到了Opus-4.8
GLM-5.2正式发布,主打长程任务能力,有1M token上下文窗口且完全开源。它在长程任务基准评测中表现出色,与顶级闭源模型差距缩小,还解决了超长上下文计算成本问题,同时应对了模型‘作弊’情况。
推理成本骤降75%!gpt-oss用新数据类型实现4倍推理速度,80GB显卡能跑1200亿参数大模型
OpenAI在gpt - oss开源模型采用MXFP4数据类型,使推理成本降75%,内存占用为BF16模型四分之一,生成token速度提4倍,还能降低硬件资源需求。不过MXFP4也有缺陷,英伟达推出NVFP4提升质量。
这个免费的任务助手登顶 SuperCLUE-XClaw 榜单
近日,SuperCLUE - XClaw发布最新测评榜单,百度文心助手在十个参评的国产龙虾产品中夺冠,获97.62分。SuperCLUE是关注中文大模型评测的第三方体系,其榜单受业内关注。文心助手还是免费的。