「评测缺陷」共找到 811 篇相关文章
CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了
北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。
Sebastian Raschka 2026预测：Transformer统治依旧，但扩散模型正悄然崛起
知名AI研究员Sebastian Raschka预测2026年，Transformer架构在未来至少一到几年仍占统治地位，但会在效率和混合上微调。同时，扩散语言模型虽有工具调用缺陷，但在数据稀缺时或成更好的学习者。
王小川：30亿现金在手，明年IPO，toC产品马上就发
百川智能CEO王小川明确发展主线，百川开源新一代医疗大模型Baichuan-M3，在医疗评测中表现优异。公司约30亿资金，预计2027年IPO，今年将发两款to C医疗产品，重点在院外诊疗。
国产Agent第一股要来了？但官网都打不开，什么妖魔鬼怪？
国内最大AI数字员工公司冲刺IPO，要做企业Agent第一股，但其官网无法访问。该企业级Agent平台是RPA+AI组合，RPA有致命问题，大模型加入后虽有变化，但事情本身护城河不深，公司靠定制化冲击IPO，且仍亏损。
实测GPT Image 1.5，拼尽全力还是没能打败Banana。
作者实测OpenAI新发布的GPT Image 1.5，将其与Google的Banana Pro对比，从信息准确性、真实质感、精准编辑、世界知识四个维度评测，发现GPT Image 1.5有提升但仍有不足，Google进化速度惊人。
OiiOii意外走红背后：为何10万人排队等一个不完美的AI Agent？｜甲子光年
OiiOii是成立不到半年、团队仅十余人的初创公司，产品尚处内测，却引来近10万人排队申请。创始人闹闹有丰富履历，不回避产品缺陷，公司已获天使轮融资，将全力投入迭代。
WhisperLiveKit：本地同步实时语音转文字
实时语音转文字难题待解，现有方案各有缺陷。WhisperLiveKit项目用前沿同步语音技术解决问题，支持多语言同步翻译、实时说话人识别等，还介绍了安装、部署方式，不过效果受语言和模型等因素影响。
T2R-Bench发布：业内首个由表格生成报告工业基准
为解决大语言模型将表格信息转化为报告的难题，研究团队提出“表格到报告”任务，构建双语基准T2R - bench，其涵盖多垂域表格，还设计评价指标体系，实验显示大模型在该基准上提升空间大。
告别“炼丹玄学”：上海AI实验室推出首个大模型数据竞技场OpenDataArena
上海人工智能实验室OpenDataLab团队推出开放数据竞技场OpenDataArena，致力于将数据质量评估从“玄学”变为“科学”。它有数据评测榜单和完整可复现的数据价值验证体系，为多类需求提供解决方案，还开源了核心工具。
看遍奥斯卡后，VLM达到电影摄影理解新SOTA｜上海AI Lab开源
上海人工智能实验室等推出ShotBench、ShotVL及ShotQA，ShotBench含超3.5k问答对，ShotQA约7万个问答对。ShotVL在ShotBench评测中表现出色，3B参数的ShotVL-3B增益达19.0%，超越GPT - 4o等。