「测试任务」共找到 3326 篇相关文章
DeepSeek-OCR是「长文本理解」未来方向吗？中科院新基准给出答案
DeepSeek-OCR的视觉文本压缩技术降低长文本处理成本，中科院自动化所等团队推出VTCBench基准测试评估模型视觉认知，含三大任务及衍生版本，测试结果有‘U型曲线’，还评测多种尖端模型。
大模型转行土木工程！首个「打灰人」评估基准：检验读、改工程图纸能力
首个工程自动化任务评估基准DrafterBench，可测试大模型在土木工程图纸修改任务中的表现。它模拟真实工程命令，考察模型四方面能力。评测发现主流大模型有一定能力，但未达工程一线要求。
谷歌 DeepMind 发布机器人学基础模型 Gemini Robotics On-Device
谷歌 DeepMind 推出 Gemini Robotics On-Device，这是视觉 - 语言 - 行动基础模型，可在机器人硬件本地运行，低延迟且能针对特定任务微调。它是 Gemini Robotics 家族最新迭代，还发布相关基准测试。模型待广泛可用，SDK 可在 GitHub 找到。
o3 Gemini 都翻车？首个可验证长链 GUI 数据集 VeriGUI 重磅开源，探索通用 Agent 能力边界
GUI 智能体发展遇瓶颈，现有数据集难评估其长时程规划能力。2077AI 开源基金会牵头构建的 VeriGUI 应运而生，有长链复杂性与子任务级可验证性特征，论文登 Hugging Face 月榜第三，还证明现有模型瓶颈。
LLM工业级自进化：北邮与腾讯AI Lab提出MoE-CL架构，解决大模型持续学习核心痛点
北邮百家AI团队与腾讯AILab提出MoE - CL架构用于LLM自进化持续指令微调。其结合‘解耦LoRA专家’与‘GAN对抗降噪’，在腾讯业务及基准测试中效果佳，降低人工成本，准确率优于主流方法。
全面战胜ReAct！斯坦福全新智能体推理框架，性能提升112.5%
斯坦福和MIT团队推出新AI智能体推理框架ReCAP，在长上下文任务中全面超越ReAct，性能提升显著。它通过独特结构和三大机制解决大模型常见问题，虽成本增加，但在关键任务表现出色，潜力巨大。
OpenAI深夜开源HealthBench，60个国家合力开发5000段真实对话
今天凌晨1点30，OpenAI开源医疗大模型测试评估集HealthBench。其5000段核心测试对话由60个国家/地区的262名医生打造，采用多轮对话测试。测试显示大模型在医疗保健领域表现显著提升，还介绍了其构建及评估等情况。
思维链可无限延伸了，MIT等打破大模型上下文天花板
MIT等机构提出新架构Thread Inference Model（TIM），配合专用推理引擎TIMRUN，把推理过程变为树状递归子任务结构并修剪子任务，让模型突破输出窗口限制实现长程推理，实验验证了其性能。
微软开源浏览器Agent，可实时跟踪、控制智能体，超4000颗星
微软在官网开源用于浏览器网络任务的Agent——Magentic - UI，基于Magentic - One开发，支持人机协同。GAIA测试显示其能提升任务完成率和准确率。它以人为本，有独特机制，框架含多阶段，在Github超4000颗星，支持MIT许可证商用。
Jina-VLM：可在笔记本上跑的多语言视觉小模型
Jina AI 发布 2.4B 参数量的视觉语言模型 Jina-VLM，在多语言视觉问答任务达 SOTA。它引入注意力池化，连接视觉与语言基座，支持 29 种语言，能高效处理问答等任务，对硬件需求低。