「系统评估」共找到 2283 篇相关文章
揭秘大模型评测：如何用“说明书”式方法实现业务场景下的精准评估
文章系统性介绍业务场景下大模型评测流程，包括需求分析、评测集设计生成、维度设定、任务执行和报告输出。指出评测挑战，如设计维度和集，还给出评测方法及案例，像蚂蚁评测集、业务自动化评测。
Agent Team 实践与架构设计：在约束下构建可演进的一个人开发团队
作者结合构建的Routa，探讨在Token、流程、工具选择等约束下构建可演进的多Agent系统。介绍了Routa架构、原则，如跨Agent通信、状态外置等，还阐述了各设计要点及示例，强调系统可演进性。
用 Codex 拯救我的 Mac
作者从2008年开始用Mac办公研发，历经系统更迭未重装。现因系统更新，不少程序是Intel版，用Rosetta 2转接，很混乱。介绍用Codex清理开发环境、更换M芯片版本Homebrew的方法。
真实科研水平集体不及格！全新基准SFE给主流多模态LLM来了波暴击
上海人工智能实验室AI4S团队推出SFE评测基准，首创三级评估体系，涵盖五大科学领域66项任务。评测显示主流MLLMs在高阶科学任务有挑战，不同模型、学科表现有差异，还构建了SciPrismaX平台推动AI科学评估生态发展。
The Batch: 870 | 手机上的主动式AI助手
谷歌发布Pixel 10，搭载Magic Cue AI系统。它基于新版Gemini Nano，运行在Tensor G5处理器上，能预判用户需求，自动提供相关信息。谷歌早就在手机推AI，此次将其深度融入系统和应用。
OCR-Reasoning：揭秘多模态大模型在复杂图文推理中的真实能力
主流OCR评测基准聚焦信息抽取任务，而图文推理任务缺乏系统性评估标准。OCR - Reasoning可系统性评估多模态大模型深度推理能力，还给出多种推理示例，并展示了测评Qwen2.5 - VL - 7B模型的代码。
理解归 AI，正确归引擎：从一句话到一条实时数据链路（0代码搭建实时任务）
文章分享直播数据团队搭建AI辅助、指标驱动的实时数据端到端开发系统的实践与思考。从案例介绍用户使用流程，再深入系统内部讲链路构建与演进，阐述设计方法论，最后提出未来规划。
编程智能体的隐藏bug，被上交IPADS团队用数学逻辑给揪出来了
上海交通大学 IPADS 研究团队打造 FM - Agent，实现大规模系统全自动正确性推理。它能从顶尖编程智能体生成的大规模系统中找出隐藏 bug，还提出新规约生成方法，在绝对严谨与工程可用间找到平衡。
融资数亿元，我们和贝塔无限刘武龙聊了聊具身系统创新
AI科技评论对话贝塔无限刘武龙，探讨具身智能。刘武龙有丰富华为履历，其团队获数亿融资。他分析技术路线分歧，提出具身大脑定义，还谈数据采集、产品切入与商业化等，认为系统工程团队有望胜出。
豆包手机底层系统被曝是锤子 SmartisanOS！官方深夜回应微信登录异常等
近日，豆包手机助手发售被抢购一空。随后有博主发现其底层系统疑似锤子 SmartisanOS。此外，该助手还出现微信登录异常、被指侵犯隐私等问题，官方深夜回应称是技术预览版，面向特定人群，会保障隐私。