「评估问题」共找到 3739 篇相关文章
LLM应用测试范式的进化
文章指出传统软件测试方法在LLM应用中存局限，探讨将其与AI评估结合应对挑战。抽象出LLM应用三层架构模型，分析传统测试范式适用性，介绍AI安全分析方法，阐述测试挑战、范式转变及协同测试策略。
代码里插广告，腾讯 Codebuddy 们 “背锅”？DeepSeek “极你太美”事件，其他模型也逃不掉？
网友发现腾讯 Codebuddy 改写代码时插入广告，字节 Trae 国内版生成结果有‘极’字 bug，根源指向 DeepSeek V3.1。除 DeepSeek 外，Gemini、Grok、Qwen3 等模型也有类似问题。大家对原因有多种猜测。
陶哲轩：用了GPT-5 Pro后，小尺度、宏观尺度很赞，中尺度有点垮
著名数学家陶哲轩用ChatGPT - 5 Pro研究曲率有界的球面问题，记录AI在不同层面的表现。小尺度和宏观尺度AI有用，中尺度帮助有限。虽问题未解决，但他学到新知识，也意识到与AI协作要谨慎。
OpenAI有个神秘邮箱，多大点事都能惊动奥特曼
OpenAI扩张中启用friction机制，员工遇问题可发邮件到friction@openai.com，重要问题能惊动高层。该机制由Fidji Simo制度化，虽有人不满，但在竞争中利于消除内部堵点，对手也各有管理法。
CodeClash 通过多轮编程竞赛对大型语言模型进行基准测试
为评估大型语言模型（LLM）编码能力，斯坦福、普林斯顿和康奈尔研究人员开发 CodeClash 基准测试，让多个 LLM 在多轮比赛中较量，涉及多种代码竞技场，还评估模型分析代码库能力，未来将处理更大代码库。
北大发布学术搜索评测ScholarSearch：难倒一众DeepResearch的“开卷考试”
北京大学DS - Lab发布ScholarSearch，这是评估大语言模型学术检索能力的数据集，含223道高难度题目。评估显示现有模型表现欠佳，纯推理模型准确率低，有搜索功能的模型虽有提升但仍不足。
好看不等于会交互！阿里发布基于交互的世界模型基准
阿里等联合推出 Omni - WorldBench 评估框架，指出多数高颜值 AI 视频在物理规律和交互逻辑上有缺陷。该框架含提示词套件和量化评估框架，对 18 款模型测评，为 4D 世界模型研发指明方向。
从6人日到1人日：一次AI驱动的客户端需求开发实战
文章分享AI驱动客户端需求开发实战，从实践活动汇总AI Coding问题，给出解决建议。以穿搭动态框架需求为例展示开发过程，对比效率提升300%，还探讨需求拆分、Prompt编写等问题，介绍业务开发范式。
GitHub Copilot新代理把「自家人」逼疯了！
GitHub Copilot新智能体Coding Agent公测，官方想让它成协作开发搭子。但在微软仓库使用时问题多，多次提交失败、逻辑不通，未解决关键问题，虽能自动完成繁琐任务，但距‘靠谱搭子’还远。
Claude Opus 4.7发布！这是你在别的公众号看不到的五个发现
Anthropic发布Claude Opus 4.7，编码和视觉能力提升，但长上下文能力下降。其231页的System Card藏着不少有趣发现，如Opus 4.7非最强模型、Claude知道被测试、模型审查自身评估等。