「LLM评估」共找到 1596 篇相关文章
揭秘！腾讯如何训练多智能体像专家一样设计游戏场景
腾讯游戏提出游戏场景自动布局生成系统IntelliScene 2.0，利用图像引导生成3D场景。它构建多智能体工作流，结合高质量数据集，经模型微调、视觉解析等步骤生成场景，经评估效果良好，为AI生成三维信息提供新路径。
我用给DeepSeek 加了个搜索功能
作者为弥补DeepSeek无搜索聊天记录功能的不足，用Claude Code做了个插件。介绍了使用说明，还提及各LLM模型适用场景，称DeepSeek重模型智能，少营销但用户体验有折扣。此外，作者还用AI采集资讯发群。
大模型IMO25数学竞赛成绩公布了
大模型挑战IMO 2025成绩出炉，Gemini 2.5 Pro以超30%总成绩断崖式领先，超出第二名89%。测试由MathArena组织，采用统一环境和双人匿名评估。还介绍了测试模型、题目及模型表现，人类版结果预计本周六发布。
OpenAI重回巅峰：GPT‑5.5全球SOTA，碾压Opus 4.7
OpenAI发布GPT - 5.5，定位为‘为真实工作而生的新一代智能’。它在编码、科研、办公等多领域表现出色，能力重心转向‘自主完成任务’，在多项评估中成绩优异，还能加速生物医学研究，且Token效率大幅提升。
刚刚，OpenAI前CTO Mira Murati公司Thinking Machines Lab发文，揭开了大模型不确定性的真相
OpenAI前CTO Mira Murati创立的Thinking Machines Lab推出研究博客Connectionism，首篇文章聚焦LLM推理的非确定性问题。研究发现真正原因是批次不变性缺失，提出实现批次不变内核的方案，实验效果显著。
ClockBench：一个简单的钟表测试让AI全线溃败
ClockBench测试让11个多模态大模型与5个普通人认钟表时间，人类平均准确率89.1%，最好的AI仅13.3%。AI在复杂钟面表现差，却能处理抽象指令。该测试暴露视觉AI空间推理缺陷，对评估有启发。
没想到，最Open的开源新模型，来自小红书
向来低调的小红书昨日开源首个自研大模型 dots.llm1，它是中等规模的 MoE 模型，在较小激活量下性能良好。其开源力度堪称行业最大，还介绍了数据处理、训练优化等多方面技术细节。
字节最新大模型秘籍：只挑能有推理潜力的数据训练！1.3B模型无需标签自动挑选
字节Seed团队发布AttentionInfluence成果，用1.3B模型给7B模型选数据，无需训练和标签。通过比较基础与弱化模型损失差异评估数据影响，在多基准测试提升模型性能，还能结合分类器全面提升表现。
Karpathy用「harness」彻底终结了RAG。
假期时Karpathy提出llm.wiki想法引发关注。它是元框架，定义人类与AI协作管理知识的方式。与RAG不同，它将新材料关键信息编入已有wiki并持续维护。作者用多种数据测试，发现TextIn API解析效果好，还优化处理流程提升质量。
停止迷信“超级Prompt”：要想AI不犯错，你得专门雇人“怼”它
这篇来自Isotopes AI的论文指出，在生成式AI落地中，迷信‘超级Prompt’不可取。对于高风险场景，单体LLM有局限，论文构建‘AI Office’架构，引入‘对手团队’概念，实验使准确率从60%提升到92.1%，但也有成本和局限。