「LLM评估」共找到 1596 篇相关文章
5.8k Star 基于LangGraph的Multi-Agents炒股框架，7种Agent形成金融交易闭环
TradingAgents是模拟真实交易公司运作的多智能体交易框架，用LangGraph构建，有灵活性与模块化特点。由7种LLM驱动的专业智能体协同评估市场、制定决策，还介绍了架构和实战操作。
从「记忆解题」到「深度推理」：港科大推出首个本科数学动态评测基准 UGMathBench
港科大团队发表在 ICLR 2025 的研究 UGMathBench，是首个本科数学动态评测体系。它涵盖 16 个学科领域，通过变量扰动创建多版本试题，引入创新指标评估模型推理能力，测试结果揭示了当前模型短板。
Jina官方MCP三板斧：搜、读、筛
Jina官方发布MCP服务器，将核心能力封装成LLM工具集。介绍工具功能、连接使用方法，给出问题排查方案，通过案例展示搭建工作流效果，评估不同模型，指出Agent瓶颈及MCP开放生态价值。
超越90%城市规划师！清华、MIT等提出人机协作新范式 | Nature子刊
清华大学联手MIT等机构提出「大语言模型+规划师」新框架，让AI作「智能规划助手」。框架含概念设计、方案生成、效果评估三阶段，实验显示AI表现超九成人类规划师，未来将人机协同。
Shopify分享了他们做Agent的万字踩坑经验
Shopify分享构建生产级AI助手Sidekick的万字经验。构建中遇工具拓展难题，用JIT指令解决；评估是大挑战，建立严谨体系，虽有提升但效果仍有波动，模型还会钻空子，最后强调单Agent系统也强大。
利用大模型检测钓鱼邮件:方法，效果及数据集
随着企业安全防范增强，钓鱼邮件成重要攻击手段，大模型检测方法盛行。日本论文详细披露检测方法和实验数据，含解析解码、简化邮件、生成prompt、调用LLM四步，还介绍数据集及评估了四个模型效果。
比 Context7 更靠谱：Exa-code 靠 1B+ GitHub 与 Stack Overflow 减少幻觉
Exa团队索引超1B+文档、GitHub仓库等内容，exa - code对其混合搜索、分块处理。它是首个为编码代理制作的Web规模上下文工具，在代码幻觉评估中表现超流行网页搜索工具，核心技术有专为AI的搜索引擎和高效返回上下文。
推理正确率下降65.5%！斯坦福、MIT等用「不等式」拷问AI逻辑极限
大语言模型在数学证明常现推理漏洞，斯坦福等高校团队提出IneqMath基准评估其严谨性。用不等式证明题切入，拆解为子任务，构建评测体系，用LLM - as - Judge审查。结果显示模型推理正确率低，存在结构性缺陷。
一年成爆款，狂斩 49.1k Star、200 万下载：Cline 不是开源 Cursor，却更胜一筹？！
AI编程助手看似热门，实则多数亏本运营。Cline选择开源，允许用户自由组合LLM编程，个人免费，企业服务收费。它一年成明星产品，获49.1k Star、近200万下载，其创始人分享了产品理念、发展等多方面思考。
首个地球科学智能体Earth-Agent来了，解锁地球观测数据分析新范式
上海人工智能实验室与中山大学联合研发的 Earth - Agent 解决了多模态大语言模型用于地球科学研究的痛点。它将领域知识工具封装化，利用 LLM 智能规划调度。经 Earth - Bench 评估，其在多方面表现出色，未来发展前景广阔。