「评估框架」共找到 2212 篇相关文章
抢天才还是拼算力？前 Llama 推理负责人详解 AI 的真实天花板
前 Llama 推理负责人 Ross Taylor 在播客访谈中指出，AI 竞赛中的混乱和挖角是噪声，最终会被指数级算力淹没。他阐释了算力指数曲线决定竞赛天花板，强调系统性实验、高质量评估的重要性。
76%的性能提升与模型无关？Karpathy 700次 Loop 实验揭开 Agent 最大误区
前OpenAI联合创始人Andrej Karpathy警示业界重视模型框架。Hugging Face实验表明优化模型外层执行机制可大幅提升Agent性能，Karpathy开源项目揭示AI价值在循环迭代。还介绍了搭建持续进化Agent的方法及注意事项。
Qwen-Scope：看穿大模型的“小心思”
Qwen-Scope是基于Qwen3和Qwen3.5系列模型训练的可解释性模块，通过在隐藏层插入SAE提取可解释特征。它能分析模型行为、优化模型，应用于推理、数据、训练、评估等场景，可前往Huggingface或魔搭体验。
美团提出首个语音交互GUI智能体，端到端语音训练能力优于传统文本训练
美团和浙大联合推出GUIRoboTron - Speech，这是首个能利用语音指令和屏幕截图端到端决策的自主GUI智能体。它解决了文本依赖问题，团队经多步骤研发，其性能评估表现佳，还给出招聘信息。
[Triton编程][基础]vLLM Triton Merge Attention States Kernel详解
文章详细介绍vLLM中Triton Merge Attention States Kernel的实现，与PyTorch原生实现对比，该Triton kernel最高可实现3 - 5倍以上算子加速。内容涵盖Merge Attention States概念、PyTorch实现、Triton基础算子、分析及性能评估等。
DeepEval：LLM 应用评测不再玄学，让大模型评测像写单元测试一样简单
在大模型应用开发中，科学、自动化评测 LLM 输出质量是难题，人工评测效率低。DeepEval 是 Confident AI 团队开源的 LLM 评测框架，能用极简代码让评测像写 pytest 一样自然，内置多种评测指标，支持批量评测等。
AI 太烧钱！微软选择「倒戈」DeepSeek
微软宣布Copilot Cowork全球上线并引入按使用量计费机制，还评估引入DeepSeek V4。Agent普及使AI成本问题凸显，微软进行系统性重构，构建质量保障体系，成本工程化能力成竞争新焦点。
LLM助力突破尘封60年数学猜想！北大王立威团队大幅刷新斯坦纳比下界
北大王立威团队构建基于 LLM 的框架，聚焦 Gilbert - Pollak 猜想，将二维平面斯坦纳比从 0.824 改进到 0.8559。该进展被陶哲轩收录，工作已被 ICML 2026 接收，代码和证明均已开源。
45年数论猜想被GPT-5.2 Pro独立完成证明，陶哲轩：没犯任何错误
2025年1月17日，研究者Neel Somani让GPT-5.2 Pro解1980年提出的埃尔德什猜想第281号问题，证明经陶哲轩验证成立。此外，网友发现有更简单经典解法。陶哲轩提醒评估AI真实成功率有报告偏差。
打破确定性魔咒！北航团队提出VBF++：用“不确定性建模”刷新多模态视频推荐 SOTA
北京航空航天大学和北京邮电大学联合提出VBF++框架，将多模态融合从“点估计”升级为“分布建模”。它由上下文感知先验、推荐引导的对抗优化和元学习三大组件构成，在多个数据集上刷新SOTA。