「LLM评估」共找到 1596 篇相关文章
2篇论文，最新上下文工程技术一次性讲透！
上下文工程技术持续火热，文章分享10月两篇相关论文。ACE让模型给自己写「战术板」，在多任务表现优；SA - ICL让LLM先搭框架再做题，在化学/物理准确率提升显著，还对二者做了横向对比。
用「进化+压力测试」自动生成的竞赛级编程题，各家大模型谁更hold住？
北京大学与通用人工智能研究院联合提出 UniCode 框架，构建进化式评测系统，能自动生成高质量算法题目与抗污染测试用例。通过对 19 个前沿大模型测试，展现高挑战性与强判别力，为代码能力评估开辟新路径。
Andrej Karpathy 开炮：智能体都在装样子，强化学习很糟糕，AGI 十年也出不来
本周五，Andrej Karpathy 长达两小时多的采访视频引发关注。他直言行业步子迈得太大，嘲讽 AI 现状夸大、脱离实际。他认为智能体成熟需十年，强化学习糟糕，还探讨了 AGI、人类学习、教育未来等多方面问题。
剑桥揭开大模型翻车黑箱！别再怪它不懂推理，是行动出错了
剑桥大学等机构研究指出，大模型执行长时任务易翻车，问题不在推理而在执行能力。研究人员评估多个指标，发现单步准确率提升可让任务长度指数增长，还研究了自条件化等影响及模型规模的作用。
EMNLP 2025 | CARE：无需外部工具，让大模型原生检索增强推理实现上下文高保真
MetaGPT等机构团队发布CARE框架，可让LLM将推理上下文与自身检索能力结合，已全面开源。它提出原生检索增强推理范式，采用两阶段训练策略，在问答基准实验中表现出色，为解决模型问题提供新路径。
Nano Banana核心团队：图像生成质量几乎到顶了，下一步是让模型读懂用户的intention
这是对Nano Banana核心团队的专访。团队认为图像生成质量提升空间有限，未来关键在模型可表达性和读懂用户意图。还探讨了图像模型发展趋势、应用场景、产品设计、评估方式等，提及与传统工具将长期共存。
CUDA-MODE第77课课程笔记：用于GPU kernels的DSL
该课程笔记由Tri Dao介绍GPU kernel开发的DSL生态，涵盖PyTorch、Triton、Cute - DSL等。提出计算效率评估公式，对比不同DSL在Softmax、GEMM等操作的性能。还提及其他DSL工具与Triton扩展项目，并给出使用建议。
专治智能体盲跑！微软发布AI Agent 5大可观测性，打通任督二脉
今天凌晨微软官网发布AI Agent 5大可观测性最佳实践，解决智能体盲跑等难题。介绍了智能体可观测性概念和好处，展示5个应用案例，还阐述5大实践，如选模型、持续评估、集成CI/CD等。
视觉Token注入CLIP语义，走向多模态理解与生成新范式
腾讯ARC Lab等机构提出全新视觉分词器TokLIP，将低级视觉Token与高级CLIP语义结合，支持端到端自回归训练，可接入LLM框架，降低计算与数据门槛，在多模态任务中表现优异，代码已开源。
老外给中国 AI 开源厂商打分：第一梯队是 DeepSeek 和 Qwen。
Nathan Lambert发布“中国开源模型开发商排名”，评估19家实验室贡献，第一梯队是DeepSeek和Qwen。还介绍字节跳动豆包、小米、百度文心一言发展情况，如豆包月活全球第二，小米模型效率突破，文心一言企业应用领先。