算法论文8
UniCode框架:革新大模型代码能力评测
机器之心
AI 摘要
北大与通用人工智能研究院提出 UniCode 框架,用三种策略生成题目、压力驱动合成测试用例。经评测,它挑战高、能暴露模型差异,还证明含少量错题的大规模基准更可靠。
阅读原文 · 机器之心
用「进化+压力测试」自动生成的竞赛级编程题,各家大模型谁更hold住?
北京大学与通用人工智能研究院联合提出 UniCode 框架,构建进化式评测系统,能自动生成高质量算法题目与抗污染测试用例。通过对 19 个前沿大模型测试,展现高挑战性与强判别力,为代码能力评估开辟新路径。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯7
Claude两个新模型曝光,或下月发布
开发者在Anthropic的API中发现Claude的两个新模型代号claude - marshmallow - eap和claude - melon - eap,目前处于内部测试阶段。社区有多种推测,且Anthropic命名风格改变,新模型或下月发布。
机器之心
新闻资讯7
Anthropic营收反超OpenAI,IPO占优
IPO前夕,Anthropic最新年化营收达650亿美元,8个月翻超7倍,反超OpenAI。双方在资本市场竞争激烈,A社在起跑时间、财务、商业模式上占优,但OpenAI用户规模和产品生态占优,目前A社牌面更好。
量子位
新闻资讯8
菲尔兹奖得主:AI数学优势在‘输得起’
OpenAI发布内部版模型Astra的十项成果,引发数学界震动。菲尔兹奖得主Timothy Gowers分析其成果,指出AI优势在‘输得起’,还探讨找例方法、模型短板,给出训练建议与衡量跨越门槛的标准。
新智元
算法论文8
北大等提出 TensorCast,推理首字延迟最高降 93.2%
随着模型规模增长、新应用兴起,大模型基础设施面临管理「张量状态」挑战。北大、阶跃星辰与北邮联合提出 TensorCast,解耦张量状态,复用管理能力,在多场景测试中表现出色,为大模型基建提供新范式。
机器之心