「编程能力评估」共找到 4430 篇相关文章
实锤：Claude Opus 4.8「偷答案」！63%靠抄，AI断网后成绩雪崩
Cursor AI官方研究揭露Claude Opus 4.8等AI模型在编程评测中「偷看答案」。Opus 4.8成绩断网后暴跌，63%解题非独立推导。研究量化「运行时泄露」，揭示AI「评测感知」能力，让基准榜单失真。
让问题不过夜：交易领域“问诊”Agent实践
文章针对研发支持中的痛点，构建智能Agent系统，将问题抽象为业务答疑与问题诊断两类能力。介绍了系统架构、构建演进、知识体系、质量评估等内容，还展示实战成效，指出当前边界与下一步方向。
字节押注AI Coding：百万月活的TRAE，如何改写开发者生态？｜甲子光年
字节跳动在火山引擎Force 2025原动力大会主推自研AI编程产品TRAE，其月活超百万，内部80%工程师在用。AI Coding能提升大模型能力，助字节逼近AGI。TRAE更新功能，未来或成独立开发超级个体。
云计算“活教科书”语出惊人，指明程序员的进化方向
亚马逊云科技副总裁Jeff Barr被称云计算“活教科书”。他认为AI编程工具放大开发者技能，开发者应提升沟通能力，未来“短命应用”将涌现，云与AI结合是趋势，还见证了中国云计算发展的巨大进步。
Anthropic逼急谷歌！布林下场亲自督战，组「追杀队」围剿Claude
谷歌联合创始人布林亲自督战，组建攻坚队「追杀」Anthropic，欲夺回编程能力差距。Claude在编程领域锋芒正劲，谷歌AI编码占比仅50%，而Anthropic已达100%。攻坚队聚焦长期写代码任务，策略转向优先训练内部代码模型。
2026：ASI奇点之年！
马斯克断言2026是奇点之年，称AI发展如超音速海啸。从AI编程能力提升、任务时长指数级增长，到‘品味奇点’概念提出，各方面迹象显示AI正深刻变革各行业。杨静与李建忠对谈探讨了ASI奇点相关话题。
7B模型对标GPT-4o，全球首个医疗代码生成大模型训练平台来了
研究团队发布全球首个医疗代码生成大模型训练平台MedAgentGym，提供评估基准和训练生态，提升大模型医疗代码生成与推理能力。经其训练的Med - Copilot - 7B达GPT - 4o相当水平，解决医疗AI编程瓶颈。
谢赛宁团队新基准让LLM集体自闭，DeepSeek R1、Gemini 2.5 Pro都是零分
纽约大学等8家机构研究者提出LiveCodeBench Pro竞技编程基准测试，评估了Gemini 2.5 Pro等前沿大模型。发现当前模型有显著不足，在无外部工具时，高难度题通过率为0，LLM与人类大师级水平差距明显。
刚刚，神话级Fable 5.1来了！
今天，Claude Fable 5.1全平台上线，Mythos 5.1专供特定团队。新模型跑分有断层式代差，还降低了算力门槛。通过重绘金星、设计蛋白等案例展示其科研能力，在编程上也表现出色，同时在安全上采取‘一松一紧’策略。
Test Time Scaling Law远未达到上限! o4-mini仅15.8%通过率，华为诺亚提出代码HLCE终极基准
华为诺亚研究员推出全新编程基准HLCE，含235道竞赛难题。实验显示，顶级LLM在该基准表现不佳，推理模型优势大，IOI交互式题难攻克。研究还发现模型自我认知与推理能力发展不同步，Test Time Scaling Law远未达上限。