「代码能力评测」共找到 4860 篇相关文章
CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了
北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。
以孔子命名，超越Claude 4.5 Opus，Meta发布工业级自我进化AI软件工程师CCA
Meta与哈佛联合推出工业级软件工程师CCA，它是一套让AI在工业级代码库协作的方法论，解决长上下文推理等难题。其三维解耦设计、精细记忆机制、自我进化能力获数据验证，还适合引入强化学习。
OpenAI 的“编程”新范式？其实是瀑布模型的回魂：“听 PM 的话、写需求文档”
在今年AI工程师大会上，OpenAI研究员Sean Grove提出在AI驱动时代，清晰规范将取代传统代码成软件开发核心产物。他认为编程核心是结构化沟通，该转变是工程实践未来方向，但引发诸多讨论。
OpenAI解密大模型失控：它不是变坏，而是「太听话」
OpenAI公开IH - Challenge，解决大模型指令冲突难题。指出大模型问题多因听信错误指令，给出系统＞开发者＞用户＞工具的指令层级结构，设计数据集训练模型遵循高信任等级指令，提升安全可控性与抵御提示词注入能力。
为什么顶尖投行都选择了 Rogo 这个金融 Agent？
全球投行业务依赖大量初级分析师做重复性劳动，金融工作对 AI 有零容错、数据私有、工作流复杂的三重门槛。Rogo 由普林斯顿校友创立，嵌入 AI 能力服务超 50 家顶级机构，已获三轮超 1.65 亿美元融资。
刚刚，腾讯姚顺雨署名首篇论文发布，「下半场」先搞上下文学习
腾讯混元团队和复旦联合团队发布姚顺雨署名首篇论文《CL - bench》。论文证实模型在上下文利用上有能力短板，还构建了CL - bench评测基准，评估发现前沿模型在上下文学习上表现差，未来要让上下文学习走向现实。
硅谷GPU蒙尘，马斯克一言成谶：美国AI被电卡脖子
彭博社消息，加州圣克拉拉两处数据中心空置6年多等电力，凸显美国科技行业缺电问题。此前微软纳德拉承认缺电致GPU吃灰，马斯克也曾预言芯片或超供电能力。电力短缺制约数据中心发展，影响美国AI前进。
Meta发布Omnilingual ASR：支持1600+语言的开源语音识别系统
Meta发布全新自动语音识别系统Omnilingual ASR，支持超1600种语言，核心创新是零样本和少样本学习能力，降低小语种语音识别门槛。项目提供不同规模模型，安装调用简单，目前仅支持40秒内音频，数据集和项目均开源。
AI领域全新热门职业，岗位需求今年已增长逾800%
在AI技术飞速发展当下，「驻场交付工程师」（FDE）成连接实验室与市场关键角色。他们兼具算法能力与业务洞察，深入客户现场将抽象模型转化为可落地解决方案。国外企业纷纷扩充FDE团队，国内也开始有类似趋势。
AI Agent 距离真正替人「全自动办公」，还有多远？
Meta、微软和 xAI 被曝监视员工操作来训练 AI，原因是真实办公中 AI Agent 表现不佳。SaaS - Bench 评测显示顶级大模型表现糟糕，智能体存在长周期任务脆弱、跨应用错误放大等问题，未来 SaaS 软件或需为 Agent 重新设计。