搜索：Coding 基准测试

「Coding 基准测试」共找到 2875 篇相关文章

AI能否「圣地巡礼」？多模态大模型全新评估基准VIR-Bench来了

来自日本高校和企业团队提出多模态大模型评估基准 VIR-Bench，用于评测 AI 对旅行视频中地理位置与时间顺序的理解。它将任务拆解，构建数据集，实验显示模型虽有改进但性能远未达标，指明了大模型进化方向。

AI Coding成今年增长最快应用领域，近期又有3个产品获融资。印度Emergent完成2300万美金A轮融资；Rocket.New获1500万美金种子轮融资，欲成综合Agent系统；Vibecode定位App领域，拿940万美金种子轮融资。此外，AI找Bug也火了。

Tailwind CSS 核心设计师 Steve Schoger 用 Claude Code 做设计一个月，体验惊艳。他复盘了用其构建营销网站过程，还总结出设计细节处理方法，此外他正参与开发 UI.sh 工具。

近期Claude大面积封号，国内用户几乎被封完。Reddit大佬逆向Claude Code发现，其会静默读取本地信息，通过操作系统时区和环境变量识别中国用户，用隐写术传输标记数据，引发开发者不满。

此前大模型厂商未正面承认‘降智’，OpenAI 研究科学家称是心理错觉。但 Anthropic 公开承认旗下 Claude Opus 4.1 和 Opus 4 质量降级，然而问题未解决，Claude Code 用户信任崩塌，纷纷转向 GPT - 5。

作者分享Claude Code实用技巧，指出其默认状态有问题，如犯低级错误、无回滚功能。介绍基础设置、项目规则、用Hooks实现自动化等内容，能大幅提升其使用体验和生产力。

华盛顿大学首席开发者Brendan MacLean用Claude Code复活三年烂尾代码。他像带实习生一样带Claude，构建上下文让其理解代码库。同一周OpenAI开源Symphony，实现任务自动派Agent。二者路线不同但目的相同，都在探索让AI融入工程流程。

Claude Code推出自动化安全审查功能，有 `/security-review` 命令和GitHub Actions集成两大核心能力，能检测多种漏洞，与传统SAST工具比优势明显，还能解释问题并提供修复建议。

现有AI记忆评测存在数据源单一、忽视变化本质、注入成本高等局限。开源学术社区QuantaAlpha联合高校团队提出CloneMem基准测试，构建合成人生，设计评测任务，实验发现简单方法在检索上更有效，记忆系统应还原信息。

Anthropic给Claude Code发的更新，看似是修小bug，实则指向AI编程产品正从“模型会不会写代码”转向“Agent能否稳定完成任务”，暴露了工具状态、权限边界等执行问题。