「评估驱动开发」共找到 2707 篇相关文章
大模型在具身推理上「翻车」了?4496 道题全面揭示短板
美国东北大学等提出BEAR基准评估MLLM具身智能子能力,用4496道题测试20个模型。发现多模态大模型具身能力不足,还分析错因,开发BEAR - Agent提升模型具身推理能力,在仿真测试中效果显著。
The Information:揭秘 OpenAI GPT-5 崎岖的研发之路
The Information揭秘OpenAI GPT - 5研发困境,今年OpenAI遇技术难题,o3等模型研发受阻,内部有分歧。不过GPT - 5在编程等方面有提升,虽难与早期飞跃相比,但改进仍有价值,公司还在开发‘通用验证器’。
大模型之后,AI 开始“自己动手”了
从生成式AI到Agentic AI,互联网从“信息获取”转向“任务完成”。全球科技巨头抢滩智能体,国内腾讯云升级智能体开发平台。腾讯吴运声表示,技术与业务需求双轮驱动其发展,还分享了应对落地挑战的办法。
AI编程真面目:完整项目通过率仅27% | 上交大新基准
多校联合团队发布ProjDevBench,评估AI编程智能体端到端项目开发能力。结果显示,六种主流智能体总体提交AC率仅27.38%,从零构建任务中性能大幅下滑,还揭示了智能体多方面短板。
苹果或搁置自研模型,转向依赖OpenAI或Anthropic
苹果正考虑用第三方AI模型驱动Siri,这是其在AI竞赛中的重大转向。目前苹果多为自研技术,评估外部模型项目已启动,虽未做最终决定,但或借此摆脱AI落后声誉。网友对此看法不一。
CUDA-MODE第77课课程笔记:用于GPU kernels的DSL
该课程笔记由Tri Dao介绍GPU kernel开发的DSL生态,涵盖PyTorch、Triton、Cute - DSL等。提出计算效率评估公式,对比不同DSL在Softmax、GEMM等操作的性能。还提及其他DSL工具与Triton扩展项目,并给出使用建议。
AI 编程别光凭感觉:手把手实操 SDD,把 Vibe Coding 拉回工程轨道。
在AI编程中,“Vibe Coding”模式在大型项目上存在弊端,易带来架构不一致等问题。规范驱动开发(SDD)应运而生,它将重心移到“定义规范”。文章介绍了SDD理念、工具、流程,还给出实操步骤与落地建议。
不再迷信Hackathon,把Agent推翻重做了4次!Notion负责人复盘:做AI产品如何避免“逆流而上”?
Notion负责人复盘Agent开发历程,指出AI替代的是流程。他们将模型、产品和权限接入同一框架,历经多次重构,还探讨了组织管理、评估体系、软件工厂等内容,分享对CLI和MCP的看法及产品定价策略。
智能体崛起,AI+软件研发到新拐点了?
InfoQ《极客有约》X AICon 直播邀请多位嘉宾探讨 LLM 时代软件研发新范式。指出 AI 在测试中多为提效工具,距“原生开发时代”尚远;Coding Agent 潜力大;还谈及 AI 应用场景、落地问题、人员能力要求等。
OpenAI 的“编程”新范式?其实是瀑布模型的回魂:“听 PM 的话、写需求文档”
在今年AI工程师大会上,OpenAI研究员Sean Grove提出在AI驱动时代,清晰规范将取代传统代码成软件开发核心产物。他认为编程核心是结构化沟通,该转变是工程实践未来方向,但引发诸多讨论。