搜索：代码评估数据集

「代码评估数据集」共找到 4416 篇相关文章

用AI写代码的真实体验：聪明却“不靠谱”的顾问，你敢用吗？

作者Luke Kanies曾是AI与LLM怀疑者，试用Vibe Coding后，认为要把AI当不太靠谱的外部顾问。用AI学Swift编程，发现它是糟糕架构师，但找语法错误快，相处中可让其做琐碎工作，不能全信它。

深度神经网络虽应用广泛，但对对抗样本脆弱，制约可靠部署。本文介绍发表于TPAMI 2026的工作，提出基于一致性模型的对抗净化方法（CMAP），实验表明其在不同场景下鲁棒性强，为对抗防御提供新视角。

OpenRouter网站有模型使用排行榜，按不同使用场景分类。2024年12月到2025年2月，Anthropic模型编程流量占比曾达80%，后谷歌Gemini 2.5 Pro等抢占份额，其跌至25%以下，Claude 4发布后份额回升。还介绍了OpenRouter特点。

国内穹明智能团队推出千元级手持采集系统 UMI ver.2 并开源。该系统精度达毫米级、能双臂协同，成本低、部署快。团队认为数据是关键，还计划搭建机器人数据 infra，预计新模型范式很快出现。

吴恩达分享团队用AI编程助手的经历，如Agent删代码。他认为AI辅助编程时代，自动化测试愈发重要，智能体测试能发挥作用，还强调优先测试基础设施代码，后端测试更关键。

阿里国际AI团队提出CIGEval，这是基于多模态大模型驱动的图像生成评估智能体框架。它集成多功能工具箱，通过任务拆解与工具调度提升评估准确性与可解释性，已在ComfyUI - Copilot上线。

复杂科学文献中公式识别问题重要，但现有模型有局限。DocTron - Formula通过简单微调在多场景达先进水平，还引入CSFormula数据集。它基于Qwen2.5 - VL微调，在多个数据集上效果佳。

OpenAI花1亿美金买Torch做「数据转接头」，想让ChatGPT成全科医生；Claude用超长文本窗口处理医学文献和数据。而NVIDIA投10亿与药企建实验室，用BioNeMo重写生命，开启药物生成新纪元。

Anthropic工程师发博客‘背刺’自家MCP，提出新方案让token消耗大减。新方案把MCP服务器转成代码文件运行，Skills或成MCP替代品，虽MCP还有价值场景，但多数情况下代码+Skills更优。

红杉中国团队提出AI基准测试工具Xbench，其双轨测评体系不再单纯执着于测评问题难度，重点量化AI系统在真实场景的效用价值，还构建长青评估机制，以确保评估结果的时效性和相关性。