「测试时微调」共找到 2565 篇相关文章
什么都不做就能得分?智能体基准测试出现大问题
随着AI智能体走向实际应用,其基准测试变得至关重要。但现有基准测试问题多,如WebArena判错答案、τ - bench给无操作智能体高正确率。文章提出有效性判据和ABC清单,还揭示主流基准测试诸多问题。
从人工到AI驱动:天猫测试全流程自动化变革实践
AI时代,天猫技术质量同学探索AI在测试全流程提效的落地方案,将传统测试工作链拆解为五阶段,目标是实现全流程自动化等。介绍了测试体系变革、所需关键能力、技术架构及落地收获与未来趋势。
具身智能迎来ImageNet时刻:RoboChallenge开放首个大规模真机基准测试集
近日,RoboChallenge推出全球首个大规模、多任务真机基准测试。它构建开放、公正、可复现的‘真实考场’,为视觉 - 语言 - 动作模型提供评估标准,推动具身智能发展,还提供远程测试服务等。
Thinking Machines又发高质量博客:力推LoRA,不输全量微调
Thinking Machines 博客力推 LoRA 并与全量微调对比。研究发现小数据量任务中 LoRA 与全量微调效果接近,大数据量稍吃力,强化学习中低秩 LoRA 也能接近全量微调。还揭示了 LoRA 关键要素、超参数规律等。
微调已死?Agentic上下文工程登场,无需微调实现模型进化
斯坦福大学等团队提出 Agentic Context Engineering 技术,让语言模型无需微调自我提升。它将上下文视为作战手册,引入三种协作角色与三项创新,实验显示其在两类任务上表现优异,成本和延迟显著下降。
不用跟AI客气了!新研究:语气越粗鲁回答正确率越高
宾夕法尼亚州立大学研究《Mind Your Tone》显示,与AI交流时说话越粗鲁,LLM回答越准。测试发现,对GPT - 4o特别客气时正确率80.8%,粗鲁时升至84.8%,但老模型不适用。
NUS LV Lab新作|FeRA:基于「频域能量」动态路由,打破扩散模型微调的静态瓶颈
在大模型时代,参数高效微调(PEFT)已成为迁移大规模扩散模型至下游任务的标准范式。但现有微调方法多采用「静态」策略,忽略扩散生成过程内在规律。新加坡国立大学LV Lab等机构提出FeRA框架,通过频域能量动态路由,实现高效微调。
谷歌开源移动端AI自动化测试神器
本文介绍谷歌最新开源的移动端AI自动化测试工具ARTEMIS,它可将自然语言指令转化为Android自动化操作,支持跨App测试、多模态定位,在AndroidWorld基准评测中取得99%+任务完成率,提供多场景使用方式,可一键快速上手。
Claude团队用Qwen测试全新训练方法
Anthropic最新研究提出中训练(MSM),在预训练后、后训练前给AI立规矩。实验显示,新增MSM能让通义千问两款32B大模型失准率大幅下降,还能精简微调数据。MSM与对齐微调结合,可提升模型泛化能力。
OpenAI即日起测试给ChatGPT用户加广告
OpenAI今日起在美国对已登录成年Free和Go订阅层级用户测试ChatGPT广告功能。广告不影响回答内容,目的是为免费及低价服务提供资金。有不看广告的办法,广告匹配有规则,隐私有保障,此次测试为收集反馈。