搜索：模型训练难题

「模型训练难题」共找到 8611 篇相关文章

一个模型装下整个物种树！伯克利GPN-Star斩获基因预测双料冠军

加州大学伯克利分校等机构推出基因组语言模型GPN - Star，可将全基因组比对和物种树信息装进大模型。它克服传统GLMs短板，实现三点升级，在多基准测试表现出色，是强大的全基因组变异解读框架。

多图像、长视频让大型视觉语言模型推理成本暴涨，成算力瓶颈。腾讯AI Lab联合CMU提出VScan，通过两阶段视觉token筛选机制，在几乎不损性能的前提下实现推理加速，且已在GitHub开源。

由中国电子商会归口，智合标准中心组织起草的《人工智能大模型私有化部署技术实施与评价指南》团体标准立项，正征集起草单位和个人。该标准可解决企业部署难题，由多元主体联合起草，参与有重要价值。

清华、上交等团队联合发布首个多模态工业信号基座模型 FISHER，用搭积木法对异质工业信号统一建模。技术报告和权重已开源，还提出 RMIS 基准评估性能，实验显示其泛化能力强。

Google推出LightLab项目，可从单张图像精准控制光影，解决传统光影控制难题。其通过特殊数据集微调扩散模型，让模型学会控制光照，还介绍了方法、后处理流程等，实验显示表现优，有多种应用。

AI时代不止大语言模型，复合AI系统成共识。掌握各类模型特点对构建高质量AI应用关键，文章介绍了LLM、LCM、LAM等多种模型。

大模型编程竞争激烈，编码能力提升成军备竞赛。LMArena发布新世代大模型编码评估系统Code Arena，国产模型智谱GLM - 4.6登上榜首，其编码能力获认可，彰显国产大模型硬核实力。

常用的attention机制存在位置偏置和padding异常，影响剪枝效果。上海大学曾丹团队提出无需重新训练的attention去偏方法，在多模型、剪枝策略及基准上验证有效，为多模态模型部署提供新思路。

国庆期间大模型行业热闹非凡，各团队产品侧重不同。蚂蚁百灵大模型团队在十天内连续发布并开源两款万亿参数模型 Ling-1T 和 Ring-1T-preview，引发关注。万亿参数模型难训，国内达到此规模的屈指可数。Ling-1T 综合性能出色，应用场景广泛。蚂蚁选择开源，意在构建开放 AGI 生态。

前通义千问Qwen负责人林俊旸离职后发长文，指出AI正从「推理思考」转向「智能体思考」，分析推理模型发展，谈混合思考模式失败，还提及智能体思考挑战及相关企业、学术界进展。