「AI模型训练」共找到 13660 篇相关文章
为什么BF16的FlashAttention会把训练「炸掉」?清华首次给出机制解释,用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题,清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致,还给出极小修改稳定训练,且在多模型和硬件上验证有效。
谷歌Ironwood架构TPU v7:用AI造AI,撼动英伟达芯片帝国
11月25日谷歌云发布第七代定制芯片Ironwood,由AlphaChip设计。它以9.6 Tb/s光互联带宽和1.77 PB共享显存池重构大模型推理硬件基准,挑战英伟达芯片地位,展现AI算力竞争新趋势。
谷歌最强AI图像模型Nano Banana 100+精选案例,商业级 AI 创意图集!附高清Prompt
Awesome-Nano-Banana-images收集Nano-banana在各任务场景生成的惊艳图片与提示词,展示Google图像生成与编辑无限可能。文中列举插画变手办、根据地图箭头生成图片等110个案例及对应输入和提示词。
阿里达摩院开源多模态医学大模型—灵枢
大模型在医疗领域应用有医疗知识覆盖不足、幻觉风险高、推理能力欠缺三大难题。阿里达摩院开源统一多模态医学大模型灵枢,介绍其数据体系、清洗流程及四阶段强化训练方法。
美团杀入视频生成模型赛道,LongCat-Video 136亿参数媲美顶尖模型,效率提升10倍
美团LongCat团队发布LongCat - Video基础视频生成模型,有136亿参数量,多任务表现出色。它核心亮点多,还建立了数据处理流水线,采用特殊架构和训练方法,提升了生成效率,性能媲美顶尖模型。
挺搞笑,MiniMax模型就是不认识「马嘉祺」
网友发现 MiniMax 模型不认识「马嘉祺」,不同接口和平台均能稳定复现。这或因训练数据清洗和分布问题,使特定词汇生成异常。论文指出 tokenizer 机制缺陷或致模型异常,问题不会随参数规模增大消失。
OpenDev:破解AI编程指令衰减难题
当下AI编程工具竞争激烈,大多存在闭源或绑定单一模型的问题。OpenDev是开源的终端AI编程Agent,用Rust编写,仅3.7MB。其论文详细解释设计决策,给出指令衰减问题的工程解法,还有多种实用设计。
最新研究!大模型“角色扮演”无效了?
沃顿商学院研究测试6个主流AI模型,进行超25000次测试,发现告诉AI扮演专家角色,不会让其回答更准确,反向设定‘低知识’角色有时表现更好,角色扮演不是提高准确性的万能钥匙。
黄仁勋达沃斯首秀:GPU一卡难求,何来AI泡沫?
英伟达CEO黄仁勋在达沃斯首秀时力挺AI,提出‘五层蛋糕理论’,总结2025年‘三件大事’。他认为AI能增加就业、推动经济,回击‘AI泡沫论’,号召各国构建自己的AI。
The Batch: 919 | 本地 AI 能否替代云端?
大语言模型预测输出需求推动数据中心扩建,研究人员探讨本地小型模型能否分担算力负荷。斯坦福与Together AI团队研究发现,本地系统单瓦特智能量与云端有差距但在缩小,若准确率相近可节省能耗。