「全参数微调」共找到 2641 篇相关文章
ChatGPT架构师，刚发布了最新研究成果
Thingking Machines发布第三篇研究博客，核心作者是OpenAI联创John Schulman。研究关于LoRA参数高效微调方法，探究其匹配全量微调效率的条件，给出简化调参方案，还提炼出三个核心发现。
固态电池量产了？谨防上当
年初CES展，芬兰Donut Lab公司发布全球首款“可量产、可用于实际车辆”的全固态电池，参数优秀到近乎诡异。但该公司团队无电池研发经验，且参数违背产业常识，量产固态电池或为骗局。
TinyAI ：全栈式轻量级 AI 框架
TinyAI是用Java实现的全栈轻量级AI框架，具有教育友好、模块化等特点。它分层设计，涵盖数学运算、神经网络等模块，支持多种模型架构与并行训练，还有智能体系统，可用于多领域，未来规划丰富。
Thinking Machines曝LoRA终极指南：10倍学习率，媲美全参微调
Thinking Machines推出论文《LoRA Without Regret》，研究LoRA与FullFT达到相近表现的条件。通过实验发现，把握关键细节，LoRA可与FullFT性能相当，还探讨了关键因素、批大小效应等内容。
GPT-Image-2全量上线，强出天际线
OpenAI的GPT - Image - 2虽未正式发布但已全量上线，实测在文字渲染、知识理解等方面超强大，有信息图、专辑封面、UI设计等多种玩法，Sam Altman官宣明天发布内容或含它，还可能宣布实现AGI时间。
1.5B参数！支持本地实时语音转录
Liquid AI发布首个端到端音频基础模型LFM2 - Audio - 1.5B，参数1.5B，能在本地设备处理高质量端到端音频任务。它是统一多模态模型，支持两种生成策略，多种应用场景，虽仅支持英文但性能出色。
FutureHouse 联合创始人：AI Scientist 不是“全自动化科研”
FutureHouse 由 Google 前 CEO 资助创立，今年 5 月推出四个 AI 科研 agent，6 月宣布 AI 系统 Robin 发现新药。联合创始人 Andrew White 表示，AI Scientist 并非‘全自动化科研’，生物比化学更具‘平台化’潜力，团队聚焦科研自动化。
关于CUTLASS Grouped GEMM中Alignment参数的分析
文章围绕CUTLASS Grouped GEMM的Alignment参数展开。介绍其含义与自然对齐有关，既代表访问粒度也指明地址对齐要求。针对CUTLASS 2.x和3.x API分别阐述设置Alignment的方法及原理，还给出编译期推导代码示例。
MoE RL 实战：统一 FP8 全流程训练
SGLang RL 团队等实现 RL 全流程 FP8 训练与采样，消除训推不一致性。介绍 FP8 硬件基础、格式等，分析训练难点，定位 KL Loss 异常源于量化原理，验证其在 MoE 模型 RL 场景优势，指出模型规模与训推不一致的关联。
MOE RL实战：统一FP8全流程训练
SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。