「成本效益训练」共找到 3404 篇相关文章
PRSA 2025 | RPI Nithin Somasekharan、Shaowu Pan（潘韶武）：突破柯尔莫哥洛夫屏障——面向模型降阶的可学习加权混合自编码器
本文将线性POD与非线性Autoencoder通过可学习参数融合，提出可学习加权混合自编码器架构。在多数据集验证中，该方法克服了POD和纯AE的局限，在复杂PDE系统预测中表现出色，或可降低大规模计算成本。
停止迷信“超级Prompt”：要想AI不犯错，你得专门雇人“怼”它
这篇来自Isotopes AI的论文指出，在生成式AI落地中，迷信‘超级Prompt’不可取。对于高风险场景，单体LLM有局限，论文构建‘AI Office’架构，引入‘对手团队’概念，实验使准确率从60%提升到92.1%，但也有成本和局限。
JCP | 浙江大学边鑫等：基于 PINNs 的非结构自适应网格细化：面向稳态流动的残差驱动 AMR 新方法
本文提出利用控制方程残差引导网格细化的启发式策略，用物理信息神经网络（PINNs）整合粗网格数据与控制方程。通过解决流动问题并与传统方法对比，显示该策略能平衡计算精度与成本，但有额外计算开销。
NVIDIA港大MIT联合推出Fast-dLLM v2：端到端吞吐量提升2.5倍
自回归大语言模型推理效率受限，Fast - dLLM v2 由 NVIDIA、港大、MIT 联合推出。它将预训练 AR 模型适配为能并行解码的 Block - dLLM，用约 1B tokens 微调，端到端吞吐量最高提升 2.5 倍，精度相当。
14B打败671B！微软rStar2-Agent在数学推理上超过DeepSeek-R1
如今的大语言模型推理能力关键在于测试时扩展，但长思维链有局限。微软研究团队用主动式强化学习探索，成果 rStar2 - Agent 方法训练出 14B 的 rStar2 - Agent - 14B 模型，性能超 671B 的 DeepSeek - R1。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
突破多模态奖励瓶颈！中科院清华快手联合提出R1-Reward，用强化学习赋予模型长期推理能力
多模态奖励模型（MRMs）对提升多模态大语言模型表现至关重要，强化学习理论上可引入长期推理能力，但现有RL算法用于训练MRM会不稳定。中科院、清华等团队推出R1 - Reward模型，在多模态奖励模型benchmark上有显著提升。
为什么算力追赶这么难？前谷歌架构师现场黑板推演底层架构，看懂芯片底层逻辑里被忽视的“空间博弈”
前谷歌架构师、MatX CEO Reiner Pope在访谈中从基础逻辑门讲起，推导芯片架构，指出芯片大部分成本花在搬运数据上，还探讨乘加运算、脉动阵列等原理，以及时钟周期、FPGA与ASIC差异等内容。
震惊海外开发者！BOSS直聘3B小模型比肩80B，怎么做到的？
BOSS直聘楠北阁团队发布3B轻量端侧小模型Nanbeige4.1-3B，性能震惊海外开发者。团队从多方面改进，如优化推理和偏好对齐，重构训练数据，采用多种强化学习算法，使其性能比肩大模型。
腾讯LLM团队：对下一个 Token 预测的深入剖析，多样性 or 精准度？
最新研究证实RL能增强LLM推理，但成效受限预训练token分布。腾讯LLM部把交叉熵重写成单步策略梯度，用超参压熵，为RL打造‘低熵高信号’起点，经实验验证低熵模型优势明显。