「多源混合训练」共找到 2320 篇相关文章
ICML 2025 | 清华、上海AI Lab等提出傅里叶位置编码,多项任务远超RoPE
长文本能力对语言模型重要,但现有模型训练窗长有限,流行的RoPE也有局限。清华、上海AI Lab团队用傅里叶分析解读其不足,提出傅里叶位置编码FoPE,提升长文本泛化能力,实验表现超RoPE。
68页论文再锤大模型竞技场!Llama4发布前私下测试27个版本,只取最佳成绩
《排行榜幻觉》论文指出Chatbot Arena存在问题,如少数大厂私下多版本测试选最优、数据访问不平等、用Arena数据训练可提性能、模型被大量静默弃用等,研究团队给出改进建议,官方也进行了回应。
基于大模型(LLM)的自选股智能分析系统,让AI帮你盯盘,每天自动推送分析报告
daily_stock_analysis是基于LLM的自选股智能分析系统,免费零成本运行,获6.3万Star。它多市场覆盖、聚合多源数据,自动生成决策报告并推送。有零成本运行等五大亮点,还给出上手步骤、适合人群。
拟合接近满分,外推却会跑偏:Meta 给缩放律加了一个指数
大模型训练前,团队常用 Chinchilla 缩放律估算模型规模和数据量,但它在模型和数据极不平衡的边界预测易跑偏。Meta FAIR 提出的 Skaling 只增加一个耦合指数,降低外推误差,还采用 L 形采样降低试算成本。
国产GPU开始造世界!国内首个全栈具身智能仿真平台来了
摩尔线程发布国内首个全栈国产化具身智能仿真平台MT Lambda,实现Sim-to-Real真机验证。该平台像物理AI训练流水线,集成物理、渲染、AI引擎。其依托全功能GPU和MUSA架构,还构建了云端、端侧、生态闭环。
小模型用不好Skill?新范式让模型学会Skill的底层逻辑,3B模型推理token省5倍,性能反超
浙江大学联合美团龙猫团队、清华大学推出SKILL0,提出技能内化思路。它在训练中引入关键机制,让小模型把技能内化到参数里。实验显示,其效果出色,token效率高,为小模型成领域专家提供新方向。
AIAA J | 西工大翟凯宇、李楠等:膨胀拐角影响下入射激波/边界层干扰的标度律分析
高超声速进气道肩部区域的激波 - 膨胀波 - 边界层干扰影响大,传统标度律有误差。本研究结合实验与理论,研究膨胀拐角影响下的入射激波/边界层干扰,提出改进标度律,还构建混合监测框架实现准确预测。
从宁波到登陆港交所,“边缘AI芯片第一股”的突围之路
2月10日,爱芯元智登陆港交所,被誉为“中国边缘AI芯片第一股”。它以“混合精度NPU”与“AI - ISP”为核心技术,构建产品矩阵。营收增长强劲,客户基础拓宽,应用领域广泛,在行业中排名靠前,但也面临挑战。
ChatGPT本来要5天后关掉
翁家翌在播客透露,起初推出ChatGPT是为收集用户数据,预期5天后关闭。他是OpenAI多代大模型发布贡献者,还分享了OpenAI内部情况,如模型训练、迭代速度等问题,也谈及自身经历和对AGI看法。
小白必读:到底什么是FP32、FP16、INT8?
文章介绍FP32、FP16、INT8等数字存储格式类型。指出它们是评估算力前提,不同格式在精度、范围、内存占用和计算速度上有差异,还提及多精度与混合精度计算,以及不同硬件对格式的支持情况。