搜索：预训练策略 - AI Reading Hub

「预训练策略」共找到 2851 篇相关文章

微信自研高性能推理计算引擎 XNet-DNN：跨平台 GPU 部署大语言模型及优化实践

本文深入解析微信自研的高性能推理计算引擎 XNet-DNN，介绍其核心技术架构和性能优化策略。该引擎基于 RCI 框架构建跨平台 GPU LLM 推理能力，在多方面超越现有解决方案，还给出了详实对比实验数据。

长文本能力对语言模型重要，但现有模型训练窗长有限，流行的RoPE也有局限。清华、上海AI Lab团队用傅里叶分析解读其不足，提出傅里叶位置编码FoPE，提升长文本泛化能力，实验表现超RoPE。

《排行榜幻觉》论文指出Chatbot Arena存在问题，如少数大厂私下多版本测试选最优、数据访问不平等、用Arena数据训练可提性能、模型被大量静默弃用等，研究团队给出改进建议，官方也进行了回应。

大模型训练前，团队常用 Chinchilla 缩放律估算模型规模和数据量，但它在模型和数据极不平衡的边界预测易跑偏。Meta FAIR 提出的 Skaling 只增加一个耦合指数，降低外推误差，还采用 L 形采样降低试算成本。

生成式奖励模型（GRM）推理策略存在算力浪费问题。腾讯混元与新南威尔士大学联合提出 E - GRM 框架，将模型不确定性定义为调度信号，按需推理。文章从多维度解读该框架，并展示实验评估结果。

摩尔线程发布国内首个全栈国产化具身智能仿真平台MT Lambda，实现Sim-to-Real真机验证。该平台像物理AI训练流水线，集成物理、渲染、AI引擎。其依托全功能GPU和MUSA架构，还构建了云端、端侧、生态闭环。

一篇被ICLR接受为Oral的论文，因作者在arXiv预印本提及工作部分在被美国制裁的RAIRI机构完成，遭ICLR无视审稿直接拒稿。网友将其与NeurIPS类似事件对比，还对作者是否“刻意隐瞒”有不同看法。

Coupang从关系型数据库迁移到NoSQL时，为解决序列替换问题，自研了专用解决方案。该方案采用双层缓存与滑动窗口预填充机制，以DynamoDB为数据源，让百余个服务无需重写代码完成迁移，性能和成本表现佳。

浙江大学联合美团龙猫团队、清华大学推出SKILL0，提出技能内化思路。它在训练中引入关键机制，让小模型把技能内化到参数里。实验显示，其效果出色，token效率高，为小模型成领域专家提供新方向。

日前，GIM宣布完成数千万元天使轮融资，由五源资本与Monolith投资。资金用于自研金融大模型迭代等。其定位自进化智能体投资平台，已推自研金融时序大模型，未来将推基金策略与产品。