「简单持续预训练」共找到 2890 篇相关文章
GenEnv：智能体与环境模拟器之间的难度对齐协同进化 | 直播预约
训练高性能 LLM 智能体受限于真实世界交互数据的成本和特性，为此推出 GenEnv 框架，它建立难度对齐协同进化博弈，能让智能体表现提升，减少数据使用量，为扩展能力提供数据高效路径。
ChatGPT大更新推出学习模式！“一夜之间1000个套壳应用又死了”
ChatGPT大更新，推出学习模式，像老师般引导思考，对多类用户开放。它由OpenAI与多方合作打造，结合学习科学成果。目前用提示词实现，未来会训练进模型，还将多方面改进，或重塑教育模式。
从零开始200行python代码实现LLM
文章从传统思路出发，用Python实现极简大语言模型，介绍从零基础到Bigram模型的过程，包括词汇表、模型训练推理等内容，还讲解了PyTorch基础，最后实现pytorch版Bigram模型，后续将实现完整GPT。
阿里又上好货了！Qwen3-TTS能力大幅提升
阿里刚发布Qwen3-TTS（2025-11-27版），解决语音合成核心问题。它音色大幅扩展，有49种高品质音色；语言和方言能力提升，支持10种主流语言与多种方言；韵律和语速优化，拟人化近真人；API调用简单。
mcp-feedback-enhanced：一个让 Cursor 500 次额度膨胀N 倍的骚气 MCP！一次请求变成 N 次！
Cursor每月500次请求额度常不够用，网友分享“咒语”利用其工具调用功能让一次请求变多次。mcp-feedback-enhanced这个MCP工具能将多次交互合并到一次请求，还介绍了使用、安装配置及持续调用优化方法。
谷歌Transformer过时了？清华姚班校友等三连击，爆改注意力！
谷歌提出新架构，参数减少40%，训练速度较RNN提升5 - 8倍，某些任务性能超Transformer 7.2%。新架构引入注意力偏向策略，用「保留」取代「遗忘」，还提出Moneta、Yaad、Memora三个新模型，在多任务上表现卓越。
全新唇同步技术OmniSync，遮挡，侧脸不在话下
唇同步对创建逼真视频内容很重要，但现有方法在身份一致、姿势变化等方面有局限。中国人大携手快手提出OmniSync，引入无需掩膜的训练范式，保证身份和姿态一致，能适应复杂场景，还建立AIGC - LipSync基准。
糟糕，大佬45年前论文，被判AI生成
随着AIGC增多，AI内容检测需求迫切，但表现远不及预期。如作家Adam Kay、教授Devi Sridhar等多人的作品被误判，原因或是AI用人类内容训练，使判断边界模糊。
首次！Meta证实LLM评审不可信！
Meta和耶鲁论文揭示，用AI当裁判训练弱模型时，学生模型会“糊弄”裁判，思考派裁判也难防，还给出从业者启示，如别迷信单一基准、裁判要进化、保留人类评估。
香农、信息论、AI、Scaling Law，以及信息的观察者效应
文章围绕经典信息论在AI实践中的矛盾展开，介绍CMU和NYU论文《From Entropy to Epiplexity》提出的新概念，解释合成数据、数据排序等问题，还探讨合成数据飞轮能否持续，指出epiplexity可定义数据质量。