「预训练数据」共找到 3993 篇相关文章
马斯克说漏嘴了！Claude Opus参数5T，Sonnet 1T
马斯克发帖透露xAI的Colossus 2超算训练模型情况，还回应网友时“手滑”泄露Claude的Sonnet 1T、Opus 5T参数。此外，文章梳理网友对Claude各版本参数的推测，也提到Anthropic未发布模型Claude Mythos。
小模型大作为！微博的VibeThinker-1.5B超越DeepSeek R1等头部大模型
近年来，“参数越大，能力越强”成行业共识，但带来成本高和资源集中问题。微博AI团队开发的VibeThinker - 1.5B用1.5亿参数和低训练成本，在多项测试中超越头部大模型，还提出SSP框架和MGPO算法。
30万被引的AlphaGo之父，创业4个月融资近百亿元！笃信RL实现ASI
4月27日，AlphaGo之父David Silver创办的Ineffable Intelligence获11亿美元种子轮融资，投后估值51亿美元。该公司押注强化学习和自我经验学习，试图挑战大模型主线。未来或采用大模型预训练和强化学习混合路线。
永别了，Sora！奥特曼All in超级App
OpenAI一早关停爆火仅6个月的AI视频APP Sora，包括其开发者版本及ChatGPT内视频功能。奥特曼此举是为打造「超级应用」、为IPO铺路，同时为新模型Spud腾出算力，其预训练已完成，将在未来几周发布。
NVIDIA港大MIT联合推出Fast-dLLM v2：端到端吞吐量提升2.5倍
自回归大语言模型推理效率受限，Fast - dLLM v2 由 NVIDIA、港大、MIT 联合推出。它将预训练 AR 模型适配为能并行解码的 Block - dLLM，用约 1B tokens 微调，端到端吞吐量最高提升 2.5 倍，精度相当。
DeepSeek一体机最新观察：满血版卖不动了，市场抢食零散的中低端机型生意
本文聚焦DeepSeek一体机市场，上半年国央企等大客户采购高端机型需求旺，头部硬件厂商营收可观，中小厂商冷清。下半年高端市场饱和，中低端机型“游击战”开打，部分厂商用国产芯片降成本，部分有政府关系的新厂商入局。已售一体机落地难，需杀手级应用和用户数据。
【博客转载】CUDA Vectorized Memory Access （文末送书）
文章展示如何用向量化内存访问提高CUDA函数有效内存带宽，实现朴素自定义设备内存拷贝函数，对比不同数据类型、大小及方法的性能，得出拷贝数据单元多、单元大及以8或16字节向量化单元拷贝可提升带宽等结论。
Thinking Machines又发高质量博客：力推LoRA，不输全量微调
Thinking Machines 博客力推 LoRA 并与全量微调对比。研究发现小数据量任务中 LoRA 与全量微调效果接近，大数据量稍吃力，强化学习中低秩 LoRA 也能接近全量微调。还揭示了 LoRA 关键要素、超参数规律等。
斯坦福提出新的RL范式，让3B模型的Agent超越Claude、GPT-4
斯坦福提出新的RL范式，让小模型Qwen2.5 - 3B经训练后性能超越Claude - 3.5 - Sonnet等大模型。论文解决了RL在代理环境中可变时长动作优化偏差和稀疏奖励两大挑战，为AI代理发展指明方向。
刚刚，OpenAI正式发布o3-pro！奥特曼激动更新博客：温和的奇点
今日凌晨，OpenAI发布o3-pro，Pro订阅用户可通过ChatGPT和API使用。其在多项任务表现出色，但在ARC-AGI数据集上与o3相近且成本高。网友测试评价不一，此外OpenAI CEO奥特曼还发表博客展望AI未来。