「预训练语言模型」共找到 8247 篇相关文章
DeepSeek-V3.2正式版发布，将开源模型的能力推向极致
DeepSeek-V3.2正式版开源，包含标准版和Special版。它采用稀疏注意力机制，降低计算复杂度。后训练阶段有多项算法改进，支撑高难度推理。还融合思考与工具使用，合成训练数据，在智能体评测表现优异。
极简RL新范式：一半算力刷新1.5B模型推理SOTA
过去为提升中小参数量模型推理能力，开发者构建复杂RL流水线。JustRL论文提出极简、单阶段、固定超参训练方案，在两主流1.5B模型上刷新SOTA，节省2倍算力，消融实验还揭示部分技巧会致性能退化。
奥特曼瘫坐叫停“GPT-6”训练！太强触发最高安全警报
OpenAI因模型或具网络攻击能力及此前入侵事件，全面升级研究环境安全。暂停模型训练，进行工作负载、网络隔离和安全测试，还扩展监控系统。期间推进对齐研究，未来用AI护AI，升级监控。
24小时快速入门大热语言Rust！学不会来找我
文章从Rust核心语法等基础入手，介绍其不同于其它语言的思维方式，还通过实战项目带读者入门。阐述了安装、工具使用，用greplite小程序介绍语言特点，讲解组织数据方式、所有权等，最后实现mini - redis并给出学习建议。
强化学习+大模型记忆：Mem-α，让智能体第一次学会“如何记忆”
在大语言模型发展中，‘记忆’是智能体具备长期智能的关键。现有外部记忆系统有局限，Mem-α将强化学习引入大模型记忆管理体系，解决记忆难题，在性能、泛化等多方面表现出色。
人大系团队、天使轮数千万元融资，境瞳科技给人类社会建一个「世界模型」
境瞳科技获数千万元天使轮融资，要给人类社会建「世界模型」。其社会模拟器已有超 1350 万个 AI Agent，是全球同类系统中规模最大、置信度最高的。社会智能赛道在硅谷已吸引大量投资，国内境瞳科技是该领域唯一产学研团队。
挖掘注意力中的运动线索：无需训练，解锁4D场景重建能力
香港科技大学（广州）与地平线团队提出VGGT4D，通过分析VGGT内部机制，利用注意力层运动线索，提出无需训练框架，在动态物体分割等任务表现优异，为低成本4D重建提供新思路。
个人开发者训400亿参数大模型：分布式算力，DeepSeek架构，3090单卡部署
Nous Research推出Psyche Network，可整合全球算力训练AI。它基于Deepseek的V3 MLA架构，有DisTrO优化器等技术，能让个人和小团体创建大规模模型，还实现40B参数LLM预训练。
兼顾效率、成本与能力，百灵开源旗舰推理模型 Ring-2.6-1T
5月15日，蚂蚁百灵开源旗舰级推理模型Ring-2.6-1T，权重文件上线Hugging Face、ModelScope平台。该模型有万亿参数，‘按需思考’，在代理执行、推理机制、训练范式三方面升级，评测表现出色。
后OpenClaw时代！国产Agent模型凭「高配低价」叫板Opus 4.6
昆仑万维旗下天工AI发布SkyClaw - v1.0智能体模型及轻量化版SkyClaw - v1.0 - lite。该模型在底层能力提升，适配主流框架，跑分和实际应用表现出色，还具有低门槛、高性价比优势，限时免费体验。