「预训练研究」共找到 3718 篇相关文章
基于百万亿 Token 的 AI 使用模式分析：趋势、拐点与未来｜PPT分享
近期OpenRouter报告《人工智能现状：基于OpenRouter的100万亿Token实证研究》，分析超100万亿个token的真实世界LLM交互数据，弥补LLM实际使用情况证据不足，揭示2024年转折及多方面发现。
OpenAI突然开源新模型！99.9%的权重是0，新稀疏性方法代替MoE
OpenAI悄悄开源新模型，0.4B参数且99.9%权重为零，是Circuit Sparsity技术的开源实现。该技术通过约束模型内部连接稀疏性，解决传统稠密Transformer黑箱问题，或让MoE模型走上末路，但目前算力成本极高。
直播预约 | 迈向用于演绎推理的诚实语言模型
本次讲座聚焦迈向用于演绎推理的诚实语言模型。当前语言模型难诚实推理，输入不足会产生无根据答案。为此制定多步骤任务，提出强化学习方法ACNCHOR，稳定学习过程、提高推理性能。
Stanford、Meta和Google等发现LLM存在五大天花板，再扩算力已无用
论文《On the Fundamental Limits of LLMs at Scale》指出，LLM性能提升有理论天花板，扩展中会遇幻觉、上下文压缩等五大根本限制，源于计算、信息与学习理论，未来应转向‘有限优化’。
LeCun在Meta的最后一篇论文
LeCun于11月11日提交最新论文《LeJEPA：无需启发式的可证明且可扩展的自监督学习》，当天其离职Meta消息曝光。论文提出LeJEPA自监督学习方法，解决表示崩溃问题，还回顾了JEPA架构发展，虽毁誉参半，但LeCun将继续推进世界模型工作。
少量视角也能得到完整3D几何，即插即用的语义增强重建插件来了
现有神经隐式路线在样本稀疏时有跨视角对应不稳等问题。上海交通大学等团队提出SERES，将跨视角语义一致性作先验注入模型，以低成本解决歧义问题，在多场景提升重建质量。
深度拆解，硬核解构，揭开vLLM推理系统实现高效吞吐的秘籍
文章深度拆解 vLLM 推理系统，介绍其核心组件和高级特性，包括推理引擎流程、调度机制、高级功能等，还提及系统扩展、分布式部署、性能测量等内容，助力读者理解推理引擎工作原理。
刚刚，全球首个GB300巨兽救场！一年烧光70亿，OpenAI内斗GPU惨烈
为争夺有限GPU，OpenAI内部争斗激烈，2024年算力投入70亿美元仍不够。微软发布全球首台GB300超算专供OpenAI，可让万亿LLM数天训完。OpenAI建立资源分配机制应对挑战。
字节推出X-Streamer，实时口型同步与长程记忆数字人框架
字节推出端到端多模态人类世界建模框架X - Streamer，能从单张人像构建可无限流式生成的数字人，实现音素级口型同步和长程记忆。其核心是“思考者–行动者”双Transformer架构，在两张A100 GPU上可实时运行。
Claude Sonnet 4.5来了！能连续编程30多小时、1.1万行代码
十一假期前，DeepSeek 开源新模型 V3.2 - Exp，深夜 Anthropic 发布 Claude Sonnet 4.5，自称世界最好编码模型，自主编码时长超 30 小时，还带来系列产品升级，在多方面表现优异。