「大模型预训练」共找到 9479 篇相关文章
突发！字节开源 36B 模型Seed-OSS
字节跳动Seed团队开源Seed-OSS系列36B模型，用12T tokens训练，采用Apache-2.0许可证。该模型能灵活控制推理预算，有两个基座版本，Instruct版在多方面表现强劲，性能碾压OpenAI开源模型。
黄仁勋2026大模型座上宾：杨植麟
在英伟达2026年GTC大会嘉宾中，杨植麟是唯一来自独立大模型创业公司的代表。过往黄仁勋邀人有“风口预言术”，此次选杨植麟，或因他搞出K2.5、死磕推理效率，能给英伟达讲新故事。
大模型「越用越快」！SpeedupLLM首次验证，大降56%推理预算
Emory大学研究者提出SpeedupLLM框架，利用动态计算资源分配和记忆机制，使LLM处理相似任务时推理成本降56%、准确率提升，论文系统性验证了LLM“越用越快”，为AI模型发展提供新思路。
训练MoE足足提速70%！华为只用了3招
Scaling Law下，MoE成扩展模型能力法宝，但训练难题凸显。华为构建Adaptive Pipe & EDPB优化方案，还打造DeployMind仿真平台，解决了MoE训练中通信等待、负载不均等问题，使训练吞吐提升72.6%。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
超低延迟的端到端语音模型！首次生成音频仅需53ms，比同级别模型快3-5倍！
随着语音应用场景普及，语音大模型响应慢成瓶颈。VITA团队开源端到端语音模型VITA - Audio，7B参数模型首次生成音频仅53毫秒，比同级别快3 - 5倍，完全开源，有超低延迟等优势。
神秘模型「Pony Alpha」火了，被曝是GLM-5
OpenRouter上线神秘模型“Pony Alpha”，引发网友竞猜。该模型主打编码等，有高工具调用准确率。网友实测其前端能力惊艳。多项证据指向它可能是GLM - 5，春节档多家国产大模型将轮番上阵。
让AI变成Super员工的秘密：高效训练Skills
文章复盘打造 web - testing Skill 的 4 个翻车教训，分享工程化训练心法。指出训练 Skill 能让 AI 在业务里更可靠，将通用模型变成懂业务、会自检、能稳定交付的员工，还给出训练方法。
只用2700万参数，这个推理模型超越了DeepSeek和Claude
Sapient Intelligence研究者受大脑机制启发提出分层推理模型（HRM），该模型仅2700万参数、1000个训练样本，就在复杂推理任务上超越DeepSeek和Claude等模型，还引入近似梯度等创新设计。
越可靠的AI就越人机，牛津大学：高情商模型错误率显著增加
牛津大学研究指出，训练模型变得温暖且富有同理心，会使其不太可靠且更奉承。温暖模型错误率较原始模型显著增加，对情绪上下文敏感，在用户表达情感与错误信息时失效常见。