「生成式预训练」共找到 4031 篇相关文章
张小珺采访了Kimi杨植麟，Agent泛化的临界点来了。
张小珺采访Kimi杨植麟，杨分享技术见解。如Scaling Law遇瓶颈，应提升Token效率；Adam与Muon对比，Muon学习效率高；模型公司下场做一方Agent产品，垂直整合模式上限高；还谈及长上下文、Agent训练及管理方式等问题。
LLM+RL遭严重质疑，随机/错误等虚假奖励也能提升至标准效果？
论文在AI领域观察到类似随机给糖或奖励错误答案让孩子成绩提升的现象，‘虚假奖励四大奇招’效果接近用标准答案训练，Qwen2.5 - Math - 7B模型在测试集上性能飙升，还揭示了Qwen特别的原因及随机奖励有效的推手。
12月首炸！可灵 O1 正式发布，全球首个统一多模态视频大模型，强得可怕！
12月快手旗下可灵发布全球首个统一多模态视频大模型Kling O1，标志AI视频进入“全流程语义控制时代”。它将多种视频创作能力统一，有全能引擎等五大亮点，性能对比优势明显，让AI视频生成更可控。
万亿级思考模型，蚂蚁首次开源！20万亿token搅局开源AI
10月14日蚂蚁集团发布万亿参数思考模型Ring-1T，在多领域表现出色，推理能力直逼闭源巨头。此前已开源旗舰通用大模型Ling-1T。还介绍了训练技术创新，虽模型有不足，但开源夺冠证明‘思考力’可工程化。
00后8亿美金「掀桌」！硅谷AI将书写影视新传奇，终结制片旧时代
00后华人女CEO Cecilia Shen带队转型Cybever为全球首家AI原生影视工作室Utopai Studios，首年获1.1亿美元收入。其技术从3D虚拟环境生成发展到完整视频制作，还推出两部大作，或改变影视行业格局。
MiniMax-M1：全球首个开源超长上下文大模型，超越DeepSeek-R1，推理成本仅1/4
MiniMax-M1是全球首个开源超长上下文大模型，刷新三项记录。它采用混合专家架构，闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练，成本低。在工业级任务测试表现佳，已开源且方便开发者接入。
华为盘古大模型:被芯片牵制的“千古”模型
华为盘古大模型团队员工自曝内幕，称其受芯片限制，早期算力有限、训练困难。还指出内部存在造假、套壳等问题，如135B V2套壳Qwen 1.5 110B，pangu pro moe 72B套壳qwen 2.5的14b等，导致人才流失。
华为新开源！扩散语言模型突破32K上下文，还解锁了「慢思考」
今年文本生成领域从自回归向扩散语言模型转变，但长序列训练不稳定是痛点。华为发布 openPangu-R-7B-Diffusion，将上下文长度扩至 32K，在多基准创 7B 参数量级 SOTA，还解析了其技术革新。
扩散模型+自进化：这篇论文让Deep Researcher错误率直降70%
论文提出测试时扩散深度研究代理（TTD-DR），将报告生成建模为扩散过程，有组件自进化机制和动态闭环设计。实验显示其在多领域研究任务超现有方案，为AI研究助手落地提供新范式。
拳打可灵，脚踢 Veo 3，谁是物理世界的「懂王」？
多模态视频生成大模型是复杂系统工程，多为巨头游戏。MiniMax的Hailuo 02发布，ELO得分超谷歌Veo 3和快手Kling 2.0。它能呈现复杂运动，处理物理关系，提升训练推理效率，成本低，后续还将更新。