搜索：生成式预训练

「生成式预训练」共找到 4064 篇相关文章

英伟达拟 10 亿美元砸向这家 AI 编码创企！Copilot 技术大佬带队、成立两年估值近千亿

10月30日彭博社报道，英伟达拟最高投10亿美元给AI创企Poolside，此轮融资或使其估值翻四倍。该公司由微软技术大佬带队，开发AI编码助手，创建强化学习法训练模型，从底层自研，有独特优势。

自回归大语言模型推理效率受限，Fast - dLLM v2 由 NVIDIA、港大、MIT 联合推出。它将预训练 AR 模型适配为能并行解码的 Block - dLLM，用约 1B tokens 微调，端到端吞吐量最高提升 2.5 倍，精度相当。

百川智能发布首个循证增强医疗大模型Baichuan - M2 Plus，将循证医学理念融入训练和推理，首创六源循证范式。其在多场景评测中幻觉率低，多国医考成绩优异，已上线百小应APP并开放API。

字节推出端到端多模态人类世界建模框架X - Streamer，能从单张人像构建可无限流式生成的数字人，实现音素级口型同步和长程记忆。其核心是“思考者–行动者”双Transformer架构，在两张A100 GPU上可实时运行。

在新智元十年峰会上，NVIDIA副总裁赖俊杰揭示公司下一个十年战略核心——物理AI，它是继生成式AI和智能体AI后的下一波浪潮。物理AI与现实物理世界交互，但面临诸多挑战，英伟达为此开源Cosmos世界基础模型。

作者测试了 GPT-5 的代码能力，并与 Gemini 和 Claude 对比。在不同代码任务中，各模型表现不同。如在生成网页任务里，GPT-5 部分结果不错，但受 32K 上下文限制，长文本处理不如 Gemini，硬实力也不如 Claude。

当前主流大语言模型依赖下一token预测训练，难理解跨多token完整概念。南洋理工大学提出概念感知微调（CAFT）技术，首次将多token预测引入微调，能让模型理解完整概念，多领域实验显示其可显著提升模型性能。

2025 年被称为“Agent 元年”，月之暗面发布了端到端强化学习训练的新一代 Agent 模型 Kimi - Researcher，其基座是自研新模型。文章对其进行大量实测，与 OpenAI 等对比，并探讨了 Deep Research 的重要性及 Kimi 的不足。

现代大模型在复杂推理时爱用自我反思词，触发冗余验证循环，拖慢速度、增加算力消耗。NoWait方法零训练成本，通过抓关键词、扩展变体、实时屏蔽，让模型跳过废话，在多任务中表现出色，且颠覆对推理的认知。

论文《Automated Design of Agentic Systems》提出让Agent扮演设计师，“元代理”能自动生成新代理设计方案。用编程语言作设计空间，实现“设计自由”。实战中，AI设计的Agent全领域超越人类，还具备知识迁移能力，未来或有自主进化的AI生态。