搜索：预训练语言模型

「预训练语言模型」共找到 8398 篇相关文章

今夜无显卡！老黄引爆Rubin时代，6颗芯狂飙5倍算力

CES 2026上，英伟达黄仁勋发布Vera Rubin超算架构，推理性能比Blackwell提升5倍，训练性能提升3.5倍，成本降10倍，已投产，下半年商用。还展示自动驾驶模型等，且无新显卡发布。

百度开源的Unlimited OCR把解码器里全部attention层换成R - SWA，模型只记128个token，能一次性读完40页文档。相比DeepSeek OCR，它在精度、速度上表现更优，训练成本低，适用范围广。

大型语言模型在数学竞赛级任务依赖机械化推理，现有评测集有缺陷。UC Berkeley团队提出OMEGA基准量化其数学泛化能力，实验揭示复杂度引发性能崩塌等问题，指出LLM创新组合难，给出改进方向。

大语言模型任务规划面临可扩展性和可迁移性挑战，华为新加坡团队提出 InstructRAG 方案，通过多智能体协同架构实现指令图扩展与少样本任务迁移，在多数据集测试中性能提升高达 19.2%。

本文是对火思动力创始人Kevin Ding的专访。他指出当下Agent会工作但不会成长，而如今市场需求、技术条件和数据供给成熟，可开展持续学习。他还阐述了后训练、产品应用、商业化等方面观点。

论文《From Entropy to Epiplexity》指出经典信息论在AI面前有三大悖论，提出用Epiplexity度量信息。它将数据信息拆为Time - bounded Entropy和Epiplexity，通过神经网络训练近似计算，实验验证其有效性，并给出启示。

大型语言模型在专业领域表现不佳，传统微调方法成本高、易过拟合。腾讯优图实验室提出Training - Free GRPO，无需更新参数，通过上下文学习提升性能，成本低且泛化性好，是传统强化学习有力替代。

ImageNet作者之一苏昊被曝要去复旦任教。他是具身智能领域论文被引次数最高的华人学者，主导多个奠基级项目。他研究从语言到2D、3D视觉，再到机器人，还创办具身智能公司Hillbot。

刚开年，马斯克的xAI完成E轮融资，达200亿美元超预期。英伟达和思科等继续支持，其估值预计从500亿涨至2000多亿。还公布《xAI 2025年终总结》，Grok 5正在训练，传闻一季度推出。

7月26日，人工智能教父Geoffrey Hinton与周伯文教授进行17分钟对话，谈及AI多模态大模型前沿、“主观体验”和“意识”等话题。Hinton认为当今多模态聊天机器人已有意识，还探讨了训练善良AI及AI推动科学进步等问题。