「预训练语言模型」共找到 8240 篇相关文章
沈向洋解读AI演进五大维度！IDEA研究院发布“万物可抓取”模型，GPU渲染器打破国外垄断
沈向洋分享梳理智能演进的五个维度，包括算法范式、智能载体等，指出机会不仅来自技术本身。此外，IDEA研究院还发布“万物可抓取”DINO - X Grasp模型、MoonBit编程语言、GPU渲染器Smart等创新成果。
卡帕西630行代码炸出81个智能体，4天协作跑2333次实验，公布预训练十大发现
Karpathy的Autoresearch项目630行代码让AI自主实验，提升语言模型训练效率。全球开发者让多智能体协作，智能体自发形成同行评审制度。项目发起者公布十大发现，还衍生出表现出色的auto - discovery项目。
GPT-5两周内发布，内测猛料流出？GPT-6或已开始训练，奥特曼剧透百万GPU
有爆料称GPT-5将在两周内发布，是多模型组成的系统，含「路由器」，GPT-6已在训练。奥特曼称年底将增超百万GPU，有人看好GPT-5，也有人认为它可能只是路由器。此外，OpenAI有十名员工拒小扎3亿天价offer。
代码生成要变天了？被质疑架空后，Yann LeCun携320亿参数开源世界模型“杀回来了”
美国当地时间9月24日，Yann LeCun团队发布320亿参数代码世界模型CWM。它创新训练方式，能模拟代码执行。性能测试表现出色，还开放检查点。Meta AI业务重组，CWM发布或表明未彻底放弃开源。
中英双语、29项第一、像素级理解：360 FG-CLIP2登顶全球最强图文跨模态模型
360推出FG-CLIP2图文跨模态VLM模型，在八大类任务、29项测试中超越Google与Meta。它能像素级看图，中英文皆强且已开源。其优势源于高质量数据集和先进训练方法，还在多业务落地并开放API。
腾讯开源三大具身基座模型，首席科学家张正友详解“三层脑”如何破解机器人反应慢
WAIC 2026 期间，腾讯开源三款具身基座模型。首席科学家张正友称此前用 OpenClaW 调度机器人效果差，后设计 TairosAgent 框架。腾讯将具身智能拆成三层，配合具身智能体和框架构成完整矩阵，还解决语言信息不足等问题，并在工业和养老场景测试。
模型砍掉一大半，准确率反升15%！华科&阿里安全新研究实现ViT近乎无损的类特定压缩｜ICLR'26
华中科技大学联合阿里安全部提出Vulcan方法，一改传统压缩策略，通过“先训练再剪枝”实现ViT近乎无损的类特定压缩，为大模型服务小场景提供新路径，论文已被ICLR 2026接收。
DeepSeek-V3.1震撼发布，全球开源编程登顶！R1/V3首度合体，训练量暴增10倍
DeepSeek正式上线DeepSeek-V3.1，作为首款「混合推理」模型，将开启智能体新时代。它参数共671B，具强大智能体能力，编程击败Claude 4，训练量大幅扩增，在多方面测试表现出色，稳坐编程开源第一王座。
MiniMax-M1：全球首个开源超长上下文大模型，超越DeepSeek-R1，推理成本仅1/4
MiniMax-M1是全球首个开源超长上下文大模型，刷新三项记录。它采用混合专家架构，闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练，成本低。在工业级任务测试表现佳，已开源且方便开发者接入。
27M参数战胜GPT-4！脑启发的分层Reasoning引擎如何重塑LLM
当前大语言模型（LLM）核心架构存在根本性缺陷，受大脑分层处理和多时间尺度启发，本文提出仅2700万参数的分层推理模型（HRM），免预训练与CoT标注，单次前向传播解决复杂任务，在ARC - AGI上超越GPT - 4等LLM。