「清华艺博」共找到 353 篇相关文章
ChatGPT到底学了多少「污言秽语」？清华团队首提大语言模型中文语料污染治理技术
清华等团队研究发现，先进ChatGPT系列模型中文词表污染达46.6%，含色情、赌博等词元。团队定义分类中文污染词，构建识别模型，还能由词表污染估计数据污染，为语料治理提供方案。
清华2年前预言，正成为全球共识！Meta等三大AI机构已得出同一结论
全球三家AI研究机构结论曲线斜率几乎重合，而中国面壁智能和清华联合团队两年前提出的“密度定律”与它们一致。该定律改写行业假设，如推理成本下降、端侧智能爆发临近、大模型策略反转等。
为什么BF16的FlashAttention会把训练「炸掉」？清华首次给出机制解释，用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。
1.5B刷新数学代码SOTA！快手&清华精细化Token管理，LLM推理能力飙升
快手与清华团队用1.5B参数小模型在推理基准上超越同量级SOTA。其Archer方法通过精细化Token管理，对知识型和推理型Token差异化训练，让知识和推理同步更新且互不干扰，在数学和代码任务表现出色。
极简主义的胜利：清华团队用最简单的强化学习配方刷新1.5B模型纪录
清华、伊利诺伊大学和上海AI实验室团队提出JustRL架构，仅用单阶段训练和固定超参数，在1.5B模型上刷新性能纪录，计算量仅为复杂方法50%，挑战了复杂技术堆叠现状。
KTransformers入选计算机系统顶会、与主流框架合作，趋境&清华让「异构」成为推理新范式
KTransformers由趋境科技与清华团队联合研发，是高性能异构推理框架。其论文入选SOSP 2025，还与SGLang合作。它有算子优化等创新，能让CPU与GPU协同，推动推理架构融合，已成广泛复用的底层框架。
让GPU不再摸鱼！清华蚂蚁联合开源首个全异步RL，一夜击穿14B SOTA
清华与蚂蚁联合开源AReaL - boba²，实现全异步强化学习训练系统，解耦模型生成与训练流程，大幅提升GPU利用率。14B模型在多个代码基准测试达SOTA，性能接近235B模型。
让机器人在“想象”中学习世界的模型来了！PI联创课题组&清华陈建宇团队联合出品
斯坦福Chelsea Finn课题组与清华陈建宇团队联合提出可控生成世界模型Ctrl - World，可让机器人在“想象空间”预演任务。该模型使用零真机数据，提升下游任务指令跟随成功率。其相关论文已发布于arXiv平台。
清华天眸芯团队再登Nature系列期刊封面，类脑互补视觉范式重塑AI感知世界的方式
清华天眸芯团队继2024年《Nature》封面后，最新进展又登《Nature Sensors》封面。此次研究实现系统级算法软件生态飞跃，还开源工具链。成果在多场景有应用潜力，晰见科技推动其产业化。
AI看图一本正经胡说八道？「一拉一推」让模型看得全又准｜微软x清华
随着视觉 - 语言模型（VLM）推理能力增强，‘看错’问题凸显。现有方法有局限，微软亚洲研究院与清华提出BiPS，从训练阶段重塑模型‘看图方式’，通过‘一拉一推’机制让模型‘看全又准’，实验效果显著。