「低熵token」共找到 1592 篇相关文章
面向 SGLang 的 Profile Analysis SKILL：3 张表定位 Kernel Fuse 和 Overlap 机会
文章介绍了面向SGLang的Profile Analysis SKILL，其工作流统一，输出3张表定位Kernel Fuse和Overlap机会，支持多种分析方式和模型。还给出Qwen/Qwen3.5 - 4B和openai/gpt - oss - 20b的分析结果，并表明该SKILL能节省token、缩短工期，作者厌恶Torch Compile。
社区供稿丨Jina-VLM：可在笔记本上跑的多语言视觉小模型
Jina AI发布2.4B参数量的视觉语言模型Jina - VLM，在多语言视觉问答任务达SOTA。它引入注意力池化，连接视觉与语言基座，处理问答等任务，对硬件要求低，多项测试表现优，还介绍架构、训练策略和上手方式。
王小川：医疗行业对大模型有三大刚性要求，但通用模型一条都不达标
5月22日百川智能展示医疗大模型Baichuan - M4与AI家庭医生「百小医」。王小川指出通用大模型用于医疗有问题，医疗对大模型有低幻觉、强循证、会提问的刚性要求，而通用模型不达标。Baichuan - M4表现出色，百小医也有独特定位和优势，且与三家顶尖医院合作成果显著。
为什么BF16的FlashAttention会把训练「炸掉」？清华首次给出机制解释，用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。
图像分词器造反了！华为 Selftok：自回归内核完美统一扩散模型，触发像素自主推理
华为盘古多模态生成团队推出 Selftok 技术，通过反向扩散将自回归先验融入视觉 token。它突破传统，实现因果 token、强化学习友好型 token 及纯 AR 大一统架构，实验在多方面表现优异，论文还入选 CVPR 2025 最佳候选。
Meta开源多语言语音识别系统，支持1600种语言，可轻松扩展新语种！
Meta研究团队开源Omnilingual ASR，能理解1600种语言，用几条语音 - 文本配对样本就能零样本扩展新语种。提供三种架构，满足不同需求，性能超现有多语种模型，应用场景广泛。
重磅！翁荔最新Scaling Law深度洞察来了
北大毕业的前OpenAI高管翁荔（Lilian Weng）的《Scaling Laws, Carefully》值得一读。Scaling law是预训练预算表，能帮少烧错钱。文章探讨大模型训练预算分配，分析Kaplan和Chinchilla结论差异及数据稀缺问题。
AI 写代码太烧钱了：Copilot、Claude 一起涨价，不如把程序员请回来？
GitHub和Anthropic几乎同时宣布调整AI写代码的计费模式，引发AI写代码成本是否会超雇程序员的讨论。AI公司前期以低价或免费扩张，如今将成本转嫁用户，但浪费严重，临界点临近。
Transformer终结者！谷歌DeepMind全新MoR架构问世，新一代魔王来了
KAIST、谷歌DeepMind等机构发布的MoR架构，推理速度翻倍、内存减半，重塑LLM性能边界，碾压传统Transformer。它融合参数共享与按需计算，有路由和KV缓存策略，实验显示其性能优越、可扩展性好。
ICLR 2026录用结果公布！AI大佬晒成绩单，AI滥用最严重一届
ICLR 2026投稿达19000篇破纪录，录用率28.18%，平均分5.39创三年最低。评审系统曾现漏洞，作者仍晒喜报，如北大张铭组中5篇。但AI滥用严重，21%评审意见被疑由AI生成。