「主流语言」共找到 1597 篇相关文章
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。
蚂蚁集团扩散大语言模型新突破：超800Token/s，速度与质量兼得
蚂蚁集团将LLaDA更新到2.1，通过引入“草稿 - 编辑”机制，打破扩散模型推理速度与质量的对立僵局。它有极速和质量两种模式，还采用混合训练流程及强化学习，在多基准测试中表现出色。
Karpathy 评 DeepSeek-OCR：分词器必须消失！马斯克：光子才是 AI 的终极语言
Andrej Karpathy 发长文讨论 DeepSeek - OCR 论文，提出图像输入比文本更高效，还表达对分词器的厌恶，认为其必须消失。马斯克称 AI 主要交互将是视觉。开发者分享实践经验，也有人提出质疑。
8.6K star！！实时翻译、离线使用、支持50+语言，这个免费开源项目牛皮！
介绍开源项目RTranslator，它为Android平台实时翻译应用，用Meta的NLLB模型与OpenAI Whisper技术，本地处理保障质量与隐私。有双模式对话等功能，在Github获8.6K star。
DoorDash 如何打造了一款不完全依赖大型语言模型（LLM）的 AI 购物助手
DoorDash 分享对话式 AI 助手 Ask DoorDash 的架构，它借助 LLM、AI 代理等构建系统。测试显示其提升了结账转化率等指标，还构建自动评估框架改进质量衡量，架构分离协调与业务功能。
字节突然开源Seed-OSS，512K上下文碾压主流4倍长度！推理能力刷新纪录
字节跳动突发开源360亿参数的Seed-OSS-36B，呼应OpenAI开源策略。它有512K超长上下文，引入“思考预算”机制。多项基准测试达开源SOTA，字节Seed团队此前也开源多个项目。
舍弃自回归，离散扩散语言模型如何演化？NUS综述解构技术图谱与应用前沿
本文介绍新加坡国立大学xML团队的论文，梳理离散扩散方向研究图谱，对比自回归局限与离散扩散优势，阐述数理基础、模型生态、训练与推理技术，还提及应用及未来方向，显示其对自回归范式的替代潜力。
字节跳动Seed1.5-VL复杂图表精准抽取，Deep Think是多模态未来的主流
文章介绍字节跳动的Seed1.5-VL模型，它能精准抽取复杂图表，处理模糊图片、推理几何题。其由视觉编码器和LLM组成，预训练语料丰富，后训练结合多种方法，推荐在huggingface体验。
MeshCoder：以大语言模型驱动，从点云到可编辑结构化物体代码的革新
生成式AI在三维空间面临挑战，传统3D生成成果粗糙难编辑。团队推出MeshCoder，将三维输入翻译成结构化代码，有分部件生成等优势。介绍其实现路径、实验性能，也指出局限并展望未来。
KTransformers入选计算机系统顶会、与主流框架合作，趋境&清华让「异构」成为推理新范式
KTransformers由趋境科技与清华团队联合研发，是高性能异构推理框架。其论文入选SOSP 2025，还与SGLang合作。它有算子优化等创新，能让CPU与GPU协同，推动推理架构融合，已成广泛复用的底层框架。