「低资源语言」共找到 2343 篇相关文章
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。
蚂蚁集团扩散大语言模型新突破：超800Token/s，速度与质量兼得
蚂蚁集团将LLaDA更新到2.1，通过引入“草稿 - 编辑”机制，打破扩散模型推理速度与质量的对立僵局。它有极速和质量两种模式，还采用混合训练流程及强化学习，在多基准测试中表现出色。
传统训练效率很低？我们靠 “给模型降噪” 重新审视长上下文建模难题
文章指出长上下文模型处理长文本时易受噪声干扰，提出新评估指标IG分数和“上下文去噪训练（CDT）”方法。实验表明CDT优于现有策略，经其训练的开源模型在长上下文任务中性能媲美GPT - 4o。
Karpathy 评 DeepSeek-OCR：分词器必须消失！马斯克：光子才是 AI 的终极语言
Andrej Karpathy 发长文讨论 DeepSeek - OCR 论文，提出图像输入比文本更高效，还表达对分词器的厌恶，认为其必须消失。马斯克称 AI 主要交互将是视觉。开发者分享实践经验，也有人提出质疑。
8.6K star！！实时翻译、离线使用、支持50+语言，这个免费开源项目牛皮！
介绍开源项目RTranslator，它为Android平台实时翻译应用，用Meta的NLLB模型与OpenAI Whisper技术，本地处理保障质量与隐私。有双模式对话等功能，在Github获8.6K star。
一篇论文改写AI科研评价规则！中国公司拿出实践数据，双榜第一、成本更低
今年科技巨头入局AI4S，想打造“AI科学家”。8月19日《Measuring AI Scientists: From Exams to Discovery》论文提出评价范式。深度原理MIRA平台是现实样本，在评测中表现优异，沉淀闭环数据。
Agent 跑分追平 Codex、成本低至 1.95 美元，这家中国公司做到了
德勤报告显示86%多Agent项目落地失败，硅谷也出现‘无限智能体死循环’。EvoMap团队的EvoX采用‘蜂群式自进化’打法，系统容错率翻倍、完成率跃升，成本大幅降低。跑分追平Codex，还展现出自组织潜力。
DoorDash 如何打造了一款不完全依赖大型语言模型（LLM）的 AI 购物助手
DoorDash 分享对话式 AI 助手 Ask DoorDash 的架构，它借助 LLM、AI 代理等构建系统。测试显示其提升了结账转化率等指标，还构建自动评估框架改进质量衡量，架构分离协调与业务功能。
Thinking Machines新发现：Lora不是权宜之计，哪怕秩低到 1，也能匹敌全参数微调
Thinking Machines和John Schulman新研究刷新对LoRA的认知，实验显示正确使用时它能匹敌全量微调。团队系统研究训练集与参数关系，有层选择、学习率等关键发现，还给出实用建议，但LoRA在部分场景表现待验证。