「语言分析」共找到 2138 篇相关文章
突破Pass@1瓶颈:一种让LLM自我博弈、永不枯竭的RL新范式,超越基线22.8%!
近年来,基于可验证奖励的强化学习(RLVR)在提升大型语言模型(LLM)推理能力上有关键作用,但存在熵崩溃问题。论文提出SVS创新策略,让模型自我合成变分问题形成自我提升循环,实验效果惊人。
AI 狂潮中,电子业破局:国产先进封装加速突围
AI应用渗透使算力需求结构重塑,传统芯片技术升级遇阻,先进封装技术成关键。文中介绍DeepSeek架构突破、DeepSeek - R1算法革新,分析其对算力需求的影响,指出高性能算力芯需求仍高,先进封装能释放芯片性能,国产有望突破。
英伟达开源9B参数小模型,比Qwen3快6倍
英伟达推出新型小型语言模型Nemotron Nano v2,在复杂推理基准测试上准确率与Qwen3 - 8B相当或更高,速度快6倍。它兼顾推理与非推理任务,支持“思考”预算控制,还开源了创建模型的绝大部分数据。
AI安全上,开源仍胜闭源,Meta、UCB防御LLM提示词注入攻击
Meta和UCB开源安全大语言模型Meta - SecAlign - 70B,其对提示词注入攻击鲁棒性超闭源方案,还具更好的agentic ability。介绍了提示词注入攻击背景、防御方法,该模型打破闭源垄断,开源代码助力安全AI建设。
突破单token预测局限!南洋理工首次将多token预测引入微调,编程任务准确率提升11.67%
当前主流大语言模型依赖下一token预测训练,难理解跨多token完整概念。南洋理工大学提出概念感知微调(CAFT)技术,首次将多token预测引入微调,能让模型理解完整概念,多领域实验显示其可显著提升模型性能。
基于OpenAPI和AI coding的上云智能体构建实践
文章介绍基于OpenAPI和AI coding构建上云智能体的实践。分析不同编程范式,结合AI coding发展与Multi - Agent问题,阐述构建方案,包括业务场景、构建方法、技术实现、当前效果及后续展望,还提及文档智能与RAG构建LLM知识库。
“老程序员”为啥不迷信 AI 带来的效率提升?聊聊 AI 编码的局限与现实
开发经验丰富的人对AI编码提升效率更保守,因现有开发模式下,AI编程效率提升有限。特定场景AI给力,但项目复杂时提升迅速下降,还分析了原因,最后提到微服务架构或在AI编程时代重新火起来。
阿里+清华发现80/20法则:LLM只靠20%的token就能学会Reasoning
阿里与清华研究发现,训练大语言模型(LLM)推理时,真正关键的是20%的高熵token,其余80%低熵token几乎无用。仅用20%高熵token做强化学习,效果超全量训练,还提出RLVR训练策略提升效率。
小米造芯:一个失败者重整旗鼓
小米曾在2017年澎湃S1铩羽而归,2021年重启手机SoC设计研发。此次玄戒O1一次流片成功后回片,表现超预期。文章分析了小米此前失败教训,介绍其芯片战略,还谈及产业特点与小米面临的挑战。
妈妈再也不用担心延迟了!斯坦福手搓Llama超级内核,推理仅需0.00068秒
斯坦福Hazy实验室推出低延迟推理引擎「Megakernel」,将Llama - 1B前向传播融入单一GPU内核,H100上提速1.5倍,B200上每次推理仅0.00068秒,比vLLM快3.5倍。文章分析传统引擎问题并介绍Megakernel设计。