「推理性能」共找到 3472 篇相关文章
字节Seed新作：模型合并如何改变大模型预训练范式
字节跳动Seed团队在arXiv发表论文，提出预训练模型平均（PMA）技术。该技术将模型合并引入预训练阶段，可提升性能、预测衰减阶段表现，还能解决训练问题。不过，高学习率影响和强化学习应用待研究。
Qwen&清华团队颠覆常识：大模型强化学习仅用20%关键token，比用全部token训练还好
Qwen与清华LeapLab团队研究发现，大模型强化学习训练推理能力时，仅20%高熵token就能撑起效果，甚至超全部token训练。团队用此在Qwen3-32B创造新SOTA记录，还探讨了强化学习的相关特性。
成本暴降88%！通义实验室、北大发布ZeroSearch，无需搜索即可激活LLM检索能力
信息检索能力对提升大语言模型推理表现至关重要，但现有方法在训练中面临文档质量不可控和搜索 API 成本高昂两大挑战。为此，通义实验室和北大提出 ZeroSearch 框架，无需真实搜索即可激活 LLM 检索能力，显著降低成本。
LightLLM中DeepSeek V3/R1 Two MicroBatch Overlap 实现解析
文章围绕LightLLM中DeepSeek V3/R1的Two MicroBatch Overlap实现展开。介绍了该技术原理，通过拆分推理过程、精心设计执行顺序实现计算与通信重叠。还阐述了数据结构设计、预处理、核心执行流程，以及优化策略和配置启用方式。
3.4K星Apple出品FastVLM：视觉TTFT效率提升85倍，凭啥这么牛！
文章指出VLM在实际生产应用中因高分辨率图像存在效率问题，介绍Apple出品的FastVLM解决方案，阐述其架构、训练过程，展示在多个基准测试的性能，凸显在高分辨率输入下提升效率的优势及实际应用价值。
Fable 5.1变身Token刺客，几分钟烧光额度！AI圈掀起「榨汁革命」
Anthropic发布的Fable 5.1虽性能强但极耗Token，引发开发者不满。当前AI产业面临算力饥渴与Token通胀问题，企业落地AI痛点多。迅策科技的TokenCloud平台能助力企业高效转化Token，还介绍了其配套产品TokenOS。
视频生成比播放还快：开源VDN-H3，14秒视频11秒搞定
近期，网络出现“无限流”视频，源于MiniMax H3。OpenVDN团队开源Video Delta Net（VDN），基于MiniMax H3使视频生成速度提升75到90倍，14.4秒的768p视频11.23秒就能生成。它采用混合思路，性能提升显著。
Qwen3.8-Flash：全新架构，更强更稳更划算
本文介绍了 Qwen3.8-Flash 多模态 MoE 模型，它原生支持 262,144 token 上下文。该模型在 Attention、Residual、Embedding 与 Optimization 四个方面系统升级，降低训练与推理成本，即将上线千问 AI 平台。还发布了 Qwen3.8-Flash-Next 开源权重。
大模型之外，向量存储如何支撑 Agent 的检索链路
文章指出大模型负责理解、推理和生成，而Agent需获取外部数据等。向量存储可将数据转化为语义向量，在Agent执行任务时找回相关内容。文章探讨向量存储技术方向，分享做法，还演示阿里云两种Serverless向量存储用法。
传奇黑客首次造出“透明芯片”，从硬件到代码全部公开可验证
8月初第34届Defcon黑客大会，主办方发放美籍华裔黑客黄欣国设计的徽章，核心是开源微控制器Baochip - 1x。该芯片从设计到制造全开放可验证，用红外原位检测，还集成硬件加固手段，安全性能对标商用元件。