「推理系统优化」共找到 4331 篇相关文章
从「找视频」到「产视频」:快手RaG推动推荐系统迈向完全生成时代
快手最新论文提出的 Recommendation-as-Generation(RaG),把推荐系统从「在已有视频里找答案」推进到「根据用户兴趣生成答案」,已在快手大规模广告系统中部署,带来广告收入提升。
基于Agent的SGLang Diffusion Kernel优化实践:Qwen-Image、FLUX.2和视频模型
本文记录基于Agent完成Qwen-Image、FLUX.2、Wan和SANA Video优化的过程,包括定位问题、写Kernel及遇到的坑。介绍SGLang Diffusion Kernel结构,分析数值敏感原因,展示各模型优化实践、无收益实验及验证流程。
英伟达力荐,小团队两个月开源一款「光速级」智能体推理引擎
智能体时代算力需求庞大,LightSeek Foundation 小团队 2 个月打造大模型推理引擎 TokenSpeed,有 TensorRT LLM 性能、vLLM 易用性,受英伟达力荐且已开源,为智能体负载提供近「光速级」推理能力。
重磅!Meta开源通用神经输入系统!人人可用的非侵入式手环登场
Meta开源通用神经输入系统,用基于手腕的输入技术结合上下文感知AI带来新交互体验。关键技术EMG可读取大脑电信号,将其转成数字命令,系统表现优秀,为“隐形”人机交互奠基。
新“SOTA”推理模型避战Qwen和R1?欧版OpenAI被喷麻了
“欧洲的OpenAI”Mistral AI发布首款推理模型Magistral,却再遭质疑未与最新版Qwen和DeepSeek R1对比。该模型亮点是支持多语言推理,以纯RL方式训练,为LLM强化学习提供新范式。
Qoder CLI + Harness Engineering 实战:构建 7×24h 无人值守用户反馈自动处理系统
在 Qoder 产品用户反馈增多、人力处理流程痛点凸显的背景下,构建 7×24 小时无人值守的用户反馈自动处理系统。该系统分四个核心模块,基于 Qoder CLI 实现,显著提升处理效率。
谷歌新发现:DeepSeek推理分裂出多重人格,左右脑互搏越来越聪明
谷歌研究表明,DeepSeek - R1等顶尖推理模型解题时,内部会自发“分裂”出不同性格虚拟人格,像在进行社交、辩论会,且越“吵”越聪明。团队借助SAE解码其脑内群聊,还发现‘哦!’能提升推理准确率。
无损加速视觉语言模型推理!轻松剪掉视觉冗余Token|腾讯AI Lab
多图像、长视频让大型视觉语言模型推理成本暴涨,成算力瓶颈。腾讯AI Lab联合CMU提出VScan,通过两阶段视觉token筛选机制,在几乎不损性能的前提下实现推理加速,且已在GitHub开源。
林俊旸从阿里离开后首度发声:推理模型的时代快结束了
前通义千问Qwen负责人林俊旸离职后发长文,指出AI正从「推理思考」转向「智能体思考」,分析推理模型发展,谈混合思考模式失败,还提及智能体思考挑战及相关企业、学术界进展。
大模型越反思越错,原来是长链推理通过自我说服加重幻觉 | 北邮
北邮研究团队通过思维链审计实验,揭示大模型长链推理‘越想越错’现象背后的元认知偏差。研究基于RFC协议文档构建受控知识域,分析推理过程,发现反思会加重幻觉,且现有检测方法难以应对。