推理系统优化」共找到 4331 篇相关文章

算法论文8

从「找视频」到「产视频」:快手RaG推动推荐系统迈向完全生成时代

快手最新论文提出的 Recommendation-as-Generation(RaG),把推荐系统从「在已有视频里找答案」推进到「根据用户兴趣生成答案」,已在快手大规模广告系统中部署,带来广告收入提升。

机器之心
产品应用7

基于Agent的SGLang Diffusion Kernel优化实践:Qwen-Image、FLUX.2和视频模型

本文记录基于Agent完成Qwen-Image、FLUX.2、Wan和SANA Video优化的过程,包括定位问题、写Kernel及遇到的坑。介绍SGLang Diffusion Kernel结构,分析数值敏感原因,展示各模型优化实践、无收益实验及验证流程。

GiantPandaLLM
开源动态7

英伟达力荐,小团队两个月开源一款「光速级」智能体推理引擎

智能体时代算力需求庞大,LightSeek Foundation 小团队 2 个月打造大模型推理引擎 TokenSpeed,有 TensorRT LLM 性能、vLLM 易用性,受英伟达力荐且已开源,为智能体负载提供近「光速级」推理能力。

机器之心
开源动态8

重磅!Meta开源通用神经输入系统!人人可用的非侵入式手环登场

Meta开源通用神经输入系统,用基于手腕的输入技术结合上下文感知AI带来新交互体验。关键技术EMG可读取大脑电信号,将其转成数字命令,系统表现优秀,为“隐形”人机交互奠基。

带你学AI
新闻资讯7

新“SOTA”推理模型避战Qwen和R1?欧版OpenAI被喷麻了

“欧洲的OpenAI”Mistral AI发布首款推理模型Magistral,却再遭质疑未与最新版Qwen和DeepSeek R1对比。该模型亮点是支持多语言推理,以纯RL方式训练,为LLM强化学习提供新范式。

量子位
产品应用8

Qoder CLI + Harness Engineering 实战:构建 7×24h 无人值守用户反馈自动处理系统

在 Qoder 产品用户反馈增多、人力处理流程痛点凸显的背景下,构建 7×24 小时无人值守的用户反馈自动处理系统。该系统分四个核心模块,基于 Qoder CLI 实现,显著提升处理效率。

阿里云开发者
算法论文7

谷歌新发现:DeepSeek推理分裂出多重人格,左右脑互搏越来越聪明

谷歌研究表明,DeepSeek - R1等顶尖推理模型解题时,内部会自发“分裂”出不同性格虚拟人格,像在进行社交、辩论会,且越“吵”越聪明。团队借助SAE解码其脑内群聊,还发现‘哦!’能提升推理准确率。

量子位
开源动态8

无损加速视觉语言模型推理!轻松剪掉视觉冗余Token|腾讯AI Lab

多图像、长视频让大型视觉语言模型推理成本暴涨,成算力瓶颈。腾讯AI Lab联合CMU提出VScan,通过两阶段视觉token筛选机制,在几乎不损性能的前提下实现推理加速,且已在GitHub开源。

量子位
新闻资讯8

林俊旸从阿里离开后首度发声:推理模型的时代快结束了

前通义千问Qwen负责人林俊旸离职后发长文,指出AI正从「推理思考」转向「智能体思考」,分析推理模型发展,谈混合思考模式失败,还提及智能体思考挑战及相关企业、学术界进展。

花叔
算法论文8

大模型越反思越错,原来是长链推理通过自我说服加重幻觉 | 北邮

北邮研究团队通过思维链审计实验,揭示大模型长链推理‘越想越错’现象背后的元认知偏差。研究基于RFC协议文档构建受控知识域,分析推理过程,发现反思会加重幻觉,且现有检测方法难以应对。

量子位