「推理算力」共找到 2695 篇相关文章
视频理解新标杆,快手多模态推理模型开源:128k上下文+0.1秒级视频定位+跨模态推理
快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5,其有时序定位、描述和推理能力,跑分领先。采用三段式架构和Slow-Fast编码策略,经四阶段预训练和多阶段后处理,团队成果多,推动多模态技术落地。
如何通俗的读懂算力?
文章以拼图比赛作比,介绍了通用、科学、智能、AI专用这四种算力类型及其作用,指出摩尔定律失效下工程师探索创新提升算力。还阐述算力生态各环节,最后点明未来AI成算力市场核心引擎,中国算力发展亮眼。
LLM算力告急?把文本变图片,推理成本直接减半!
大型语言模型处理长文本时计算成本高,本论文探索‘文本即图像’输入压缩策略,将长文本渲染为图像输入多模态模型,可减少近一半令牌,且任务性能不受显著影响,在多任务中验证了其有效性。
首篇潜空间推理综述!模型思考不必依赖Token,带宽暴增2700+倍
史上首篇潜空间推理综述全面总结新兴推理范式,分析循环、递归等推理形式并总结成框架。潜空间推理用潜式思维链,带宽比显式CoT提升2700多倍,还介绍无限深度推理实现途径。
一家新能源大厂,如何撑起全球最大AI算力超级单体?
8月6日,远景科技集团在乌兰察布宣布「远景乌兰察布星河基地」投产,全球最大AI算力超级单体亮相。随着算力扩张,电力从配套成核心,远景将新能源转化成稳定算力能源,交付可承载大规模算力的基础设施。
蚂蚁武威:下一代「推理」模型范式大猜想
文章围绕下一代「推理」模型范式展开,蚂蚁技术研究院武威提出不同观点,认为长思维链推理未必最优,未来推理模型或更低维稳定,还探讨推理定义、重要性及解法猜想,如结合快慢思考等。
Claude两个新模型实测流出!空间推理封神,算力直接榨干了
Claude两款新模型“棉花糖”和“甜瓜”实测流出,在3D强化学习和建筑空间布局上性能强大,还能直接理解并生成复杂3D坐标和空间关系。它们对算力吞噬疯狂,引发对其身份的猜测。
少说‘Wait’,多做题:NoWait重塑大模型推理路径
现代大模型在复杂推理时爱用自我反思词,触发冗余验证循环,拖慢速度、增加算力消耗。NoWait方法零训练成本,通过抓关键词、扩展变体、实时屏蔽,让模型跳过废话,在多任务中表现出色,且颠覆对推理的认知。
英伟达力荐,小团队两个月开源一款「光速级」智能体推理引擎
智能体时代算力需求庞大,LightSeek Foundation 小团队 2 个月打造大模型推理引擎 TokenSpeed,有 TensorRT LLM 性能、vLLM 易用性,受英伟达力荐且已开源,为智能体负载提供近「光速级」推理能力。
DeepMind掌门自曝AGI倒计时5年!算力需求暴增10倍,推理计算吞噬一切
在最新播客中,DeepMind掌门Hassabis表示自然界规律能被机器学习算法模仿。他畅想AGI应用于游戏,还提及迈向AGI要扩大计算规模,算力需求或增10倍,且运营上以初创公司模式兼顾研究与产品。