低延迟推理」共找到 2945 篇相关文章

推荐文章7

小白必读:到底什么是FP32、FP16、INT8?

文章介绍FP32、FP16、INT8等数字存储格式类型。指出它们是评估算力前提,不同格式在精度、范围、内存占用和计算速度上有差异,还提及多精度与混合精度计算,以及不同硬件对格式的支持情况。

芯师爷
算法论文8

谢赛宁团队新基准让LLM集体自闭,DeepSeek R1、Gemini 2.5 Pro都是零分

纽约大学等8家机构研究者提出LiveCodeBench Pro竞技编程基准测试,评估了Gemini 2.5 Pro等前沿大模型。发现当前模型有显著不足,在无外部工具时,高难度题通过率为0,LLM与人类大师级水平差距明显。

机器之心
开源动态8

OpenAI未公开的o3「用图思考」技术,被小红书、西安交大尝试实现了

OpenAI推出的o3推理模型打破传统文字思维链边界,实现图像融入推理过程。小红书与西安交大联合构建多模态深度思考模型DeepEyes,尝试实现类似能力,还开源技术细节,在多任务中表现出色。

机器之心
新闻资讯8

2025年4月17日消息,OpenAI 连发o3和o4 mini,o3为强大推理模型,o4-mini专为高效推理优化。它们能调用ChatGPT工具,可基于图像思考。OpenAI还开源本地代码智能体Codex CLI,兼容所有模型。

鱼羊
开源动态8

大部分token根本不该重复计算,不止于KVCache

斯坦福研究显示,AI Agent每次调用62%内容重复,现有前缀缓存虽有优化但天花板,阿里云数据表明多数缓存块利用率。LMCache将缓存管理独立,解决性能问题,其CacheBlend技术复用缓存,适配多引擎和存储后端。

AI工程化
算法论文8

大语言模型离“数学证明高手”还有多远?斯坦福、伯克利、MIT 团队提出 IneqMath 评测标准

现在很多大语言模型常给出看似正确的结论,但推理过程却有问题。斯坦福、伯克利和MIT团队提出新思路,构建IneqMath数据集及‘AI数学裁判系统’,研究发现很多模型推理不严谨,还给出两个提升准确率的办法。

AI前线
新闻资讯7

内部爆料:Alexandr Wang上任第一把火,Meta大模型闭源

据知情人士,Meta新成立的超级智能实验室正讨论重大决策,高层对AI模型是否开源存分歧。Meta曾因性能问题延迟Llama 4版本,现完成Behemoth训练却因不佳延迟发布,还探讨放弃它开发闭源模型。

机器之心
开源动态8

Claude 终于能“看”视频了!这个开源项目让我刷视频效率翻倍

平时找视频信息效率,而开源项目让Claude等大模型 “看懂” 视频,能提取画面、音频并理解内容。介绍了其工作原理、帧预算、去重、细节模式等,安装使用门槛,还给出了应用场景和项目地址。

GitHubStore
算法论文7

OpenAI和Anthropic费尽心机加密的思维链,竟然能被轻松提取?

围绕大模型蒸馏争议已久,此前外部团队难获闭源模型完整推理。8 月 10 日研究者公开方法,可让弱模型读取旗舰模型密文并输出推理,还发现公开智能体轨迹存在隐私泄露问题,不过未为蒸馏指控提供决定性证据。

DeepTech深科技
开源动态7

类R1训练不再只看结果对错!港中文推出SophiaVL-R1模型

DeepSeek - R1爆火后,类R1结果奖励训练范式引发推理热潮,但仅以结果对错奖励模型有弊端。港中文联合团队发布多模态推理模型SophiaVL - R1,引入‘思考奖励’机制,还用Trust - GRPO算法解决奖励欺骗问题。

机器之心