「有状态推理」共找到 7617 篇相关文章
集合通信库VCCL释放GPU极致算力，创智、基流、智谱、联通、北航、清华、东南重磅开源
在超大规模智算集群需求下，创智、基流等多方联合开源集合通信库VCCL。它基于NCCL开发，有智能调度、容错、细粒度观测机制，实测能提升算力利用率、降低故障率，还解决了服务器异构等问题。
奖励模型新革命！SWIFT不读文本读“心声”，打造又快又强又省钱的AI裁判
传统Best-of-N方法中的奖励模型成本高、速度慢，限制技术普及。上海交通大学等校研究者提出轻量级技术SWIFT，直接监听模型内部隐藏状态判断信心，效率、准确率等表现出色，为AI发展提供新范式。
1w颗星！多平台 LL M 聊天机器人及开发框架AstrBot！
AstrBot是聊天机器人及开发框架，松耦合、异步，支持多消息平台部署。它功能丰富，支持多种大语言模型，有Agent能力、插件扩展等，还介绍了多种部署方式、平台及提供商支持情况。
谷歌诺奖大神哈萨比斯：五年内一半几率实现AGI，游戏、物理和生命的本质都是计算
谷歌DeepMind掌门人Demis Hassabis与Lex Fridman深度对话，预测未来五年有50%几率实现AGI，还从新颖角度阐述自然界模式可被建模，畅谈AI对游戏、科学研究等多领域的影响及应用。
稚晖君和王兴兴，打起了人形机器人关键一仗
科技圈风口聚焦人形机器人，宇树科技和智元机器人争夺“人形机器人”第一股。两者虽产品线和应用场景有共性，但商业化进程、战略打法和组织结构差异大，代表不同具身智能发展路径。
先别急着给OpenAI加冕！陶哲轩：这种「金牌」，含金量取决于「赛制」
OpenAI 官宣推理模型在 IMO 获金牌水平成绩，此前各模型表现不佳。数学家陶哲轩劝谨慎看待，认为无严格测试条件难比较 AI 与人类。网友看法不一，模型训练方法及 Alexander Wei 受关注。
斯坦福临床医疗AI横评，DeepSeek把谷歌OpenAI都秒了
斯坦福最新大模型医疗任务评测，构建含35个基准测试的MedHELM综合评估框架。结果显示，DeepSeek R1以66%胜率领先，o3 - mini等模型也各有表现，还分析了成本效益。
刚刚，DeepSeek首曝V3降成本秘诀！软硬协同突破Scaling天花板
DeepSeek最新论文从硬件架构和模型设计双重视角，探讨如何相互配合实现低成本大规模训练和推理，分析硬件特性对架构选择的影响，研究两者相互依赖关系，还为未来协同设计提出建议。
AI不需要海量用户
AI和互联网逻辑不同，互联网需海量用户，因其边际成本趋近零且是消费驱动。而AI有真实边际成本，是生产驱动，更需要重度用户。若用互联网打法做AI，会陷入产能黑洞，拖慢发展。
谷歌TurboQuant会绕过“内存墙”？这个判断有点过了｜甲子光年
谷歌发布的TurboQuant论文引发市场震动，其算法可将大语言模型推理的KV缓存大幅压缩并加速。但将其视为绕过‘内存墙’判断过度，它提升单位字节信息密度，改变边际需求曲线，代表范式转移。