「低延迟」共找到 1125 篇相关文章
微软、哈佛开源创新优化器:全面超越Muon,提升大模型训练效率
随着大模型训练所需计算资源爆炸式增长,微软和哈佛团队联合开源优化器Dion。它利用低秩近似和解耦动量缓冲区,避免分布式训练同步完整梯度,在集中式和分布式场景都有高效表现,性能超Muon。
DeepSeek-R2为什么还没发?
全网期待的DeepSeek - R2再次被曝推迟。The Information称因CEO不满其表现,且可能因缺英伟达H20芯片致研发慢。回顾其“难产”过程,网友看法不一,有人认为延迟值得,有人推测要等V4。
MiniMax-M1:全球首个开源超长上下文大模型,超越DeepSeek-R1,推理成本仅1/4
MiniMax-M1是全球首个开源超长上下文大模型,刷新三项记录。它采用混合专家架构,闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练,成本低。在工业级任务测试表现佳,已开源且方便开发者接入。
「Next-Token」范式改变!刚刚,强化学习预训练来了
微软新研究提出「强化预训练(RPT)」新范式,将下一个 token 预测任务重新定义为推理任务,可利用海量文本数据进行通用强化学习。该方法有可扩展性、低风险等优点,实验显示其提升了语言建模能力。
3B激活参数!商汤绝影Sage登顶PinchBench,端侧第一
商汤绝影Sage端侧大模型在PinchBench评测中,以94%任务完成率超越Claude、GPT - 5.4等主流大模型。它激活参数仅3B,算力需求低,还具备多项实用场景能力,靠SCOUT和ERL两项自研技术提升性能。
实测刘翔pick的AI汽车,BBA老车主的豪华滤镜碎了
作者试驾了刘翔代言的智己汽车LS8,体验其智能辅助驾驶、AI助理等功能。该车与宝马X5等尺寸相近但价格低,有诸多黑科技,还让BBA老车主滤镜破碎,显示传统豪华溢价时代或终结。
5个大疆离职员工,把3D打印带回风口
3D打印再度火热,街头地摊产品畅销,社交平台热度高。拓竹科技由5位大疆离职员工创立,其产品X1成绩亮眼,MakerWorld平台以积分制度吸引用户。如今3D打印因性价比、新消费、低门槛等因素升温。
Meta 新成立超级智能实验室,让大模型RAG推理速度飙升30倍
Meta新成立超级智能实验室(MSL),首篇论文REFRAG将RAG推理速度提升30倍以上。它先把上下文压缩成摘要再解码,减少计算量和延迟,在多任务测试中表现出色,为大模型部署提供实用方案。
Mini-Omni-Reasoner:实时推理,定义下一代端到端对话模型
现有端到端对话模型推理能力未解锁,因深度思考带来延迟。为此提出 Mini - Omni - Reasoner,采用边思考边表达范式,突破‘要么快,要么准’困境,还设计了数据合成管线和五阶段训练方法,实验证明其性能提升明显。
奥数金牌只是序章!OpenAI谷歌彻底打脸预言家,AI巨浪势不可挡
2022年专家预言AI到2025年赢得IMO金牌概率低,结果OpenAI和谷歌DeepMind的LLM提前摘金。此前多项AI基准测试预测也失准,AI发展远超预期。GPT - 5降低使用门槛,群体智能时代到来,各机构需重新思考生存之道。