「分布式推理系统」共找到 3622 篇相关文章
让64张卡像一张卡!浪潮信息发布新一代AI超节点,支持四大国产开源模型同时运行
浪潮信息发布新一代AI超节点“元脑SD200”,可让64张卡像一张卡。它支持四大国产开源模型同时运行,实现算力聚合突破,通过软硬协同优化提升推理性能,采用开放架构推动“智能平权”。
一次缓存引发的文件系统数据不一致问题排查与深度解析
本文详述由自研分布式文件系统客户端 EFC 缓存架构更新引发的数据不一致问题排查过程。经多轮分析,发现是版本号回退致客户端读旧数据。修复后测试无异常,还揭秘部分 POSIX 接口底层情况。
实测GPT-5:写作坠入谷底,编程一骑绝尘。
GPT-5发布,它是统一系统,含多种模型。性能上减少事实幻觉、应对谄媚有进展,跑分强且节能,但无新功能特性。写作不如GPT 4.5,编程表现出色,发布后OpenAI与Google预测交叉跳水。
长上下文不再难:KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战,现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具,梳理推理优化方法,介绍 MInference 等,还提出 Tri - shape 方法等成果。
Discrete Tokenization:多模态大模型的关键基石,首个系统化综述发布
近年来,人们关注将LLM能力扩展至非文本模态,Discrete Tokenization成关键方案。但现有研究缺系统总结,香港科技大学等团队发布首个相关系统化综述,梳理技术脉络、方法及挑战,给出未来研究方向。
科学家首次实现修正线粒体DNA突变,治愈不治之症打开新大门
荷兰科学家在《PLOS Biology》发文,称用DdCBE成功纠正线粒体DNA突变。研究在原代成人细胞中验证其能恢复线粒体功能,还探索了modRNA和LNPs递送系统,虽距临床尚有数年,但意义重大。
语言反思>强化学习:伯克利新架构碾压传统RL
大型语言模型下游任务优化依赖强化学习,但计算成本高。伯克利等机构论文提出GEPA新型优化器,将LLM执行轨迹转化为诊断信号,用语言反馈替代标量奖励,仅用传统方法1/35计算量,性能最高提升19%。
突发!Qwen更新模型,全面超越kimi k2,强的离谱,主打Agent
Qwen小更新非推理模型性能强劲,各项指标超kimi k2,与Claude opus 4持平,Agent能力亮眼。Qwen团队告别混合思维模式,新模型上线,独立训练两模型,新版本多方面提升,团队称还有大招。
AlphaEvolve:陶哲轩背书的知识发现 Agent,AI 正进入自我进化范式
Google今年5月发布的AI系统AlphaEvolve,结合Gemini模型与evaluator,能发现新算法。它源于FunSearch,可多领域应用,运行机制类似自然进化,其关键组件evaluator对其发展很重要,也标志AI进入自我改进范式。
Github 轻松斩获 30k+ Star,桌面应用开发太丝滑,Tauri框架能重塑桌面App开发?别错过,抓紧上车
Tauri是开源框架,用Rust后端和本地WebView,打造轻量、高性能、安全的跨平台应用,在GitHub获超30000 Star。它能解决Electron应用体积大、性能慢等痛点,功能亮点多,应用场景丰富。