「流处理架构」共找到 2822 篇相关文章
超级麦吉:职场人 Vibe Working 的开源 LLM OS
文章介绍了开源项目超级麦吉,它是为职场人打造的 LLM OS,采用三层结构设计,有专业功能和完整产品矩阵。与闭源软件对比,其开源诚意足,虽有颜色和邀请码机制等小问题,但助力职场人向 Vibe Worker 转型。
ART:构建可靠智能体的强化学习新框架
现有AI智能体在真实场景表现不稳定,阻碍其应用走向生产。ART开源强化学习框架诞生,通过分离“前端”与“后端”、兼容OpenAI推理端点等创新化解困境,还给出使用方法,在案例中展现强大效能与经济性。
大神Karpathy都投的AI实时视频生成模型:直播都能立即转,无限时长几乎零延迟
AI初创公司Decart推出首个零延迟无限实时视频生成的AI模型MirageLSD,大神Karpathy都投资了。它能实时生成视频流,无时长限制且延迟低至40毫秒以下,还攻克了传统模型‘误差累积’难题。
英伟达&MIT等推出Long-RL,长视频训练速度翻倍
英伟达联合MIT等推出Long - RL,它是面向长序列推理和多模态强化学习的全栈训练框架,能提升RL训练数据长度上限,让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存,LongVILA - R1是其明星应用。
DeepSeek R2没来,Kimi K2来了,VLLM,SGLang首发支持
Moonshot AI发布Kimi K2大语言模型,采用混合专家架构,总参数量达1万亿。其有多项技术创新,在多个基准测试表现突出。发布两版本,用修改版MIT协议开源,vLLM、SGlang首发支持,已上线多服务。
ICML spotlight | 一种会「进化」的合成数据!无需上传隐私,也能生成高质量垂域数据
大模型发展使数据短缺问题加剧,特殊领域更严重。为此提出合成数据自主进化框架PCEvolve,只需少量标注样本,就能在保护隐私同时进化出数据集,还介绍了其架构、选择器设计及实验结果。
Kafka 网络成本失控?如何彻底根除 AWS、GCP 上的 Kafka 网络隐性成本
云原生架构普及,企业将 Apache Kafka 部署到 AWS、GCP 等公有云,跨可用区数据传输成本成“隐形杀手”。AutoMQ 是新一代云原生 Kafka,100% 兼容 Kafka 协议,其“零成本复制”技术可降本,已在 GitHub 开源。
MetaShuffling:Meta的Fused MoE kernel工程方案,更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling,可高效部署Llama 4模型。它处理MoE推理挑战,介绍多种token选择路由方案,阐述运行时设计、不同并行化方式及优化思路,还展示性能测试与Trace分析。
刚刚2岁的Llama,「爸妈」都跑了!小扎手拆Meta AI,LeCun保持独立
面对谷歌、OpenAI等劲敌及Llama 4翻车、人才流失困境,小扎决定重组Meta GenAI团队,设三大架构。2023年Llama首版论文14名作者只剩3人,Llama 4也问题不断,而LeCun坚持自己的路线。
H20之后,英伟达全新特供版GPU曝光!单GPU售价低至6500美元
出口管制让英伟达在中国AI芯片市场份额从95%跌至50%。黄仁勋将推出‘阉割版’Blackwell GPU,定价6500 - 8000美元,最早6月量产。还在开发另一款同架构芯片,9月生产。此次尝试结果待察。