「瞬时速度约束」共找到 762 篇相关文章
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
深度洞察：AI带来的产业发展趋势
文章指出AI正以极快速度改变世界，趋势已成。探讨软件业从以应用为中心到以模型为中心的变革，还将阐述从以应用为入口到以AI为入口、AI巨头发展方向及未来展望等内容。
突发，OpenAI首颗「辣椒」芯片压倒英伟达！GPT-6干崩CUDA
OpenAI首颗自研芯片Jalapeño「墨西哥辣椒」实测成绩亮眼，AI推理性能超英伟达全系，功耗仅为一半。它从设计到流片仅用九个月，得益于GPT - Astra协助。有观点认为CUDA护城河或已死，OpenAI正打造算力版图。
AI给你的总是平庸答案?5.8万星插件证明:问题不在模型,在你
GitHub上5.8万星的`taste-skill`仓库，无模型代码，仅用文本规则让AI编程工具输出更有品味。揭示AI默认给平庸答案是概率采样结果，还给出反中位数三问及AI时代变贵的是判断力。
1.4K Star！不要问答，要完成任务，一个合格的金融Agent应该是什么样？
过去一年AI Agent火热，但金融场景投研是长链路任务，有诸多硬约束。LangAlpha是Ginlix AI推出的开源金融Agent项目，能解决实际金融研究任务，有核心架构和关键能力，还给出使用方式、典型Demo及横向评测。
不用人类手写训练框架了！AI自己写代码，训出1B端侧「小钢炮」
5月25日，面壁开源端侧文本基座大模型MiniCPM5 - 1B，主打低成本部署等。它由AI编写的ForgeTrain框架参与预训练，效果与英伟达Megatron对齐且速度快10%。该模型在榜单表现优，应用边界广，部署门槛低。
OpenAI突然开源新模型！99.9%的权重是0，新稀疏性方法代替MoE
OpenAI悄悄开源新模型，0.4B参数且99.9%权重为零，是Circuit Sparsity技术的开源实现。该技术通过约束模型内部连接稀疏性，解决传统稠密Transformer黑箱问题，或让MoE模型走上末路，但目前算力成本极高。
5张 H800 带来 20 FPS 高保真实时虚拟人生成
传统扩散模型做视频生成速度慢、画面不稳定，难用于实时虚拟人场景。阿里Live Avatar框架将算法和系统一起设计，用TPP并行推理策略和RSFM机制等，5张H800 GPU能实现20 FPS高保真实时虚拟人生成。
小白必读：到底什么是FP32、FP16、INT8？
文章介绍FP32、FP16、INT8等数字存储格式类型。指出它们是评估算力前提，不同格式在精度、范围、内存占用和计算速度上有差异，还提及多精度与混合精度计算，以及不同硬件对格式的支持情况。
社区供稿丨MiniCPM-V 4.5 技术报告正式出炉
上个月开源的多模态模型 MiniCPM-V 4.5 广受好评，今日其技术报告出炉。报告从架构、数据和训练三方面探索高效路径，提出三大技术，使模型在多任务上突破，小参数规模下性能和推理速度佳。