「混合推理架构」共找到 3661 篇相关文章
成本仅0.3美元，耗时26分钟！CudaForge：颠覆性低成本CUDA优化框架
CUDA代码性能对模型训练与推理重要，但手动优化门槛高。明尼苏达大学团队提出CudaForge，是低成本多智能体CUDA Kernel生成与优化工作流，实验效果好，成本低且具通用性。
AGI新技术路线：下一代稀疏注意力机制Monte Carlo Attention开源
超对称技术公司开源了 Monte Carlo 注意力机制，用于新版基座模型 BigBang - Proton。它在二进制块编码技术上，用块间代表交流机制实现线性复杂度，解决了传统方法的缺点，可实现理论上无限的上下文长度，对现有预训练技术和硬件设计影响深远。
Midscene.js 实战与源码剖析：如何重塑 UI 自动化
本文介绍Midscene.js这款基于AI的下一代UI自动化工具，剖析其设计动机、架构、原理及源码，结合业务场景分享问题与思考，还对比类似工具，给出试用配置和使用建议。
破立之间：智驾芯片博弈的“新赛道”
全球汽车产业向智能化转型，智驾芯片成产业链核心。当前产业面临多重困境，国际巨头垄断高端市场，行业陷入“算力堆砌”。SDSoW技术是破局之道，有三大特征，能实现性能、能效等多方面提升。
中国算力芯片的“新十年”
文章指出过去40年处理器芯片发展呈“否定之否定”，近年整机和平台厂商重归自研，异构计算成趋势。未来中国算力芯片突破口在指令系统结构统一，可把RISC - V作统一指令系统开发各类芯片。
联手诺基亚入局6G，老黄要制定全球标准！GTC最新演讲揭秘：「美国科技的未来」就靠这6张王牌
老黄在华盛顿 GTC 大会演讲，英伟达要和诺基亚合作干 6G，重新构筑世界通信系统。演讲涉及 6 大核心，包括利用物理人工智能和数字孪生技术重塑美国工业化等，还介绍了加速计算、AI 变革等多方面内容。
听了Andrej Karpathy最新2小时访谈，我对Agent彻底祛魅了
Andrej Karpathy在播客中表示，Agent发展还需十年，离像实习生工作还差很远，要解决诸多能力问题；他认为强化学习糟糕但其他方法更糟，还提出AI应削减背书式记忆、未来强大AI或仅十亿参数等观点。
1万亿参数Ling-1T开源，国产LLM牛了~
Ling-1T是Ling 2.0系列首款旗舰“非思维”模型，总参数量达1万亿。预训练数据超20万亿token，支持128K上下文长度。在多项任务中表现出色，是目前已知最大的FP8训练基座模型，已完成全面评测。
vLLM PIECEWISE CUDA Graph 技术学习笔记
文章围绕vLLM PIECEWISE CUDA Graph技术展开，介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容，PIECEWISE技术让vLLM在prefill阶段性能提升。
“iFold”，苹果AI新成果
苹果发布基于流匹配的蛋白质折叠模型SimpleFold，被戏称“iFold”。它用通用Transformer模块搭配流匹配生成范式，3B参数版本追平谷歌AlphaFold2性能，还解决了传统模型算力依赖问题，效率高。