「硬件协同设计」共找到 2052 篇相关文章
马斯克甩出两张王牌,Grok Build杀入AI编程
5月14日,xAI上线Grok Build编程智能体,这是马斯克补齐xAI编程短板的第一步。此外,马斯克亮出下一代基础模型Grok V9,它在参数规模、硬件平台、数据质量三方面做了重建。V9公开版上线后,Grok Build将与Claude Code、Codex正面竞争。
破解AI对不同上下⽂位置的敏感度不⼀致,新框架使出“解铃还须系铃人”
语言模型存在位置偏见,影响复杂推理等任务。论文提出Pos2Distill框架,将模型优势位置能力迁移到劣势位置缓解偏差,设计了Pos2Distill - R1和Pos2Distill - R2,在检索和推理任务表现好且有跨任务泛化能力。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
不可思议!400B大模型在iPhone上跑起来了
一个跑在 iPhone 17 Pro 的 A19 Pro 芯片上的 400B 大模型 Qwen3.5 - 397B - A17B 引发关注。这源于 Flash - MoE 开源项目,它摒弃现代 AI 框架,回归底层开发,实现消费级硬件上大模型交互级速度运行。
DeepSeek一体机最新观察:满血版卖不动了,市场抢食零散的中低端机型生意
本文聚焦DeepSeek一体机市场,上半年国央企等大客户采购高端机型需求旺,头部硬件厂商营收可观,中小厂商冷清。下半年高端市场饱和,中低端机型“游击战”开打,部分厂商用国产芯片降成本,部分有政府关系的新厂商入局。已售一体机落地难,需杀手级应用和用户数据。
突发,OpenAI首颗「辣椒」芯片压倒英伟达!GPT-6干崩CUDA
OpenAI首颗自研芯片Jalapeño「墨西哥辣椒」实测成绩亮眼,AI推理性能超英伟达全系,功耗仅为一半。它从设计到流片仅用九个月,得益于GPT - Astra协助。有观点认为CUDA护城河或已死,OpenAI正打造算力版图。
有生之年吃到了钉钉的细糠
作者参加“2025 钉钉十周年暨新品发布会”,体验了钉钉 8.0 版本。该版本开启 AI 1.0 新篇章,界面焕然一新,以钉钉 One、AI 搜问等重塑工作流程,还升级语音智能硬件,实现信息处理闭环,提升企业与员工效率。
社区供稿丨Jina-VLM:可在笔记本上跑的多语言视觉小模型
Jina AI发布2.4B参数量的视觉语言模型Jina - VLM,在多语言视觉问答任务达SOTA。它引入注意力池化,连接视觉与语言基座,处理问答等任务,对硬件要求低,多项测试表现优,还介绍架构、训练策略和上手方式。
MCP for 可观测2.0,6个让MCP开发更高效的小妙招
文章介绍MCP这一开放协议,它能标准化AI模型与不同数据源和工具连接。分享配置MCP开发所需客户端、API等步骤,阐述阿里云可观测2.0融合MCP的实践及效果,还给出设计MCP Server的6个经验,最后展望了MCP应用场景和可观测2.0+AI未来。
FlashAttention 完全进化史:FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开,从Attention性能瓶颈引出问题,阐述其各版本演进。FA-1实现算法突破,避免O(N²)内存;FA-2适配架构,提升性能;FA-3深度协同,实现异步;FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。