新闻资讯7
英伟达Helix架构突破百万Token推理瓶颈
新智元
AI 摘要
英伟达推出Helix并行技术,受DNA结构启发,能提升大模型上下文长度、并发能力并降低延迟。有人认可其重塑LLM交互方式,也有人认为技术与实用有差距。
阅读原文 · 新智元
并行革命,32倍吞吐量跃升!英伟达Helix架构突破百万Token推理瓶颈
英伟达推出受DNA结构启发的Helix并行技术,能解决大模型处理长任务时的卡顿问题,提升上下文长度、并发能力并降低响应延迟。不过也有人认为其技术与实用性有差距。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯8
英伟达60亿打造全球顶尖开源模型
多家外媒爆料,英伟达计划斥资60亿美元打造全球最强开源权重AI模型。为此,英伟达买下Poolside的技术,挖走其核心团队,追加巨额投资。这让AI大模型竞争格局或变天,英伟达也将与大客户成对手。
新智元
开源动态8
开源模型两月逆袭,闭源巨头失势
过去60天,Vercel AI Gateway调用数据显示,开源模型Token调用份额从28%涨至62%,反超闭源模型。英伟达60亿美元入局扶持,闭源虽推新降价仍失领先,开源走向大规模应用。
AI前线
新闻资讯7
奥特曼炮轰A社,谈AI发展多方面见解
奥特曼在采访中批评AI安全派观点“反人类”,还围绕AI发展相关问题给出见解。如他认为AI会成伟大技术,但社会和经济适应慢;应让人类掌控未来,用AI赋能人类;谈了算力、产品等多方面事宜。
量子位
新闻资讯7
内存疯涨,AI服务器涨价超15%
搭载英伟达AI芯片的服务器将在2027年初涨价超15%,但这次并非英伟达主导,而是代工厂。真正原因是内存价格疯涨,三星、SK海力士和美光掌控近九成市场,有定价权。
新智元