「推理服务」共找到 2634 篇相关文章
逐个token太慢！大模型原生并行出token，CMU、英伟达新作Multiverse
卡耐基梅隆大学（CMU）和英伟达研究者提出Multiverse，这是能实现原生并行生成的新型生成模型。它解决了现有并行生成模型缺乏连贯性等问题，通过多方面协同设计构建推理模型，还开源了生态系统。
苏妈联手OpenAI，AMD发布3nm怪兽MI355X，性能碾压英伟达B200！
AI芯片战争白热化，AMD在大会发布3nm工艺的MI355X，推理性能超英伟达B200，还公布明年推出的MI400系列等新品。OpenAI CEO称将用AMD芯片，AMD与OpenAI开启合作。
揭秘夸克首个高考志愿大模型！蒸馏数百名人类专家经验、Agent 可完整生成志愿报告
6月12日，夸克发布国内首个高考志愿大模型，上线‘高考深度搜索’等三大核心功能。其‘志愿报告’以Agent运行，能输出完整报告；模型经多阶段训练，搭载最大高考知识库，为考生提供精准志愿填报服务。
一文读懂：国产AI芯片与英伟达的差距有多大？
文章围绕国产AI芯片与英伟达的差距展开。从算力性能、生态壁垒、市场现状、技术瓶颈等方面分析差距，指出国产芯片虽在部分场景缩小差距，但高端训练和生态成熟度仍落后3 - 5年，突围需多领域突破。
免费使用Sora！微软发布Bing Video Creator
今天凌晨微软官网发布Bing搜索引擎新功能Bing Video Creator，由Sora支持，免费提供服务。介绍了使用方法、视频生成规格、注意事项等，还提及防滥用措施及内容溯源信息。目前国区未开放，可用美版。
提示工程实战指南：从Zero-Shot到Graph Prompting，7大核心技术全解析
随着大型语言模型发展，提示工程成关键技能。文章介绍零样本提示、少样本提示等七种提示优化模式，分析适用场景、优缺点，还给出示例，最后总结各技术适用场景及最佳实践。
英伟达再破世界纪录，每秒1000 token！刚刚，全球最快Llama 4诞生
英伟达用Blackwell创下AI推理新纪录，单节点8颗GPU实现Llama 4 Maverick模型每秒单用户生成1000个token。这得益于技术组合拳，如用TensorRT - LLM优化、应用FP8格式等，满足了低延迟需求。
图灵奖得主杨立昆现场追问：AI 还没越过这 3 道认知墙，谈什么通用智能？
图灵奖得主杨立昆指出AI未越过三道认知墙，即看不懂物理世界、无长时记忆、无推理结构，提出JEPA架构及AMI概念，还建议别卷模型，应卷架构，如探索具身智能等领域。
更聪明的AI就能随心所欲控制人类？OpenAI科学家笑了：你比猴子聪明，能让猴子听话吗？
本文是科技媒体The Information对OpenAI研究科学家Noam Brown的深度访谈，围绕AI Agent、推理模型、AI安全、OpenAI研发战略展开，披露了Hugging Face多Agent事件细节，分享了诸多反直觉的前沿技术观点，信息密度极高。
马斯克：AI巨浪已至，吸干全球救命钱！
马斯克警告AI激流已至，过去一年全球AI推理Token用量暴增25倍。ARK首席未来学家指出AI基础设施投资回报高，引发资本转移与挤出效应，传统企业融资难、人才流失，将被AI“吸干”资本。