推理流程」共找到 2758 篇相关文章

推荐文章8

卡帕西点赞Transformer内置计算机!每秒3万Token吞吐,拿下世界最难数独

当前大模型推理顶尖但精确计算不足,Percepta团队在Transformer权重里内嵌可执行程序,通过2维注意力头设计提升推理效率,能在普通CPU上实现每秒3万+Token的流式输出,还精确求解了世界最难数独。

量子位
新闻资讯8

刚刚,英伟达祭出下一代GPU!狂飙百万token巨兽,投1亿爆赚50亿

昨天,英伟达发布专为海量上下文AI打造的CUDA GPU——Rubin CPX,将大模型推理带入「百万Token时代」。它性能强大,能带来高回报,可重写推理经济,还将得到英伟达全栈AI生态支持,预计2026年底可用。

新智元
8

仅隔一天,OpenAI同步上线o3和o4 mini,它们能调用ChatGPT里的多种工具,可基于图像思考。o3是强大推理模型,o4-mini专为快速经济推理优化。即日起部分会员可体验,还开源了Codex CLI。

鱼羊
产品应用8

杀疯了!单卡4090跑通全量微调,面壁1B级多模态性能怪兽硬刚大厂

面壁智能推出MiniCPM-V 4.6,参数约1B,性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品,靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新,有工业验证,对开发者和普通用户意义大。

AI寒武纪
产品应用8

Claude Code 5亿美元背后的AI工程革命

文章介绍了Claude Code的诞生故事、技术选型、开发流程等。它从听歌小工具变为年入5亿美元产品,90%代码自写,开发流程快,还重新设计终端交互。Anthropic团队各环节AI化,也有特殊条件,有些经验可借鉴。

宝玉AI
开源动态8

社区供稿丨Jina-VLM:可在笔记本上跑的多语言视觉小模型

Jina AI发布2.4B参数量的视觉语言模型Jina - VLM,在多语言视觉问答任务达SOTA。它引入注意力池化,连接视觉与语言基座,处理问答等任务,对硬件要求低,多项测试表现优,还介绍架构、训练策略和上手方式。

Hugging Face
开源动态8

第二代InfLLM开源,同尺寸快三倍!零参数,可训练稀疏注意力

新智元报道,清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2,仅用5B长文本词元就能完成训练,相比稠密注意力机制有显著加速,性能接近传统稠密模型。

新智元
新闻资讯7

究竟会花落谁家?DeepSeek最新大模型瞄准了下一代国产AI芯片

近期,DeepSeek发布V3.1新模型,采用全新混合推理架构,在多任务表现上有提升。它采用UE8M0 FP8,或为国产推理芯片优化机制。国内多家厂商新一代AI芯片支持FP8,未来国产大模型或针对其专门优化。

机器之心
开源动态7

n8n是开源工作流程自动化工具,提供直观界面创建自定义流程,支持超400应用集成。过去一年增长迅速,活跃用户超20万,ARR增长5倍,GitHub获77.5k star。介绍其创立背景、优势特点,用户评价褒贬不一,还提及与其他工具对比及“公平代码”理念。

冬梅
新闻资讯8

让龙虾看懂屏幕!谷歌多模态新成果,文本图像视频音频进同一空间

谷歌发布首个原生多模态嵌入模型Gemini Embedding 2,将文本、图像、视频、音频和文档映射进同一嵌入空间,支持多模态混合输入,为AI Agent“看懂”世界提供关键基础,已展开公测。

量子位