「推理框架」共找到 3364 篇相关文章
阿里通义发布并行计算新策略:1.6B等效4.4B,内存消耗骤降95%
阿里通义团队提出PARSCALE并行计算新策略,受CFG双路径推理机制启发,将并行思想扩展到训练和推理全流程。能让1.6B模型性能接近4.4B模型,内存占用大降,还可用于现有模型,无需从头训练。
卡帕西点赞Transformer内置计算机!每秒3万Token吞吐,拿下世界最难数独
当前大模型推理顶尖但精确计算不足,Percepta团队在Transformer权重里内嵌可执行程序,通过2维注意力头设计提升推理效率,能在普通CPU上实现每秒3万+Token的流式输出,还精确求解了世界最难数独。
Andrej Karpathy 提出判断什么工作会被 AI 替代的新标准
Andrej Karpathy 提出判断工作是否会被 AI 替代的新标准,即不看复杂度看可验证性。他在 Software 2.0 框架下解释此现象,还指出任务被 AI 自动化需满足可重置、高效、可奖励三个条件,同时提及该框架有局限性。
刚刚,英伟达祭出下一代GPU!狂飙百万token巨兽,投1亿爆赚50亿
昨天,英伟达发布专为海量上下文AI打造的CUDA GPU——Rubin CPX,将大模型推理带入「百万Token时代」。它性能强大,能带来高回报,可重写推理经济,还将得到英伟达全栈AI生态支持,预计2026年底可用。
仅隔一天,OpenAI同步上线o3和o4 mini,它们能调用ChatGPT里的多种工具,可基于图像思考。o3是强大推理模型,o4-mini专为快速经济推理优化。即日起部分会员可体验,还开源了Codex CLI。
杀疯了!单卡4090跑通全量微调,面壁1B级多模态性能怪兽硬刚大厂
面壁智能推出MiniCPM-V 4.6,参数约1B,性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品,靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新,有工业验证,对开发者和普通用户意义大。
社区供稿丨Jina-VLM:可在笔记本上跑的多语言视觉小模型
Jina AI发布2.4B参数量的视觉语言模型Jina - VLM,在多语言视觉问答任务达SOTA。它引入注意力池化,连接视觉与语言基座,处理问答等任务,对硬件要求低,多项测试表现优,还介绍架构、训练策略和上手方式。
究竟会花落谁家?DeepSeek最新大模型瞄准了下一代国产AI芯片
近期,DeepSeek发布V3.1新模型,采用全新混合推理架构,在多任务表现上有提升。它采用UE8M0 FP8,或为国产推理芯片优化机制。国内多家厂商新一代AI芯片支持FP8,未来国产大模型或针对其专门优化。
Issue修复开源No.1!蚂蚁 | 提出代码图模型:CGM,结合GraphRAG架构,领先最强开源7.33%
为解决开源模型在仓库级代码理解上的能力瓶颈,蚂蚁全模态代码算法团队提出 CGM 架构,融合仓库结构与语义信息。CGM 首创图结构与语言模型融合的对齐框架,还搭配了 GraphRAG 框架,在多个代码任务中表现出色,且相关资源均已开源。
5000 star,Harness门槛被OpenHarness打穿了
分享开源Python实现版本OpenHarness,它易上手,能助研究者和开发者理解生产级AI Agent原理、构建专用智能体。介绍其核心功能、架构及核心循环逻辑,还给出了Github链接。