「推理架构」共找到 3555 篇相关文章
卡帕西点赞Transformer内置计算机!每秒3万Token吞吐,拿下世界最难数独
当前大模型推理顶尖但精确计算不足,Percepta团队在Transformer权重里内嵌可执行程序,通过2维注意力头设计提升推理效率,能在普通CPU上实现每秒3万+Token的流式输出,还精确求解了世界最难数独。
基于 Qwen3-VL-Embedding-8B 实现文搜图语义内容检索的实战教程
文章围绕Qwen3-VL-Embedding-8B模型展开,介绍其核心特性、技术架构等,提供环境搭建、模型部署指南,给出文搜图系统架构及代码实现,还通过电商、社交媒体、企业文档三个实战案例展示应用,最后讲解性能优化与常见问题解决方法。
刚刚,英伟达祭出下一代GPU!狂飙百万token巨兽,投1亿爆赚50亿
昨天,英伟达发布专为海量上下文AI打造的CUDA GPU——Rubin CPX,将大模型推理带入「百万Token时代」。它性能强大,能带来高回报,可重写推理经济,还将得到英伟达全栈AI生态支持,预计2026年底可用。
全网最强万字解读:DeepSeek-V4 掀翻了谁的桌子? | GAIR live 030
文章深度解读了DeepSeek-V4,从产业、生态和架构维度拆解其效率账本。它成本低,补齐短板适配昇腾芯片,但极致省钱也有代价,如性能衰减、架构复杂等。还探讨了长上下文、MoE与稠密模型路线差异及商业化潜力。
仅隔一天,OpenAI同步上线o3和o4 mini,它们能调用ChatGPT里的多种工具,可基于图像思考。o3是强大推理模型,o4-mini专为快速经济推理优化。即日起部分会员可体验,还开源了Codex CLI。
第二代InfLLM开源,同尺寸快三倍!零参数,可训练稀疏注意力
新智元报道,清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2,仅用5B长文本词元就能完成训练,相比稠密注意力机制有显著加速,性能接近传统稠密模型。
刚刚DeepSeek宣布大规模扩张,整体至少扩员一倍,全体岗位集体喊人加入
DeepSeek宣布大规模扩张,各部门规模至少扩一倍。其发力点包括底层算力与系统优化、高质量数据、Agent与应用落地及探索Next Level科研。用人反内卷、反官僚,岗位接受实习,还新增AGI核心业务管培生。
Claude Managed Agents提了两个新改进,解决企业级安全问题
企业把AI接入内网,认证令牌风险大,阻碍全面接入内部API和数据库。Anthropic为Claude Managed Agents提出自托管沙箱和MCP隧道两个新解法,核心是让凭证控制权留在网络边界,还介绍了相关沙箱服务商。
手机跑多模态也能快到飞起!面壁MiniCPM-V 4.6开源
面壁智能开源多模态模型MiniCPM-V 4.6,以低算力成本、超低首Token延迟打通三大主流手机操作系统。它算力瘦身性能强,是视觉语言多面手,还适配主流系统,降本增效,让AI能力从云端到指尖。
PaperDebugger:开源的学术版Cursor
PaperDebugger是AI驱动的学术写作助手,能调试和改进论文,提供智能建议。它用基于MCP的编排引擎,模拟学术流程,有聊天、插入、评论等功能,只读取项目,保障隐私。