「AI推理功能」共找到 11676 篇相关文章
阿里通义发布并行计算新策略:1.6B等效4.4B,内存消耗骤降95%
阿里通义团队提出PARSCALE并行计算新策略,受CFG双路径推理机制启发,将并行思想扩展到训练和推理全流程。能让1.6B模型性能接近4.4B模型,内存占用大降,还可用于现有模型,无需从头训练。
5V5电竞版Prompt Battle来了,这是AIFUT大会最后的总结。
AIFUT大会结束,最后半天有圆桌、演讲与Prompt Battle电竞赛。余轶南谈具身智能和家庭机器人;5v5电竞赛红队夺冠;神思远等探讨影视行业;快刀青衣等交流AI创业;张泓等讨论AI投资;吕思彤分享开发经验。
量化噪声竟是RL秘钥?QeRL:高效强化学习新范式,一场噪声引发的性能革命
近年来,大语言模型在复杂推理任务中面临挑战,强化学习虽更接近人类推理过程,但训练“烧资源”。论文《QeRL》提出量化不仅能压缩模型、节省资源,还能增强模型探索能力,QeRL框架实现训练速度提升、内存占用减半。
面向多工具任务调度的两种路径:MCP vs Agent + Function call
本文围绕大语言模型智能应用中的工具与数据接入问题,介绍了基于 Agent + Function Call 的动态调度机制与基于 MCP 的标准化接入框架,分析了不同场景下的适用性,还探讨了二者未来的协同融合方向。
融资千万的 Violoop ,要做中国版的「硬件龙虾」
AI科技公司Violoop创始人何佳霖,想做中国版“硬件龙虾”,让AI 24小时为人类打工。其产品是手掌大小桌面硬件,3月12日完成数千万元融资,将用于产品落地等。团队最初尝试纯软件路线,后因安全等问题转向硬件。
卡帕西点赞Transformer内置计算机!每秒3万Token吞吐,拿下世界最难数独
当前大模型推理顶尖但精确计算不足,Percepta团队在Transformer权重里内嵌可执行程序,通过2维注意力头设计提升推理效率,能在普通CPU上实现每秒3万+Token的流式输出,还精确求解了世界最难数独。
SpAItial发布超逼真3D空间基础模型
德国AI初创平台SpAItial获1300万美元种子轮融资,发布超逼真3D基础模型。其核心技术能理解3D世界,可基于文本或图片生成3D场景,在多领域有革新可能,虽有竞争,但未来有望推动AI三维突破。
专为小说、角色扮演等而生:元象开源泛娱乐场景底座模型
元象作为AI与3D技术服务公司,此次开源XVERSE-Ent系列中英双语大模型。它采用MoE热启动技术与三阶段训练策略,解决泛娱乐场景痛点,适配多元语境,有高部署性价比,为行业提供泛娱乐AI解决方案。
仅隔一天,OpenAI同步上线o3和o4 mini,它们能调用ChatGPT里的多种工具,可基于图像思考。o3是强大推理模型,o4-mini专为快速经济推理优化。即日起部分会员可体验,还开源了Codex CLI。
杀疯了!单卡4090跑通全量微调,面壁1B级多模态性能怪兽硬刚大厂
面壁智能推出MiniCPM-V 4.6,参数约1B,性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品,靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新,有工业验证,对开发者和普通用户意义大。