「本地自部署」共找到 2010 篇相关文章

算法论文8

推理速度飙升5倍,苹果提出全新Multi-Token生成框架!

自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架,挖掘其对未来词元“先验知识”,通过多项技术并行预测多词元,微调预训练模型可显著提速且不损输出质量。

PaperAgent
产品应用8

全球首创!B站推出影视级TTS语音模型,支持零样本语音+情绪双克隆,精准时长控制!

近日,B站语音团队推出全新一代语音合成模型IndexTTS2,提供影视级音质、情绪克隆和时长控制。其情绪与时长精细控制功能全球首创,还具备零样本语音克隆等能力,支持本地运行与中英文双语。

开源星探
算法论文8

英伟达、港大等发布创新KV缓存,实现扩散模型无训练加速

多数开源扩散语言模型推理效率不如自回归模型,英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算,还提出基于置信度的平行解码策略,测试显示能加速且保持生成质量。

AIGC开放社区
新闻资讯7

Cluely:最具争议的 00 后 AI 创业者,用一款 “作弊神器”2 个月实现 600 万美金 ARR

本文编译自 a16z 与 Cluely 联合创始人兼 CEO Roy Lee 的对话。Roy 分享了 Cluely 的发展路径,它前身是作弊插件,后成 AI 助手平台,靠病毒营销 2 个月实现 600 万美金 ARR,虽有争议但潜力大。

海外独角兽
开源动态8

没想到,最Open的开源新模型,来自小红书

向来低调的小红书昨日开源首个自研大模型 dots.llm1,它是中等规模的 MoE 模型,在较小激活量下性能良好。其开源力度堪称行业最大,还介绍了数据处理、训练优化等多方面技术细节。

机器之心
新闻资讯7

谷歌突袭发布AI应用,无需Wi-Fi、手机就能跑大模型!网友实测两极分化

谷歌推出 Google AI Edge Gallery 应用,可在 Android 设备离线运行 AI 模型。它有本地运行、智能选模等特点,响应快且隐私性好。不过网友实测评价不一,有人认为它是旧技术包装,还被指比 Core ML 落后。

InfoQ
开源动态8

真6,上线几天,轻松斩获10k,首款开源通用AI智能体Suna:一句话自动处理Excel/爬数据/写报告,程序员私人助理诞生!

Suna是Kortix推出的全球首个开源通用型AI Agent,核心突破是“执行力”,能像人类员工操作数字工具。它开源透明,是全能数字员工,已落地多场景,有五大核心功能。还给出部署方法和同类对比。

小华同学ai
新闻资讯7

大模型下半场,阶跃凭什么领跑多模态之战

国内大模型竞争分资源派、技术派、国家队三阵营,多模态成竞争分水岭。阶跃星辰成立两年发22款自研基座模型,16款为多模态。其坚持理解生成一体化路线,在多模态领域有优势,还布局多应用场景。

AI科技评论
8

仅隔一天,OpenAI同步上线o3和o4 mini,它们能调用ChatGPT里的多种工具,可基于图像思考。o3是强大推理模型,o4-mini专为快速经济推理优化。即日起部分会员可体验,还开源了Codex CLI。

鱼羊
开源动态9

6.1k星星!开源流式MoE推理框架,仅需2.5G内存就能运行350亿参数模型,手机电脑都能跑

本文介绍了获6.1k GitHub Star的开源流式MoE推理框架Edge0,该框架通过SSD专家卸载、路由预测和Recover-LoRA技术,仅需2.5G内存即可运行350亿参数大模型,支持多平台部署运行。

开源AI项目落地