「技术延迟」共找到 2967 篇相关文章
苹果端侧AI两连发!模型体积减半、首字延迟降85倍,iPhone离线秒用
苹果在Hugging Face放出FastVLM与MobileCLIP2两条多模态主线。前者主打「快」,首字延迟压到竞品1/85;后者突出「轻」,体积减半。模型和Demo已开放,开发者可集成开发。
openJiuwen协同昇腾打造智能体「算力亲和」技术,首token时延砍半,推理存储占用下降25%
传统推理引擎难以理解 Agent 任务状态,导致推理时延久、显存占用高等问题。openJiuwen 协同昇腾打造智能体「算力亲和」技术,建立语义协同机制,优化 KV Cache 管理,提升 Agent 系统运行效率。
新型开源端到端 AI 语音模型!Voila:195ms 超低延迟引领全双工对话!
Maitrix团队发布开源AI端到端语音模型Voila,以195ms超低延迟及全双工对话受关注。它功能强大,支持多语言,有多种使用方式,适用于多个场景,架构采用模块化设计。
Google 新论文离谱到家了,0延迟0成本通用,提升大模型准确率最简单的方法。
Google新论文提出简单提升大模型准确率的方法,即重复提示词,把完全一致的输入连续发2次。主流模型适用,经70项benchmark测试,0场景效果倒退,47个场景准确率提升,且几乎不增延迟、成本。
里程碑时刻!首个100B扩散语言模型来了,技术报告揭秘背后细节
蚂蚁集团与高校联合团队推出 LLaDA2.0 系列扩散语言模型,其中 LLaDA2.0 - flash 参数量达 100B。技术报告披露细节,其解决了 dLLM 做大做强难题,性能比肩 AR 模型,为扩散模型工业化带来转机。
开源TTS语音新标杆!Kyutai TTS:350ms延迟碾压全场,词级时间戳重构!
法国AI实验室Kyutai开源高性能TTS语音模型Kyutai TTS,基于DSM框架,支持流式输入、超低延迟与高保真语音生成,有多项亮点,还给出不同使用方式及应用场景。
解密谷歌 NotebookLM 技术幕后【上】:知识如何被“转译”为 AI 对话式播客
NotebookLM是Google推出的AI知识工具,能将文档、网页等内容转化成笔记、播客、视频等。文章探秘其技术,解析AI音频播客与视频生成能力,还给出构建音频播客生成器的实践流程。
妈妈再也不用担心延迟了!斯坦福手搓Llama超级内核,推理仅需0.00068秒
斯坦福Hazy实验室推出低延迟推理引擎「Megakernel」,将Llama - 1B前向传播融入单一GPU内核,H100上提速1.5倍,B200上每次推理仅0.00068秒,比vLLM快3.5倍。文章分析传统引擎问题并介绍Megakernel设计。
舍弃自回归,离散扩散语言模型如何演化?NUS综述解构技术图谱与应用前沿
本文介绍新加坡国立大学xML团队的论文,梳理离散扩散方向研究图谱,对比自回归局限与离散扩散优势,阐述数理基础、模型生态、训练与推理技术,还提及应用及未来方向,显示其对自回归范式的替代潜力。
AI窗口期只剩3-4年,98%的企业却高估了自身的技术成熟度
麻省理工学院报告显示,企业级AI试点仅约5%进入生产环节并产生回报。多数企业高估自身AI成熟度,落地难源于技术与组织发展速度不匹配。企业需系统重构,窗口期只剩3 - 4年。