「缓存加速」共找到 700 篇相关文章
“烧掉94亿个OpenAI Token后,这些经验帮我们省了43%的成本!”
作者以月耗94亿OpenAI Token实战经历,分享优化成本经验,如选对模型、用提示词缓存、设账单预警等,降低成本43%,不过网友对此有不同看法。
Cloudflare 构建了面向 LLM 的高性能基础设施
Cloudflare发布全新基础设施,可在全球边缘网络运行大型AI大语言模型。它将模型输入处理与输出生成拆分,自研Infire推理引擎,还推出Unweight模型压缩系统,分享提示词缓存优化方案。
高通将以24亿美元收购Alphawave Semi,增强AI数据中心份额
高通官网宣布以24亿美元收购Alphawave Semi全部已发行及待发行普通股票,旨在加速其数据中心领域扩张。Alphawave技术能实现高速数据传输,与高通处理器互补,双方将携手推动AI计算等领域发展。
干掉同传?谷歌把AI同传放入所有耳机,顺手发了个颠覆性的AI浏览器
Google加速将Gemini融入核心产品线,向Google翻译引入其能力,带来实时语音翻译Beta版,提升文本语境理解,扩展语言学习工具;还推出实验性浏览器Disco,用AI重构网页浏览体验。
美团之后,京东也开始自研大模型了
京东发布JoyAI - LLM Flash模型,激活参数小、推理快。它采用混合专家架构等技术,在基础架构、数据加工、强化学习等方面表现出色,还通过多Token预测等技术加速推理,为商业场景落地扫清障碍。
老黄封神!英伟达市值首破4万亿美元,全球第一
英伟达成为全球首个市值破4万亿美元的公司,超过英、法、德等国股市总和。投资者抢购其AI芯片,股价自4月低点狂飙89%。其市值增长加速,华尔街分析师将目标指向6万亿美元。
4·18 北京 Elastic AI Tech Day|搜索基座模型议程(含 Jina 模型与 Reader)
Jina AI 模型迭代加速,Jina Embeddings 到五代目,Reranker v3获最佳论文。4月18日 Elastic AI Tech Day 将举办,Jina 团队将做系统公开技术分享,涵盖搜索AI等多方面内容。
把AI变成你的科研搭子,公益培训启动报名!
面对科研难题,AI科研加速营招募启动。由上海人工智能实验室等主办,公益开放。以真实科研任务为主线,用“书生·端砚”实践,课程覆盖多领域,学员可获多种权益。
他们想用AI发现不存在的物理学,然后用它去半人马座
美国初创公司 Physical Superintelligence(PSI),计划用 AI 加速物理发现。其核心平台 Emmy 能拆解研究问题。商业应用从 AI 数据中心切入,还参与费米探索者星际探测任务,目标平衡学术与商业。
AI 会取代你的工作吗?Anthropic 用 200 万对话告诉你答案
Anthropic发布Economic Index第四期报告,分析200万次Claude对话,提出“经济原语”框架。发现AI对高学历任务加速效果更好但成功率低,还揭示Claude.ai与API差异,引入“有效AI覆盖率”等。