「推理服务」共找到 2623 篇相关文章
OmniInsert：全新无掩码视频插入技术
基于扩散模型的视频插入技术发展快，但以往方法有局限。字节提出InsertPipe和OmniInsert，解决数据不足等难题。OmniInsert设计巧妙，还建立评测平台InsertBench，虽有小问题，但推理快，可加速优化。
小米发布Qwen2.5VL升级版MiMo-VL，能力提升30%
小米发布Qwen2.5VL升级版MiMo-VL，能力提升30%。它能完成输入视觉回答问题、做几何体等任务，重点解决多模态推理、视觉理解及与人类偏好对齐问题，介绍了模型结构、训练阶段等内容。
黄仁勋三次断言翻车！CUDA护城河，被谷歌一行代码凿穿
本文是新智元报道，基于SemiAnalysis的第三方测试，谷歌第七代TPU Ironwood推理性价比大幅领先英伟达最新B200、B300，谷歌通过软件重构打破CUDA护城河。
智能旅行助手
开发者开源智能旅行助手 AI Travel Agent Streamlit，集成 OpenAI、天气 API 等服务，可在直观界面完成旅行规划。介绍了设置、运行、部署方法，还提及测试、安全等要点。
字节开源了一款多模态神器！BAGEL上线，超越Qwen2.5-VL，媲美SD3！
多模态AI发展进入新阶段，字节跳动开源通用多模态大模型BAGEL。它支持多模态输入输出与思维链推理，性能超Qwen2.5 - VL等，安装使用友好，有多种应用场景。
1200行代码逆袭！DeepSeek工程师开源轻量级vLLM，吞吐量逼近原版
开源 vLLM 可提升 LLM 推理速度和资源利用率。近日，DeepSeek 工程师俞星凯开源轻量级 Nano - vLLM，代码仅 1200 行，基准测试中吞吐量逼近原版，项目已在 GitHub 获 200 多 Star。
Figma 自研了 Redis 代理，实现六个 9 可用性
Figma发布自研Redis代理服务FigCache详细实践，替换旧缓存栈。自2025年下半年上线，实现六个9可用性。它基于ResPC构建，分离前后端，配置灵活，处理Redis Cluster问题，迁移策略可回退。
截击英伟达！OpenClaw狂吞Token，北大系芯片黑马剑指2000 Tokens/s
NVIDIA GTC 2026前夕，AI推理赛道竞争激烈。北大系寒序科技宣布融资，首颗样片测试跑通，单位面积带宽达100GB/s/mm²，下一代「MRAM+SRAM」架构目标2000 Tokens/s，挑战英伟达。
声音自然、接近真人，只要 3 秒音频就能完成声音克隆，可本地跑保护隐私的TTS！
Neuphonic出品端侧TTS模型NeuTTS，能在本地设备高效运行，无需云服务。它有真正端侧运行、低延迟、高质量自然语音等特性，支持多语言，项目还给出安装、使用方法及支持模型等信息。
Pixeltable：一张表搞定AI流水线
Pixeltable是统一声明式框架，能处理多模态AI流水线。它用表格接口替代传统复杂架构，有数据统一管理等核心能力，适用于多模态RAG等场景，内置支持主流AI服务，值得多模态AI项目一试。