「推理服务」共找到 2623 篇相关文章
浅析 Amazon S3 Files：工作机制、性能边界与选型思路
4月7日，AWS发布新服务Amazon S3 Files，可将S3存储桶作为高性能共享文件系统挂载到计算节点。本文分析其底层实现、工作机制、性能边界，与其他对象存储文件化方案对比，指出适用场景。
视觉语言模型“扫地僧”：360低调开源FG-CLIP2登顶29项全球基准测试 | 甲子光年
两周前，360人工智能研究院低调开源FG - CLIP2，它在29个公开基准测试中超越Google和Meta的模型。该模型实现局部细粒度识别和原生双语对齐，为AI视觉理解设新基准，已服务开发者并在多领域落地。
开源大模型SOTA又刷新！中国MiniMax M2全球排名第五，开源榜一
中国AI独角兽MiniMax发布模型M2，刷新开源SOTA。它采用混合专家架构，平衡了智能、速度和成本。在多个权威测试中表现优异，价格仅为Claude 3.5 Sonnet的8%，还提供多种部署方式和限时免费服务。
超越GPT-4o和Gemini 2.5！小米MiMo-Audio音频大模型真香
小米推出MiMo - Audio大模型，预训练数据超1亿小时。它在多个基准测试成开源7B模型SOTA，开放相关资源。分词器表现佳，有全新架构，在音频理解、对话、推理等方面表现出色，还集成TTS功能。
AI安全得查祖宗三代？Anthropic登Nature揭秘大模型潜意识传染
Anthropic论文登上Nature，揭示AI模型仅通过纯数字序列就能继承另一模型的危险偏好。研究表明，即使删掉敏感词，隐性信号仍能传递，且代码和推理链也是传染通道，这对AI安全评估提出新挑战。
首创Mid-training范式破解RL奥秘，Llama终于追平Qwen！
上海创智学院和上海交通大学研究团队深入探讨不同基础语言模型在强化学习训练中的差异，提出中期训练策略，将 Llama 改造成适配 RL 的推理基础模型，缩小与 Qwen 性能差距，还发布了 MegaMath-Web-Pro-Max 数据集。
LLM近期重大架构进化一览：从Gemma 4到DeepSeek V4
近期大模型长上下文需求增长，成本问题凸显。Google Gemma 4、Poolside Laguna XS.2、Zyphra ZAYA1 - 8B、DeepSeek V4 等模型各有架构优化，如 Gemma 4 跨层 KV 共享和 PLE，以降低长上下文推理成本。
CVPR 2026 | 从视觉Token内在变化量出发，实现VLM无损加速1.87倍
随着高分辨率图像与长视频处理需求增长，大型视觉语言模型推理效率成瓶颈。V²Drop从视觉Token内在变化量出发，采用多阶段渐进式剪枝策略，实现无损加速，在图像和视频理解场景表现卓越。
PyTorch博客翻译 Accelerating Generative AI Part III: Diffusion, Fast
这篇博客介绍用纯原生 PyTorch 技术将文本到图像的 diffusion 模型（特别是 Stable Diffusion XL）推理速度提升高达 3 倍的方法，讲解五种优化技术，还验证了方法在其他 diffusion 模型上的通用性和有效性。
消费级显卡跑大模型训练门槛再降：Qwen3-1.7B强化学习只需5GB显存
消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。