「推理优化与部署」共找到 3519 篇相关文章
谷歌偷偷上线免费Cursor，程序员饭碗又摔碎了！
Google AI Studio增加build按钮，相当于免费的cursor。能用一句话、图或文件生成完整AI应用并一键部署。可通过对话修改应用，分享应用消耗他人免费配额，利于推广Gemini生态。
AI失忆术！只需3个注意力头，就能让大模型忘记「狗会叫」
Meta和纽约大学团队发布论文《From Concepts to Components》，提出SAMD和SAMI方法。前者定位模型概念注意力模块，后者微调强度。能让模型‘失忆’，还可增强推理、控制安全，为AI研究开新方向。
火遍全网的AI在线生成前端页面DeepSite开源替代LocalSite
LocalSite AI是现代化网页应用，能按自然语言描述生成HTML、CSS和JavaScript代码。它功能丰富，支持多AI供应商，介绍了技术栈、安装步骤、部署方式、使用指南及发展路线等。
小米发布Qwen2.5VL升级版MiMo-VL，能力提升30%
小米发布Qwen2.5VL升级版MiMo-VL，能力提升30%。它能完成输入视觉回答问题、做几何体等任务，重点解决多模态推理、视觉理解及与人类偏好对齐问题，介绍了模型结构、训练阶段等内容。
大型挂机现场：马斯克的55万英伟达GPU，利用率才11%
《The Information》报道，马斯克旗下xAI有55万英伟达GPU，利用率仅11%。原因包括大规模部署协调难、数据传输瓶颈和训练间歇性。这是行业普遍问题，xAI着手解决，设定50%利用率目标。
智能旅行助手
开发者开源智能旅行助手 AI Travel Agent Streamlit，集成 OpenAI、天气 API 等服务，可在直观界面完成旅行规划。介绍了设置、运行、部署方法，还提及测试、安全等要点。
我的天！MCP开发，从“地狱模式”秒变“傻瓜操作”
作者分享FastMCP工具，它让MCP开发从难变易。过去开发MCP耗时久、Bug多，用FastMCP，186秒可本地搭建，还能上云、部署到Cloudflare Worker，降低AI工具开发门槛。
字节开源了一款多模态神器！BAGEL上线，超越Qwen2.5-VL，媲美SD3！
多模态AI发展进入新阶段，字节跳动开源通用多模态大模型BAGEL。它支持多模态输入输出与思维链推理，性能超Qwen2.5 - VL等，安装使用友好，有多种应用场景。
自动化评测的九九归一——评测agent
本文提出统一评测Agent架构，实现评测全链路自动化。它能学习标注标准，完成自动标注等工作。还介绍架构、解耦方法、模型优化及训练方案，解决多模态幻觉等问题，提升机审率，节省标注成本。
1200行代码逆袭！DeepSeek工程师开源轻量级vLLM，吞吐量逼近原版
开源 vLLM 可提升 LLM 推理速度和资源利用率。近日，DeepSeek 工程师俞星凯开源轻量级 Nano - vLLM，代码仅 1200 行，基准测试中吞吐量逼近原版，项目已在 GitHub 获 200 多 Star。