「AI推理加速」共找到 11202 篇相关文章
智能旅行助手
开发者开源智能旅行助手 AI Travel Agent Streamlit，集成 OpenAI、天气 API 等服务，可在直观界面完成旅行规划。介绍了设置、运行、部署方法，还提及测试、安全等要点。
我的天！MCP开发，从“地狱模式”秒变“傻瓜操作”
作者分享FastMCP工具，它让MCP开发从难变易。过去开发MCP耗时久、Bug多，用FastMCP，186秒可本地搭建，还能上云、部署到Cloudflare Worker，降低AI工具开发门槛。
一键搞定双语播客的项目，效率+200%，太6了！
文章介绍开源项目Twocast，它是AI播客生成器，能模拟双人自然对话，3分钟产出一期播客。有双人对话、多输入、多语言等特色，提供两种安装方式，适合多类人群。
MCP 火爆半年后，是时候对它“祛魅”了
2024 年 11 月 25 日，Anthropic 发布的 MCP 协议意义重大，解决了 AI 模型与工具、数据源集成的碎片化问题。文章深入探讨其架构、价值、影响及趋势，还采访专家解答相关疑问。
大规模工程支撑场景下的多智能体系统设计：Grab 实践案例
Grab分析数据仓库（ADW）团队推出多智能体AI系统，处理数据仓库故障排查等工程请求，减少重复性运维。团队搭建多智能体架构，整合工具生态，考虑安全治理，解决上下文管理挑战，提升工作效率。
Nano Banana 2突然现身！能画公式解数学题，监控画面都能伪造
Nano Banana 2代以预览版现身第三方网站，后被移除。其能力远超1代，能处理复杂提示，可生成复杂UI、解数学题甚至伪造监控画面。谷歌正将Nano Banana整合进核心产品生态。
1200行代码逆袭！DeepSeek工程师开源轻量级vLLM，吞吐量逼近原版
开源 vLLM 可提升 LLM 推理速度和资源利用率。近日，DeepSeek 工程师俞星凯开源轻量级 Nano - vLLM，代码仅 1200 行，基准测试中吞吐量逼近原版，项目已在 GitHub 获 200 多 Star。
Rust 天花板级大神公开发帖找工作：3000 次核心提交，不敌 “会调 OpenAI API、用 Cursor”？
Rust 编译器核心贡献者 Nicholas Nethercote 和 Michael Goulet 因团队缩编等原因公开找工作。Nicholas 称 AI 吸走大量资金与注意力，使 Rust 项目资源减少。同时，Unix 联合创始人质疑 Rust 能否取代 C。
LLM长文本内卷，谁是真英雄？告别跑分玄学，我们需要一把“公道秤”
OpenNLG Group做了统一长上下文评估框架LOOM - Scope，兼容主流benchmark、model和长上下文加速方法。该框架围绕BENCHMARK、DEPLOYMENT和EVALUATOR三大核心模块，还提出LOOM - Bench应对评估成本制约。
离开Meta后，田渊栋刚刚官宣创业了
离开Meta后，田渊栋参与创立Recursive_SI。该初创公司致力于打造可自主实验、自我改进的AI，已筹集6.5亿美元，估值46.5亿美元。团队成员经验丰富，在递归自我改进方向有深厚学术积累。