「推理优化与部署」共找到 3538 篇相关文章
我去，还能这么玩？AI新宠DocExt：纯本地文档抽取，开源免费还无依赖！你还在为OCR头疼吗？
DocExt 是 Nanonets 开源项目，为全流程无 OCR、零云依赖的本地文档结构化提取工具，适用于多种文档类型，支持字段与表格识别。它零 OCR 误差小、可本地部署，还能灵活接入模型。
The Batch：827 | Claude 4 推动代码生成能力再升级
Anthropic 发布 Claude 4 Sonnet 和 Claude 4 Opus 模型，支持“推理模式”，能并行调用工具。还发布 Claude Code 编程智能体及 SDK。两款模型输入输出能力强，功能亮点多，性能表现佳，有多种使用渠道和定价。
Meta「轻量级」KernelLLM颠覆GPU内核生成，8B参数碾压GPT-4o
Meta推出基于Llama 3.1微调的8B参数KernelLLM，能将PyTorch代码转高效Triton GPU内核。实测单次推理性能超GPT - 4o和DeepSeek V3，多次生成得分更高，让内核开发更易上手。
谷歌AI核爆：升级全系模型，Gemini 2.5双榜登顶！所有产品用AI重做，OpenAI如何接招？
北京时间5月21日凌晨，谷歌在I/O大会发布众多更新。模型层面，为Gemini 2.5 Pro引入新推理模型和更好的2.5 Flash；谷歌搜索推出AI模式；还亮相视频模型Veo 3等，编码助手Jules公测。
三金，又是中国队！全球机器人视触融合挑战赛揭榜
ManiSkill - ViTac 2025视触觉融合挑战赛揭榜，全球42支团队参赛，中国两家具身初创公司包揽三金。该赛事聚焦视触觉融合技术，为机器人行业搭建从实验室到现实应用的桥梁，推动相关算法和硬件进步。
全新预训练数据筛选方案，让数据效率提升10倍！配置仅需fastText评分器｜港科大vivo出品
香港科技大学和vivo AI Lab提出轻量级高效数据选择方法PreSelect，已被ICML 2025接收。它只需训练部署基于fastText的评分器，减少10倍计算需求，在多数据集实验中效果显著优于其他方法。
21
本文聚焦vllm v1中管控模型分布式推理的核心Executor部分，介绍其4种类型及适用场景，以mp类型为例阐述Executor - Workers架构，还说明了大小数据在两者间的传输机制及原理。
从“卷模型”到“算总账”：AI 产业竞争开始拼什么 | 请回答 WAIC 2026
WAIC 2026热度高涨，InfoQ直播间追问‘AI正在重写什么’。与会嘉宾讨论AI产业新阶段变化，如从‘看能力’到‘算总账’，认为模型重要性方式已变，还探讨了AI原生产品定义、AI Infra影响及未来关注方向。
1.5K Star！网页提取神器 webclaw：让 AI 精准抓取网页核心内容！
webclaw是专为AI工作流打造的高性能网页提取工具，能把网页转成适合大模型的内容。它有Token优化、极速响应等亮点，支持多种安装和使用方式，解决了传统抓取工具的痛点。
英伟达为何持续押注VASTData？AI存储正在成为新的“算力”｜甲子光年
AI产业曾聚焦GPU，如今数据存储设施重要性凸显。VAST Data完成约10亿美元F轮融资，估值300亿美元，英伟达持续跟投。它重构AI数据基础设施，国内焱融科技有相似技术路线且具自主可控优势。