「大模型推理加速」共找到 8576 篇相关文章
DeepSeek R2没来，Kimi K2来了，VLLM，SGLang首发支持
Moonshot AI发布Kimi K2大语言模型，采用混合专家架构，总参数量达1万亿。其有多项技术创新，在多个基准测试表现突出。发布两版本，用修改版MIT协议开源，vLLM、SGlang首发支持，已上线多服务。
微软上线Deep Research：OpenAI同款智能体，o3+必应双王炸
今天凌晨微软在官网宣布，Azure AI Foundry中上线Deep Research公开预览版，这是支持API和SDK的OpenAI高级智能体研究能力产品。它通过必应搜索与GPT系列模型深度协同，将研究流程全面自动化。
代码怎么才能跑的更快
文章围绕让代码跑更快展开，先介绍调整源代码的方法，如降低循环开销、去除内存引用等，又阐述使用硬件加速指令，像用 SIMD 函数、避免分支语句等，还提及多核并行和分析瓶颈等要点。
AI无师自通，搞定所有家务！π0.5突破泛化极限，UC伯克利系出品
具身智能最大挑战是泛化能力，美国具身智能公司Physical Intelligence推出π0.5 VLA模型，通过异构任务协同训练实现泛化，可在全新家中执行各种家务，虽有不足但向广泛泛化物理智能迈进。
死敌爆料是狠！OpenAI内部信阴阳Claude营收注水80亿，然后泄露了…
OpenAI首席营收官Denise Dresser给员工的内部信被泄露，信中透露Q2企业业务方向，还贬低对手Anthropic，称其300亿年化营收虚高80亿。此外，还提及OpenAI未来计划，如推新模型Spud、与Amazon合作等。
DeepSeek-OCR 2再进化，对图像理解已经像人一样逻辑推理了
DeepSeek-OCR 2升级，保持前代高效压缩率和解码效率，引入DeepEncoder V2，模仿人类视觉因果流机制，将图像理解转为逻辑推理，在文档解析领域实现逻辑重构，性能显著提升。
零Token部署GraphRAG，LinearRAG做到了~
现有GraphRAG模型在实际应用中常不如朴素RAG，原因是自动构建的知识图谱质量不佳。LinearRAG框架通过Tri - Graph架构、两阶段精准检索和零Token范式重构GraphRAG，在多数据集上超越现有方法，代码和数据已开源。
英伟达联手QCI搞大事：量子应用能在真机前先模拟纠错
量子电路（QCI）公司联合NVIDIA，将CUDA - Q编程能力集成到Aqumen软件套件。QCI的双轨量子比特设计易纠错，有检测、控制流、处理错误三大功能。二者结合能让开发者在真机前模拟纠错，加速量子计算商业化。
Data Agent 落地挑战：忽略技术框架、语义能力和运营体系，投入可能打水漂
Data Agent 落地挑战大，90% 难点源于软件工程，统一语义层建设是关键。企业若忽略场景聚焦、技术框架迭代能力、语义模型和运营体系，投入可能打水漂。掌握相关要素，才能让 AI 代理落地应用，提升企业数据智能化效率。
刚刚，Gemini 宣布将前往太空！
刚刚，Starcloud宣布与Google Cloud合作，要把Gemini模型送上卫星运行。计划今年底或明年初通过SpaceX发射搭载NVIDIA H100 GPU的演示卫星。虽面临诸多技术难题，但在AI算力需求增长下，此举或开启新时代。