「大模型推理加速」共找到 8437 篇相关文章
打破瓶颈，让RAG学会思考：中科大、智源等发布推理检索框架BGE-Reasoner
人工智能浪潮下，推理密集型信息检索是RAG和AI Agent技术发展瓶颈。中科大、智源等机构联合研发推理检索框架BGE - Reasoner，在BRIGHT基准测试中刷新纪录，还将开放相关代码等推动研究。
超越DeepSeek-R1，英伟达开源新王登顶！14万H100小时训练细节全曝光
英伟达Llama - Nemotron系列模型超越DeepSeek - R1且全部开源。论文揭秘其训练关键，如用合成数据监督微调与强化学习等。还介绍构建阶段、架构设计等，评估显示该系列模型在多任务表现出色。
135 个项目、七大趋势、三大赛道：撕开大模型开源生态真相，你会怎么卷？
在开发者大会密集登场之际，5月27日蚂蚁集团开源团队发布《2025大模型开源开发生态全景图》。展示135个项目、七大趋势、三大赛道，剖析开源生态现状与变化，揭示应用重塑和生态位博弈。
社区发布丨全面开源！商汤日日新SenseNova U1发布，迈向模型理解生成统一时代
商汤科技正式发布并开源商汤日日新SenseNova U1系列原生理解生成统一模型，基于NEO - unify架构，实现模态集成向原生统一跨越，其轻量版在多项测试达同量级开源SOTA，还能连续性图文创作。
AI 本地跑？Google 新开源模型上线，本地量化后占用不到 200MB 内存，支持百余语言
Google DeepMind推出开源嵌入模型EmbeddingGemma，专为本地设备高效运行设计。它用Matryoshka方法和量化感知训练，提升效率。在MTEB测试中成绩佳，支持百余种语言，内存占用少，已集成多种工具。
上科大何旭明团队新作：克服简单样本偏置，让多模态模型学会「难题优先」
上海科技大学何旭明团队针对多模态模型幻觉问题，提出DA-DPO框架。该方法不依赖额外人工标注，通过动态调整样本权重，缓解简单样本偏置，在降低幻觉率同时提升综合能力，具成本效益。
最低仅需2G显存，谷歌开源端侧模型刷新竞技场纪录，原生支持图像视频
今天凌晨，谷歌官宣Gemma 3n，原生支持多模态。它在大模型竞技场超1300分，是首个超此分数的10B以下模型。其VRAM占用低，最低2GB，已在谷歌AI Studio等可用，还公开了技术细节。
80%到25%逆转！大模型代码能力最新排名：Anthropic不再是唯一的神？
OpenRouter网站有模型使用排行榜，按不同使用场景分类。2024年12月到2025年2月，Anthropic模型编程流量占比曾达80%，后谷歌Gemini 2.5 Pro等抢占份额，其跌至25%以下，Claude 4发布后份额回升。还介绍了OpenRouter特点。
别再所有人平分AI算力：顶级模型给资深工程师才省钱，新人刷题式成长已失效
在2026世界人工智能大会InfoQ直播间，滕昱和唐飞虎探讨AI Coding深层变化。他们认为AI放大资深工程师能力，冲击新人与大型软件组织，还就模型使用、判断力、企业部署等发表见解。
首家央企AI独角兽浮出水面！背靠自研大模型，4家国家队资本背书
中电信人工智能科技（北京）有限公司成为央企首家AI独角兽，完成首轮增资，引入四家国家级战略投资方。其靠自研“星辰”系列大模型，在多领域突破，实现技术与市场认可闭环，有望推动AI产业落地。