「大模型推理」共找到 9496 篇相关文章
vLLM 新特性：批量大小不再影响模型输出
vLLM 推出批量不变推理功能，解决大模型推理中相同输入在不同批量大小下结果不同的问题。设置 `VLLM_BATCH_INVARIANT=1` 可保证输出一致，技术实现含三部分，虽有性能开销但换来了结果确定性。
谷歌版小钢炮开源！0.27B大模型，4个注意力头，专为终端而生
谷歌开源Gemma 3 270M，几分钟就能完成微调，性能超Qwen 2.5同级模型。此模型小巧高效，可本地运行，还能用它构建OCR应用。它有多项亮点，适合多场景，上手简单。
刚刚，智谱港交所敲钟！市值528亿港元
智谱在港交所敲钟上市，成全球首家AGI基座模型上市公司，首日市值超528亿港元。其IPO受热捧，资本阵容强大。新一代模型GLM - 4.7表现出色，营收增长快，大部分资金用于研发，标志中国大模型迈向全球竞技。
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。
LLM进入「拖拽时代」！只靠Prompt，几秒定制一个大模型，效率飙升12000倍
新智元报道，NUS、UT Austin等机构研究人员提出「拖拽式大语言模型」（DnD），它基于提示词生成模型参数，无需微调适应任务，效率最高提升12000倍，零样本泛化能力出色。
苹果放王炸！开放大模型访问权、全家桶集成ChatGPT，人人能开发AI应用
苹果在“WWDC 2025”大会宣布在多设备集成Apple Intelligence功能，含ChatGPT图像生成等。开放基础模型访问权，开发者可开发适配应用。新功能将逐步开启测试，今年秋季部分用户可用。
AI为啥不懂物理世界？李飞飞、杨立昆：缺个「世界模型」，得学大脑新皮质工作
近来，杨立昆计划离开Meta创立以‘世界模型’为核心的AI公司；此前李飞飞也发文指出大语言模型弊端，强调建立‘世界模型’重要性。该模型源于对大语言模型局限的反思，能让AI理解物理世界。
AGI真方向？谷歌证明：智能体在自研世界模型，世界模型is all You Need
谷歌DeepMind研究人员表明，通用AI智能体处理复杂长期任务需学习内部世界模型，还证明可从智能体策略提取该模型。此研究成果补充多领域，对AI发展和安全意义重大。
被DeepSeek带火的OCR，最新8个开源模型盘点~
DeepSeek-OCR发布让OCR大热，PaperAgent梳理盘点8个热门开源OCR模型，如DeepSeek-OCR用‘上下文光学压缩’技术，Nanonets-OCR2-3B以零样本视觉链式思维为核心等。
大模型“拼好题”，45K数据撬动18%提升，数学问题拒绝死记硬背 | MathFusion
上海AI Lab等团队提出MathFusion，通过三种“融合策略”生成新的融合数据集MathFusionQA，仅用45K合成指令，在多基准测试中平均准确率提升18.0个百分点，增强模型解决数学问题的能力。