「参数微调」共找到 930 篇相关文章
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。
RL 是新的 Fine-Tuning
今年 9 月，Thinking Machines 研究使 LoRA 重获重视。OpenPipe 创始人 Kyle Corbitt 访谈指出，多数场景微调 ROI 低，RL 将融入 agent 生命周期成主流，但 RL 落地难在环境搭建，World Model 或为关键。
AI模型守法率提升11%，港科大首次用法案构建安全benchmark
香港科技大学KnowComp实验室从法律合规视角研究LLM安全，提出「安全合规」新范式。基于法律条文构建benchmark，用GRPO微调Qwen3 - 8B得推理模型，在新benchmark测试中性能提升显著。
高考数学斩获139分！小米7B模型比肩Qwen3-235B、OpenAI o3
2025高考落下帷幕，人工智能领域多家大模型挑战数学卷。小米7B参数的MiMo - VL模型考139分，比肩Qwen3 - 235B、OpenAI o3，还在多方面表现出色，技术报告等已开源。
小模型推理极限在哪里？微博开源3B小模型，比肩顶级闭源
微博新开源的VibeThinker - 3B小模型，将特定能力维度性能推向极限。它在数学竞赛、编程等可验证推理基准上表现优异，成绩直逼顶尖大模型。其训练流程层层叠加，还提出参数压缩 - 覆盖假说。
BLIP3-o统一图像生成与理解，多模态融合趋势显现
BLIP3 - o致力于统一图像理解和生成，提升生成质量与效率。它融合自回归和扩散模型，采用CLIP + Flow Matching架构等。经训练，在图像理解和生成任务表现佳，指令微调效果显著。
最强3B「小钢炮」，代码数据全公开！推理随意开关，128k超长上下文
Hugging Face推出30亿参数模型SmolLM3，支持128k长上下文，训练等全链路开放。它在架构、数据混合策略等多方面优化，性能超Llama3.2 - 3B等，还公开双模式指令模型构建方案。
通用的dLLM开发框架，让BERT掌握扩散式对话
扩散式语言模型（DLM）因缺乏易用框架和训练成本高受限。伯克利与UIUC团队基于dLLM框架，让BERT学会对话，证明‘离散扩散 + 轻量级指令微调’可赋予BERT强生成能力，还开源全流程代码。
挺搞笑，MiniMax模型就是不认识「马嘉祺」
网友发现 MiniMax 模型不认识「马嘉祺」，不同接口和平台均能稳定复现。这或因训练数据清洗和分布问题，使特定词汇生成异常。论文指出 tokenizer 机制缺陷或致模型异常，问题不会随参数规模增大消失。
大模型解数学题是真懂还是 “死记硬背”？｜首个反例驱动的数学推理基准揭穿 “刷题式假象”！
随着大语言模型在数学领域应用渐广，其是否真具备数学推理能力成焦点。清华等团队提出反例推理评测基准COUNTERMATH，测试20+主流模型，结果不佳，而小样本微调能显著提升模型能力。