「参数化知识注入」共找到 1267 篇相关文章
微软开源新版Phi-4：推理效率暴涨10倍，笔记本可运行
今天凌晨微软官网开源Phi - 4家族最新版Phi - 4 - mini - flash - reasoning，它参数小性能强，适合边缘设备。采用自研SambaY架构，推理效率涨10倍，延迟降2 - 3倍，多场景测试表现优异。
原来Scaling Law还能被优化？Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。
新鲜出炉！斯坦福2025 CS336课程全公开：从零开始搓大模型
斯坦福大学2025年春季CS336课程“从头开始创造语言模型”课程和材料全公开。介绍了讲师信息，课程目标是引导学生开发语言模型，含5单元19门课，注重实践，还说明了学习该课程需具备的能力。
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，GitHub 近 15K Stars，月均下载量超 10 万次，被多个行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享关键技术等内容，6 月 27 - 28 日他将在 AICon 演讲。
没想到，最Open的开源新模型，来自小红书
向来低调的小红书昨日开源首个自研大模型 dots.llm1，它是中等规模的 MoE 模型，在较小激活量下性能良好。其开源力度堪称行业最大，还介绍了数据处理、训练优化等多方面技术细节。
618想换电脑跑AI？先听我一句劝。
文章围绕618换电脑跑AI展开，分析了本地跑AI的情况，包括不同模型对算力和显存的要求，指出本地跑的好处是隐私安全、无限免费，还推荐了不同预算的笔记本，为想换电脑学AI的人提供参考。
看似无害的提问，也能偷走RAG系统的记忆——IKEA：隐蔽高效的数据提取攻击新范式
研究聚焦RAG系统，提出全新黑盒攻击方法IKEA。它不依赖异常指令，通过自然查询提取私有信息。经多数据集测试，其效率和成功率高，还证实提取知识实用，揭示RAG系统潜在脆弱性。
ParScale：一种全新的大模型Scaling Law
文章提出并行扩展（ParScale）路线，在不增模型参数下，通过引入并行流提升性能。新扩展定律打破传统范式，两阶段后训练策略降成本，还适用于边缘设备，研究仍在进行。
CVPR2025｜MCA-Ctrl：多方协同注意力控制助力AIGC时代图像精准定制化
中国科学院计算技术研究所团队提出无需微调的通用图像定制方法 MCA - Ctrl，利用扩散模型内部知识，结合条件语义与主体内容。实验显示其在编辑和生成任务表现优，解决了现有技术瓶颈。
清华&通院推出"绝对零"训练法，零外部数据大模型自我博弈解锁推理能力
清华、北通院和宾州州立大学研究人员提出“绝对零”训练法，让大模型通过自我博弈生成并解决任务获推理能力。测试显示，其训练出的模型超专家标注样本训练的模型，且能提升编程与数学推理表现。