「小参数模型」共找到 8333 篇相关文章
一招缓解LLM偏科！调整训练集组成，“秘方”在此 | 上交大&上海AI Lab等
上海交大和上海AI Lab联合团队提出IDEAL方法，可提升LLM综合性能。研究发现SFT阶段数据数量非关键，配比不当会加剧模型“偏科”。以Llama3.1 8B测试，IDEAL能提升代码能力，还指导了超参数选取。
The Batch: 876 | Gemini 的环境影响测算
谷歌研究人员对驱动 Gemini AI 助手的模型进行一年研究，发现处理一个提示的环境影响小。其能耗、水耗和温室气体排放量远低于此前估算，2024 - 2025 年处理中位提示时能耗、排放大幅降低。
别让米其林主厨削土豆！英伟达用「小脑指挥大脑」，重构AGI生产力
英伟达推出8B模型Orchestrator，通过组合工具降本增效。在HLE等测试中超越GPT - 5，成本仅为其30%左右。它还能泛化到未见工具，具有可定制调度能力，标志着复合AI新范式的兴起。
斯坦福×英伟达发布AI推理新范式，刷新了多领域SOTA
斯坦福与英伟达联合发布论文 TTT - Discover，提出新范式，不追求通用，在推理阶段针对特定难题修改模型参数。它战绩辉煌，但成本高、是偏科生且需打分器，其出现是技术与哲学的突破。
61.3%！「人类最后一场考试」AI终于及格了，揭秘Agent自我进化新路径
上海交通大学等联合团队提出MemRL框架，在不微调模型参数下，让AI在“人类最后一场考试”中准确率跃至61.3%。该框架受人类认知科学启发，解耦推理与记忆，实验表现出色，或为AGI提供高效路径。
OpenAI算力账单曝光：70亿美元支出，大部分钱花在了“看不见的实验”
据Epoch AI统计，去年OpenAI计算资源支出70亿美元，多以租微软云算力支付。其中50亿研发算力，大多用于幕后研究和实验，非爆款模型的最终训练，也解释了其2024年亏损原因。
Meta最新REFRAG框架引爆RAG圈！KV缓存暴降90%，速度狂飙30×
Meta推出REFRAG框架解决RAG难题。它能在不修改解码器参数下压缩上下文、复用文档向量等。实验显示，它降低KV缓存、加速TTFT，在多任务表现佳，为大模型与知识库结合提供新范式。
打造你的第一个 AI 智能体：一条清晰的实战路径！
作者发现很多人构建 AI 智能体常半途而废，给出实战路径：先挑极小明确问题，选基础大模型，决定交互方式，搭建骨架工作流，谨慎加记忆功能，配能用界面，小步快跑迭代，控制好范围。
为什么GPT-5算得出微积分，却数不清积木？
文章对GPT - 5展开系统化空间能力测评，涵盖8个基准、超10亿token成本。提出“空间智能六维图谱”，发现GPT - 5在MM和SR达人类水平，但MR、PT等方面有短板，还揭示闭源与开源模型在复杂任务上差距小等情况。
想进OpenAI？先解出这道题，百万美元算力已就位
OpenAI发起Model Craft Challenge「Parameter Golf」项目，要求在固定数据集上降验证损失，模型产物控制在16MB内，8张H100 GPU 10分钟完成训练。提供百万美元算力，6月招早期人才，挑战3月18日至4月30日。