算法论文7

金鱼损失：让大模型“记性差”反而更聪明

量子位2025-09-03

AI 摘要

马里兰大学等团队提出金鱼损失法，训练时随机剔除部分token，使模型不逐字记训练集。实验表明，LLaMA - 2用后记忆内容减少，下游任务性能影响小，不过或降低计算效率。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

DeepSeek高毛利，冲刺5000亿估值A股上市

据外媒报道，DeepSeek今年前七个月营收约4.75亿，较2025年全年增长近10倍，净亏损收窄，综合毛利率44.6%，API业务毛利率达82.9%。它正磋商500亿二轮融资，筹备明年沪上市，靠优化基建降本，低价策略吸客。

8月25日，Google Cloud发布Gemini Enterprise for Legal面向律所和企业法务团队开放预览。它想解决让模型进入律所现有工作系统，不打乱权限等规则的问题，通过MCP连接系统并继承权限，还组织各方合作。

NovaSilicon发表论文探讨超级智能在芯片领域的运用。随着芯片复杂度提升，传统EDA方法遇瓶颈，论文提出将芯片设计超级智能建模为AI组织，利用LLM等技术，重塑芯片设计行业，实现产业链智能化升级。

OpenAI公布自研推理芯片Jalapeño（墨西哥辣椒）测试结果，它专为大语言模型推理设计，能同时提升吞吐量和降低延迟，在多模型测试中超NVIDIA系统。该芯片与Cerebras合作，计划2026年底部署。