「防蒸馏机制」共找到 1070 篇相关文章
吴恩达来信：当防护机制出问题时
本周，闭源模型用户意外发动网络攻击，闭源模型因防护机制无法协助防御，开放模型 GLM 5.2 却助力应对。吴恩达认为应重视模型使用的责任，开放模型能让技术更透明安全。
ChatGPT的记忆机制被公开了
OpenAI推出ChatGPT聊天历史记录记忆功能，默认关闭需手动开启，因未全面开放，技术大佬逆向工程破解机制。记忆系统分保存记忆、聊天记录等，体验反馈两极分化，有优势也有诸多bug。
16个月后Meta杀回开源，小扎力挺蒸馏
Meta发布新开放AI模型Muse Glimmer底层参数，未来几周将开放Muse Spark 1.2模型权重。扎克伯格力挺开源，称要为数十亿人提供免费强大AI，还为模型蒸馏辩护。Meta此举有现实压力，也想创造算力需求。
ChatGPT居然也推出防沉迷模式了
ChatGPT推出防沉迷模式，超时长会提醒休息。OpenAI副总裁称周活用户达7亿，较去年增4倍。此前ChatGPT曾因回答问题不当回滚更新。同时，OpenAI完成83亿美元融资，估值达3000亿美元。
Agent也能蒸馏了！性能超好
大模型运行成本高，普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏，让小模型学会用检索和代码工具，还加首思前缀与自我纠错“外挂”，使小模型性能直逼大模型。
基于闪电注意力机制，创新高效开源大模型
传统Transformer架构处理长文本和复杂推理任务有效率瓶颈，多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax，从架构、创新模块、训练框架等多方面优化，表现突出。
马斯克翻车了！一边告OpenAI，一边偷偷蒸馏ChatGPT
4月30日，加州奥克兰联邦法院，马斯克诉OpenAI案进入第四天。马斯克承认自家Grok模型部分蒸馏了ChatGPT，还为AI公司排名，xAI垫底。法官拦下讨论AI灭绝话题，下周OpenAI联合创始人将出庭。
好奇心之旅：Cursor代码库索引机制的学习笔记
作者作为高德信息工程团队AI先锋队一员，日常用Cursor开发，因好奇其代码库索引机制展开探索。介绍了Cursor索引工作流程、隐私安全等，还研究Merkle树、turbopuffer向量库及开源方案Continue。
ChatGPT 为什么越来越“懂你”？一文解析它背后的记忆机制
今年4月，OpenAI对ChatGPT记忆系统重磅升级，可参考过往对话提供个性化响应。软件工程师Eric Hayes拆解其双重记忆架构，推测实现机制，探索对用户体验的重塑。
微调已死！「共识机制」实现提示词自我进化，性能飙升
人工智能领域正从「模型微调」向「上下文工程」转变。西湖大学MAPLE实验室齐国君教授团队提出基于「共识机制」的提示词组进化算法C - Evolve，能突破单一提示词性能局限，提升系统整体性能。