「持续预训练」共找到 2562 篇相关文章
挑战 1 比特！ETH Zürich 秦浩桐：如何把大模型「塞进」小设备？| IJCAI 2026
IJCAI 2026大会上，秦浩桐给出创新解法，挑战无需重训的“后训练量化”极限，将庞大的LLM强行压缩至极端的1比特与2比特。其团队的BiLLM与SqueezeLLM打破了后训练量化魔咒，还指出极低比特量化的三大挑战。
一篇多模态大模型推理技术最新综述
华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展，涵盖关键算法设计、奖励机制创新及实际应用，探讨了RL在LLMs/MLLMs中的关键设计与优化策略，还涉及多模态大模型推理多方面内容。
苹果提出原生多模态Scaling Law！早融合+MoE，性能飙升秘密武器
如今打造强大多模态模型是AI重要目标，常用方法有局限。法国索邦大学、苹果研究人员开展原生多模态Scaling Laws研究，对比早融合与后融合，探讨多种因素对模型性能影响，发现早融合、多模态MoE优势，为后续研究指明方向。
出海AI工具，一定要大胆上付费，上订阅，上年付订阅！
AI工具的付费订阅模式能为网站带来持续稳定的收入，通过大胆尝试年付订阅，可以显著提升MRR。
苹果提出新型反向传播：一台iPhone 15 Pro Max就能微调LLM
苹果提出内存高效型反向传播（MeBP），可在内存使用量和计算时间上比零阶优化（ZO）有更好权衡，收敛更快、性能更优，还在iPhone 15 Pro Max验证其有效性，且公开了实现链接但目前为空。
刚刚！AI 圈顶流 Karpathy 三连击：开源、泼冷水、AI 教育~
10月，AI圈顶流Andrej Karpathy有三连动作：开源nanochat项目，100美元可复刻ChatGPT；发表AGI十年论，给行业泼冷水；推进Eureka教育项目，重构AI教育范式。
爆火AI编程Windsurf突遭Claude全面断供，开发者大量退订！直接打脸OpenAI
AI编程工具Windsurf突遭Anthropic切断Claude 3.x系列模型API访问权限，CEO称仅获五天通知。用户大量退订，Windsurf官方激烈回应，采取应对措施，AI编程领域大战正酣。
陶哲轩DeepMind梦幻联动，最强通用科学Agent来了！一口气解决芯片设计、矩阵乘法和300年几何难题
谷歌DeepMind与陶哲轩等打造的AlphaEvolve是LLM驱动的进化编码Agent。它能优化计算生态、调度数据中心等，还解决了数学难题，已在谷歌内部使用，现开启早期邀测试用。
Agent不是关键！人大AiScientist实现23小时、74轮长程记忆
中国人民大学团队打造的AiScientist，旨在解决长程机器学习研究工程的持续性难题。它通过File - as - Bus机制稳定保存项目状态，在多轮实验中表现出色，提升科研效率，推动AI真正接手科研流程。
Pinterest 部署生产级模型上下文协议生态系统，赋能 AI 智能体工作流
Pinterest 工程团队搭建内部模型上下文协议（MCP）生态系统，驱动 AI 智能体，实现工程任务自动化。架构上线生产级服务器等，替换零散对接方式，让语言模型调用工具、访问数据，还能执行多种任务。