「线性变化」共找到 386 篇相关文章
重磅！Thinking Machines开山之作：大模型输出随机的根本原因被揪出，并开源终结方案
由OpenAI前CTO创办的Thinking Machines宣布上线技术研究博客，开篇文章揪出LLM输出随机的根本原因是负载及批次大小的非确定性变化，并给出系统性解法，还开源方案。
搜索领域的下一个重大转变：从产品到基础设施
Lightspeed投资人称搜索正从人类产品转变为AI基础设施，像云计算支撑互联网，搜索将为AI提供信息。各公司集成搜索进展不同，还分析了搜索成基础设施带来的变化及新机会。
别再构建多智能体了
Multi Agent应用有望成大模型应用范式，但Cognition AI团队认为2025年追求多智能体并行协作架构是歧途，存在信息孤岛和决策冲突问题。主张采用单线程线性架构与上下文工程。
Moonshot AI发布Kimi Linear技术报告，采用混合线形注意力架构
Moonshot AI在Hugging Face发布Kimi Linear技术报告，该48B参数模型采用混合线性注意力架构，称超越传统全注意力机制。官方数据体现其优势，模型已开源，社区反应不一，MiniMax则回归全注意力架构。
AGI只是硅谷的幻想？！AI科学家盛赞中国，并从物理学角度宣告我们永远造不出AGI
AI科学家Tim Dettmers在博客发文指出，计算需遵循物理定律，线性进步要消耗指数级资源，硬件升级红利已尽。他认为美国追求超级智能短视危险，中国重应用普及更务实，AGI不会发生，超级智能是幻想。
AGI只是硅谷的幻想？！AI科学家盛赞中国，并从物理学角度宣告我们永远造不出AGI
AI科学家Tim Dettmers在博客文章中指出，计算须遵循物理定律，线性进步要指数级资源，硬件升级红利已尽。他认为美国追求AGI和超级智能不切实际，中国重应用普及更务实，AGI难以实现。
重磅！微软宣布开源Copilot！Cursor：完了！
5月19日微软VS Code团队宣布完全开源其AI编辑器功能，将把GitHub Copilot Chat扩展代码以MIT许可开源并重构到VS Code核心。此决定受AI开发领域变化推动，在开发者社区引发争议。
加州理工用AI攻克量子化学60年难题，1块显卡做完7800块的活！
加州理工学院Anima Anandkumar团队8月24日发文，用AI模型将量子化学计算复杂度从立方级压到近线性级。单块GPU就能完成含82500个电子的金属缺陷模拟，而2019年同类计算用了约7800块GPU。
32k微调处理百万Token：21倍的推理加速，10倍的峰值显存节省，实现恒定内存消耗
现有大模型处理超长文档易内存爆炸、计算崩溃。阿里巴巴未来生活实验室推出CoMeT架构，有双轨并行记忆系统，能恒定内存、线性时间处理文本，在基准测试超主流方法，实现21倍推理加速和10倍显存节省。
告别随机性：Thinking Machines Lab如何实现了LLM推理的完全确定性？
文章指出LLM推理非确定性根源并非GPU并发和浮点非结合性，而是批大小变化致核函数非不变性。作者提出实现批不变操作的策略，实验验证有效，还阐述其对训练、系统可靠性等方面的意义。