ToM推理框架」共找到 3347 篇相关文章

7

AI 编程正在终结框架时代

作者认为自动化编程让人们摆脱繁重体力劳动,可专注重要创作。框架解决简化、自动化和劳动力成本问题,但带来诸多弊端。真正的软件工程已回归,应摆脱无用复杂性,自主构建产品。

InfoQ
算法论文7

The Batch: 899 | 更划算的推理

研究人员提出 Delethink 强化学习方法,训练大模型定期截断推理 token 至固定最大数量,以限制处理长思维链成本。经测试该模型在多方面超基线,且缓解计算成本限制,为长上下文推理提供路径。

DeeplearningAI
开源动态7

如何重现 DeepSeek 推理性能突破

DeepSeek-V3 是热门开源大模型,采用大规模 MoE 架构,优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化,对齐其推理系统性能,分享关键技术、不足与思考,还提及对 Qwen3 模型的优化策略。

InfoQ
开源动态8

10% KV Cache实现无损数学推理!这个开源方法解决推理大模型「记忆过载」难题

推理大模型推理时易现冗余问题,R-KV开源方法登场,显存降90%、吞吐提6.6倍、准确率达100%。它通过实时对token排序解决冗余,还经多步骤压缩KV缓存,性能测试表现出色,适用多场景。

量子位
算法论文7

The Batch: 863 |推理提高了碳排放

新研究量化推理模型时代提供更优答案的环境成本,研究人员估算14个开源权重的大模型碳排放,发现推理与排放存在权衡关系,还指出战略性部署可降低排放。

DeeplearningAI
推荐文章8

为什么开发者放弃框架而选择原生 JavaScript

前端开发者正在回归原生 JavaScript。原生 API 和 AI 工具使其成为框架疲劳的解药,成熟的 API、性能考量、AI 助力、微前端与无构建架构兴起等因素促使开发者做此选择。

InfoQ
产品应用7

DASF:可落地,易执行的AI安全框架

随着AI广泛应用,安全担忧增加,需系统方法论梳理和消减风险。此前Google的SAIF框架原理完整但操作性差,此次介绍Databricks的DASF框架,具体易落地,介绍通用数据中心AI系统四阶段、12组件及62个安全风险与消减方法。

AI与安全
新闻资讯7

新版Claude曝光:“极限推理”成最大亮点

O家刚免费上线GPT - 4.1,A家新版Claude Sonnet和Claude Opus被曝即将发布,亮点是“极限推理”,能在推理和工具使用间建立动态循环,更智能处理问题,预计未来几周发布,虽有网友质疑,但也有实测证据。

量子位
新闻资讯7

Anthropic 提出透明度框架以保障前沿 AI 发展

Anthropic提出新透明度框架,针对大型AI公司,实施安全开发框架评估并减轻潜在风险,要求公开披露SDFs和系统卡片,小型公司豁免,还设执行合规条款,旨在平衡安全与创新。

InfoQ
算法论文7

The Batch: 939 |在推理阶段学习长上下文

大型语言模型处理长上下文时通常准确性降低、速度变慢,研究人员提出TTT - E2E方法,通过推理时训练模型将上下文压缩到transformer权重中,还展示了其运作方式、测试结果等。

DeeplearningAI