「token成本」共找到 1986 篇相关文章
低延迟、高吞吐，LLM优化与高效推理引擎综述
LLM计算成本高，用户要低延迟，企业要高吞吐。工程师开发优化技术，如动态批处理、KV缓存、模型量化。论文对比25款推理引擎，还探讨了多模态支持、手机端推理、新型架构支持等进化方向。
国货之光！全球AI存储基准测试MLPerf Storage 3.0结果发布，斩获九项第一｜甲子光年
9月1日，MLPerf Storage 3.0基准测试结果发布，XSKY星辰天合旗下MeshFS首次参赛，在并行文件存储赛道获九项第一。该测试覆盖多类负载，可多维度衡量存储系统性能，MeshFS兼顾性能与成本效率。
华师大智金院孵化金融原生基模Mint-Agent：超越GPT-5.6与Claude Opus 4.8，商业订单已超亿元
华东师大智金院团队孵化的金融原生基模 Mint - Agent 发布，在 FinanceAgentBench v2 上表现超 GPT - 5.6 - Sol 与 Claude Opus 4.8，单题推理成本低，商业订单超亿元，进入规模化金融场景验证阶段。
美国开源被中国甩在身后，套壳创业者更遭惨烈清算！OpenRouter CEO：天天乱用高价AI的员工要小心了
顶级科技播客20VC访谈OpenRouter联合创始人兼CEO Alex Atallah。他指出美国开源大模型落后中国，企业怕依赖巨头，AI时代员工成本应动态化，还探讨了模型生态、路由技术等行业热点。
这个项目专治建模手残党，给张图就能转变可编辑能转动的3D模型
img2threejs上线11天获4.8k Star，专治建模手残党。给它一张图，它让AI写代码把物体“搭”出来，不重建几何，也不下素材包，还省Token、零依赖，有严格质量门控。
AI最大的礼物，是让你能廉价地失败100次
文章指出AI最大的礼物不是让人成功，而是让人能廉价地失败。AI让开发成本降低、心力节省，增加了尝试机会。但人们需发布产品获取反馈，构建可演化系统，让失败为后续铺路。
挺搞笑，MiniMax模型就是不认识「马嘉祺」
网友发现 MiniMax 模型不认识「马嘉祺」，不同接口和平台均能稳定复现。这或因训练数据清洗和分布问题，使特定词汇生成异常。论文指出 tokenizer 机制缺陷或致模型异常，问题不会随参数规模增大消失。
比爆火的OpenClaw更王炸？这台百元神机，已经能让AI长出手脚帮你打工了
英伟达DGX Spark因内存供应紧张涨价，4万的成本让预算敏感者望而却步。阿里云无影个人云超算服务性价比高，按量付费百元左右。其AgentBay让AI获“手脚”，还具OpenClaw没有的能力。
国内首个免费提供的深度研究，反而有市面上最好的体验
秘塔深度研究（https://metaso.cn/）上线，是首个将深度研究作免费基础功能的产品。它在算法、交互等多方面优化，降低成本、保障准确，还创新交互形式，搜索结果清晰有条理，体验佳。
Agent Team 实践与架构设计：在约束下构建可演进的一个人开发团队
作者结合构建的Routa，探讨在Token、流程、工具选择等约束下构建可演进的多Agent系统。介绍了Routa架构、原则，如跨Agent通信、状态外置等，还阐述了各设计要点及示例，强调系统可演进性。