「AI推理加速」共找到 11196 篇相关文章
消费级显卡跑大模型训练门槛再降：Qwen3-1.7B强化学习只需5GB显存
消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。
传统云还在「卖铁」，下一代云已在「炼钢」：火山引擎xLLM如何一张卡榨出两张的性能！
大模型上线部署时推理成本高、算力投入大但效果不成正比，企业面临推理效率难题。火山引擎 xLLM 大语言模型推理框架性能极致，成本低，集成关键创新，还被集成到 AI 云原生推理套件 ServingKit 中。
回归C++: 在GGUF上构建高效的向量模型
Jina AI分享将纯解码器向量模型适配到GGUF格式及在llama.cpp工具链的优化经验。经处理得到特定任务v4模型，还生成量化版本并上传。介绍使用方法、注意事项，经测试推荐IQ3_S或IQ3_M版配合定制工具。
苹果密谋300亿美元天价收购Perplexity，小扎狂挖印度裔CEO！
AI战火正旺，苹果考虑收购估值140亿美元的AI初创公司Perplexity，这或成其史上最大规模收购。Perplexity有实时联网的AI搜索引擎等，苹果有三种合作设想，但三星或抢先合作。此外，Meta曾想收购Perplexity，后投资Scale AI。
我承认，我还是把AI应用想简单了
过去我们把AI应用想得简单，仅定义为聊天框等。生成式AI可构造全新产品逻辑，催生AI原生应用。‘1000 AIdea应用计划’涌现诸多创意作品，如火星种土豆、星童伙伴等，6月20日上海峰会将展示成果。
18 岁创业者用 OpenClaw 管 16 个 AI Agent，一个人的 Agent 公司怎么运转
18岁无编程背景创业者用OpenClaw搭建多Agent协作平台，16个Agent分工明确，配合Claude、GLM等工具提升生产力。他分享工作流搭建、成本、模型选择等经验，还谈了对OpenClaw发展的看法。
分享6个平时我最常用的Prompt心法。
作者作为常靠AI帮忙的普通用户，分享6个与AI对话的心法技巧。包括让AI选角色回答、回答前追问、与AI辩论、预演失败、反向推提示词和双层解释法，助大家与AI有效协作。
TPU vs GPU 全面技术对比：谁拥有 AI 算力最优解？
SemiAnalysis对Google TPU v7/v8深度拆解，将TPU与Nvidia GPU多方面对比拆到可计算层面。不过其结论有局限性，本文重新分析，指出TCO因场景而异，互联体系分歧在流量假设，Google TPU v8成本优势被削弱。
吴恩达来信：利用编程智能体实现更高效开发
吴恩达认为编程智能体正加速各类软件工作，按加速程度排序为前端开发、后端开发、基础设施、研究。前端开发加速明显，后端开发有提升但幅度小，基础设施和研究方面加速有限。
靠「AI婴儿播客」拿到a16z 3200万美元投资，Hedra凭什么？
Hedra是生成式AI创企，凭「AI婴儿播客」获关注，刚完成3200万美元A轮融资。它与主流AI视频平台路线不同，构建全模态基础模型，播客成杀手级应用，研发成本低，踩中赛道转型。