「LLM应用平台」共找到 4080 篇相关文章
从零开始200行python代码实现LLM
文章从传统思路实现诗词生成器入手,介绍了词汇表、Bigram模型等概念,接着用Python和PyTorch实现了真正的Bigram模型,阐述模型、训练等内容,最后回顾成果,下一篇将基于此实现完整GPT。
极致优化Android平台APK的大小
文章以Android为例,介绍UE包可裁剪部分的优化思路与实践,优化APK大小和Native库运行时内存占用。从压缩NativeLibs、代码体积优化、资源裁剪等方面着手,还给出优化效果和额外资料。
kimi 的RL end2end ON LLM
文章分享Kimi Researcher背后技术思考,采用端到端强化学习打造大模型Agent。对比传统方法,凸显其灵活通用、能力上限高、可扩展优势。还展示其在考试榜单成绩提升及智能“涌现”,介绍多应用场景。
这才叫AI原生应用:Google Slides
Google Slides是Google版AI PPT,与传统AI PPT不同。它像传统PPT搭配AI聊天机器人,用Nano Banana模型可直接生成图片和文字,能像素级推理,打破传统PPT结构,还可自然语言交互修改,只是中文生成效果待提升。
AI金融平台Alaan获4800万美元融资
中东领先AI金融科技平台Alaan完成4800万美元A轮融资,由Peak XV Partners领投。它由麦肯锡前顾问创立,虽发展遇监管等难题,但已为众多财务团队处理大量交易、节省工时,且实现盈利。
推出4个月就狂赚3亿?!百万用户应用CTO弃Copilot转Claude Code:200美元拯救我的137个应用
Anthropic 公司推出的 AI 编码助手 Claude Code 推出 4 个月吸引 11.5 万开发者,单周处理 1.95 亿行代码,年化收入预估达 1.3 亿美元。开发者认为它优势明显,Soham 级别的生产力,还分享使用技巧。
Cloudflare 构建了面向 LLM 的高性能基础设施
Cloudflare发布全新基础设施,可在全球边缘网络运行大型AI大语言模型。它将模型输入处理与输出生成拆分,自研Infire推理引擎,还推出Unweight模型压缩系统,分享提示词缓存优化方案。
马斯克说到做到:开源X平台核心推荐算法
X(原Twitter)开源内容推荐Feed on X召回、精排推理、策略代码,模型参数配置较小,应是简化Demo版。召回用双塔模型,精排用双层Transformer,还介绍了系统架构、模型细节等。
LLM加速利器LMCache,极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件,能降低首次响应延迟、提升吞吐量,适用于长上下文场景。它将KV缓存存于多级存储,跨服务实例复用任意重复文本的KV缓存,节省GPU算力,与vLLM结合优化显著。
魔搭社区想做的,不只是模型平台
首届魔搭开发者大会在北京举行。魔搭社区发起人周靖人发布开发者勋章激励计划,是对「MaaS」理念的延展升级。魔搭已汇聚超500家机构,发布超7万个模型。会上还有影视、娱乐行业先锋带来跨界视角分享。