「LLM平台」共找到 2263 篇相关文章
极致优化Android平台APK的大小
文章以Android为例，介绍UE包可裁剪部分的优化思路与实践，优化APK大小和Native库运行时内存占用。从压缩NativeLibs、代码体积优化、资源裁剪等方面着手，还给出优化效果和额外资料。
Swift 跨平台框架 Skip 现已完全开源
Skip 是用 Swift/SwiftUI 代码库创建 iOS 和 Android 应用的方案，经三年开发后团队将其完全开源，此前为付费方案。开源既是因开发者希望免费获工具，也为保证工具持久性，它能实现原生体验。
AI金融平台Alaan获4800万美元融资
中东领先AI金融科技平台Alaan完成4800万美元A轮融资，由Peak XV Partners领投。它由麦肯锡前顾问创立，虽发展遇监管等难题，但已为众多财务团队处理大量交易、节省工时，且实现盈利。
Cloudflare 构建了面向 LLM 的高性能基础设施
Cloudflare发布全新基础设施，可在全球边缘网络运行大型AI大语言模型。它将模型输入处理与输出生成拆分，自研Infire推理引擎，还推出Unweight模型压缩系统，分享提示词缓存优化方案。
马斯克说到做到：开源X平台核心推荐算法
X（原Twitter）开源内容推荐Feed on X召回、精排推理、策略代码，模型参数配置较小，应是简化Demo版。召回用双塔模型，精排用双层Transformer，还介绍了系统架构、模型细节等。
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
营收造假、虚假宣传，10年AI平台申请破产
英国低代码AI开发平台Builder.ai因营收造假申请破产保护。此前其收入预估大幅缩水，且早有宣传与实际不符问题。回顾其发展，多次融资却因财务问题、管理不善等走向破产。
AI代码审核平台Greptile正洽谈3000万美元融资
TechCrunch消息，AI代码审查初创公司Greptile正洽谈3000万美元A轮融资，估值1.8亿美元。其由Dasksh Gupta创立，已获400万美元种子轮融资。代码审查领域竞争激烈，Greptile员工工作时长很长。
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。
关键突破：理论验证了 RL for LLM 路线的可行性
传统RLHF依赖人工标注偏好数据训练奖励模型，成本高且难扩展。本文发现任何通过Next - token预测训练的LLM内部隐含通用奖励模型，从理论和实验证明其可高效实现模型对齐。