「性能 - 效率权衡」共找到 2920 篇相关文章
12ms!一个仅8M的语音停顿检测模型
语音助手准确判断用户是否说完是挑战,Smart Turn将决策过程缩至12毫秒。其v3.1版有改进,新增数据集提升英语识别准确率,推出未量化版本推理更快,8MB模型性能优,已在HuggingFace开源。
调整训练数据出场顺序,大模型就能变聪明!无需扩大模型/数据规模
微软亚洲研究院提出全新文本数据组织范式DELT,通过引入数据排序策略,充分挖掘训练数据潜力,优化训练数据的组织方式,在不同模型尺寸与规模下都达到了良好性能,且不用增加数据量或扩大模型规模。
创始人跑路一年后,员工接盘把这家AI公司干到年入破亿!如今想含泪甩卖:真的“难以承受”
曾红极一时的AI聊天机器人公司Character.AI苦于运营成本高昂,正权衡出售或筹集新资金。创始人离职后员工接管,虽月活超2000万、预计年底年收入达5000万美元,但成本难承受,还面临监管和竞争压力。
全网开测GPT-oss!技术架构也扒明白了
全网开测GPT-oss,它登顶开源模型王座,性能比肩o3-mini、o4-mini,适合本地推理。网友探索出多种用法,还推出Pro版。其架构也被扒出,官方介绍了微调方法,吴恩达等大佬也参与测评。
Cache Me If You Can:陈丹琦团队如何「抓住」关键缓存,解放LLM内存?
普林斯顿大学陈丹琦团队新论文聚焦长上下文语言模型 KV 缓存问题。传统 KV 缓存大小随输入文本长度线性增长,此前方法难公平比较。团队提出「KV 足迹」指标,改进方法并推出 PruLong 优化内存,节省空间且保性能。
UCSD谢澎涛创业:用AI搞科研,4小时交付顶刊水平成果,已获数百万美金融资
谢澎涛团队推出面向AI for Science的AIBuildAI Science Agent,在NatureBench评测中排名第一,超多数通用编程智能体。该智能体可独立完成模型研发,效率大幅提升,还探讨了其能力边界、应用及对行业的影响。
阶跃开源JetSpec,大模型推测解码提速近10倍
随着Agent应用爆发,大模型推理效率成AI行业焦点。阶跃星辰联合多校团队开源JetSpec,该框架面向推测解码,在H100上把MATH - 500解码速度提升到9.64倍,突破了推测解码的扩展天花板。
360 如何用 AutoMQ 解决千亿级 Kafka 冷读难题
360 集团作为互联网安全公司,业务数据规模膨胀,Kafka 集群运维难题凸显。AutoMQ 存算分离等特性适配 360 需求,360 验证其性能后用于日志检索平台,解决冷读难题,未来将推广到更多业务线。
GitHub 狂飙 2.5 万标星,这款「会自愈」的 Python 爬虫框架杀疯了!
GitHub上爆火的Scrapling项目,是自适应Web爬虫框架。它能让爬虫‘学习’和‘适应’,解析器可自动定位元素,请求器能绕过反爬系统,性能强且支持多种会话类型,还能与AI工具集成。
超棒Claude官方提示词:Anthropic发布Claude 4.x提示工程最佳实践
Anthropic发布Claude 4.x提示工程最佳实践,这些原则在顶尖大模型中一般通用。它强调精准指令驱动性能,构建记忆与状态管理机制,优化工具调用编排,激发高阶认知与专业输出,重塑代码美学与工程规范。