「预训练模型」共找到 8112 篇相关文章
1万4颗星！机械臂可以接大模型了！面向真实世界机器人的尖端人工智能LeRobot
LeRobot 为 PyTorch 中真实世界机器人提供模型、数据集和工具，降低入门门槛。包含尖端方法，已提供预训练模型等，未来将增加真实机器人支持，文中还介绍其安装、使用等内容。
刷新世界记录！40B模型+20万亿token，散户组团挑战算力霸权
Nous Research推出Psyche网络，用区块链汇聚全球计算资源，启动40B参数大语言模型Consilience预训练，达20万亿token创纪录。还解决带宽瓶颈等问题，让AI训练去中心化，推动创新与民主化。
阿里开源长文本深度思考模型！渐进式强化学习破解长文本训练难题，登HuggingFace热榜
阿里开源长文本深度思考模型QwenLong - L1，登上HuggingFace热门论文第二。它解决了长文本强化学习训练难题，通过渐进式上下文扩展训练，在多基准测试中表现出色，还探讨了SFT和RL作用。
超越Claude 3.5和o1！8B模型靠「分层投票+测试时训练」逆袭
近日MIT研究者发现测试时训练在大模型应对复杂推理问题时，能分解任务提升回答准确率。8B的lemma3模型经此方法，在ARC和BBH数据集上性能显著提升，超Claude 3.5等。但该策略部署效率低。
表格建模也能Scaling？树模型的时代要改变了
文章指出 AI 算力增长与结构化数据建模以树模型为主形成反差。浙大 X 蚂蚁 AIforData 团队探索结构化数据预训练，在表格数据和行为序列预训练上有成果，验证了 Scaling Law，预示结构化数据建模范式将改变。
GPT-5≈o3.1！OpenAI首次详解思考机制：RL+预训练才是AGI正道
OpenAI研究副总裁Jerry Tworek在播客访谈中称，GPT-5类似o3.1。他详解模型推理过程，强调RL+预训练是AGI正道，肯定DeepSeek的GRPO算法，还分享自身经历及OpenAI工作结构。
快手发布Keye-VL-1.5，同量级SoTA，让模型真正看懂视频！
近年来，多模态大语言模型兴起，但视频理解仍是难题。快手Keye团队推出Keye-VL-1.5，通过Slow-Fast编码策略、渐进式四阶段预训练和全面后训练流程等创新，实现视频理解突破，综合性能领先。
消费级显卡跑大模型训练门槛再降：Qwen3-1.7B强化学习只需5GB显存
消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。
小红书hi lab首次开源文本大模型，训练资源不到Qwen2.5 72B 的四分之一
6月6日，小红书hi lab团队首次开源文本大模型dots.llm1，采用MIT许可证。该模型激活参数量140亿，总参数量1420亿，上下文长度32K。训练资源不到Qwen2.5 72B的四分之一，在多个测评中表现出色。
航空发动机用上大模型：解决复杂时序问题，性能超越ChatGPT-4o实现SOTA｜上交创智复旦
上海交通大学李元祥教授等团队提出ITFormer架构，构建EngineMT-QA数据集。ITFormer能融合时序数据与大语言模型，适配多种编码器和模型，在EngineMT-QA预训练后达SOTA水平，实现高效数据分析。