搜索：大模型预训练

「大模型预训练」共找到 9479 篇相关文章

安全垂类小模型效果能超过大模型？看看以色列Novee的效果

跟踪AI渗透测试等开源应用发现，通用大模型成本高、功能受限。以色列Novee融资5150万美元并发布4B小模型，测试效果超Claude 4 Sonnet。其靠两阶段训练和浏览器反馈提升能力，有投资说明有价值。

近日，清华大学等机构研究团队提出 MARSHAL 框架，利用强化学习让大模型在策略游戏自博弈。实验表明，多轮、多智能体训练提升了模型博弈决策水平，将推理能力泛化到通用多智能体系统，在一般推理任务表现显著提升。

字节跳动与清华合作开源多模态时序大模型ChatTS，可实现时序数据对话与推理。它用合成数据训练，解决了数据稀缺等问题，在评估中表现远超基线模型，未来可拓展至更高阶任务。

近日，微博发布自研开源大模型VibeThinker，15亿参数却在数学测试上击败6710亿参数的DeepSeek R1，后训练成本仅7800美元。其为AI产业带来新思考，还将推动微博AI应用发展。

Claude母公司Anthropic联合英国AISI和图灵研究所研究发现，仅250份恶意文档就能给不同规模大模型植入“后门”漏洞，打破了以往对大模型数据中毒的认知，给厂商提了个醒。

合肥工业大学与清华大学团队推出视频大语言模型综合可信度评测基准 Trust-videoLLMs，对 23 款模型从五维度 30 项任务评测，揭示性能格局，指出模型现存问题，还开源评测框架等。

文章介绍模型压缩与量化技术，其能在保持性能时降低大模型计算和存储需求，实现边缘设备高效部署。还阐述基础知识、关键技术路径、应用场景，并探讨未来发展方向。

在2025智源大会上，智源研究院院长王仲远表示大模型技术演进未到终点。会上推出「悟界」系列大模型，包含Emu3、见微Brainμ等，推动AI从数字走向物理世界。还介绍了具身智能成果，且与企业合作打造生态。

字节Seed和北大研究团队提出In - Place TTT方案，让大模型能“原地改参数”。它复用Transformer的MLP模块，解决现有TTT架构不兼容、计算效率低和优化目标不匹配问题，实验证明可提升模型长文本任务表现。

阿里 AIDC - AI 团队开源 7B 参数文生图模型 Ovis - Image，主打图中文字生成。它文本渲染能力强，在权威榜单成绩好，媲美 20B + 大模型，官方还提供使用方法，是设计类刚需模型。