开源的!StabilityAI 今晨推出语言模型StableLM或与OpenAI竞争

资讯2年前 (2023)更新 花花
1,624 0 0

摘要:

当地时间周三(4月19日),开发AI图像生成工具Stable Diffusion的创业公司Stability AI,发布该团队训练的大语言模型StableLM,并且开源。根据公告,目前StableLM的“阿尔法版本”中拥有30亿和70亿参数的模型已经可以从GitHub等开源平台上下载,后续还将推出150亿至650亿参数的版本。

与Stable Diffusion类似,StableLM支持知识共享4.0协议,开发者能够在遵守协议的情况下,可以将模型用于商业或研究活动。

开源的!StabilityAI 今晨推出语言模型StableLM或与OpenAI竞争

详情:

Stability AI开源的StableLM是一套文本生成 AI 模型,旨在与 OpenAI 的GPT-4等系统正面交锋。

Stability AI 称为该模型在 GitHub 和Hugging Face(一个用于托管 AI 模型和代码的平台)上处于“阿尔法版本”,StableLM可以生成代码和文本,助力下游应用。虽然目前已公布的模型参数比较小,但已充分展示了StableLM小型高效模型如何通过适当的训练提供高性能。

据介绍,StableLM模型是在 The Pile 的数据集上进行的训练,该数据集混合了来自 PubMed、StackExchange 和维基百科等网站的互联网抓取文本样本。但 Stability AI 声称它创建了一个自定义训练集,将标准 Pile 的大小扩大了 3 倍。

开源的!StabilityAI 今晨推出语言模型StableLM或与OpenAI竞争效果演示(来自:Stability AI)

开源的!StabilityAI 今晨推出语言模型StableLM或与OpenAI竞争效果演示(来自:Stability AI)

开源的!StabilityAI 今晨推出语言模型StableLM或与OpenAI竞争效果演示(来自:Stability AI)

关于模型的安全性,Stability AI 公告中称:“对于任何没有额外微调和强化学习的预训练大型语言模型来说,这是常见的,用户得到的响应可能质量参差不齐,并且可能包含冒犯性语言和观点”。“这有望随着规模增大、数据增多、社区反馈和优化而得到改善。”

“开源我们的模型是为提高透明度和培养信任。”Stability AI 在博文中写道:“研究人员可以‘深入了解’以验证性能、研究可解释性技术、识别潜在风险并帮助制定保护措施。” 需求组织可以针对自己的应用程序 “微调”这些开源模型,无需共享敏感数据或放弃对AI功能的研发。

随着开源文本生成模型的数量几乎每天都在增长,大大小小的公司都想在日益有利可图的生成式人工智能领域争得一席之地。这对用户来说可能是个好事,意味着产品质量的提升和更高性价比的价格。来吧,都卷起来吧~

© 版权声明

相关文章

分享