纽约大学政治学和数据科学教授亚瑟·斯皮林(Arthur Spirling)撰写。
来源:
图片来源:工具生成。
研究人员应该避免专有模型的诱惑，开发透明的大规模语言模型，以确保可重复性。
似乎每天都有新的大规模语言模型(LLM)发布，它的创造者和学术界都对它对人类提示的非凡反应能力感到震惊。它可以修复代码！它可以写推荐信！它可以总结一篇文章！
作为一名正在使用和教授此类模型的政治和数据科学家，从我的角度来看，学者们应该保持警惕。最受欢迎的LLMs是专有和封闭的:它由公司运营，公司不披露其独立检查或验证的基本模型，因此研究人员和公众不知道模型是在哪些文件上训练的。
将这种人工智能(AI)模型应用于研究是一个问题。它们的使用威胁到伦理研究来之不易的进展和结果的可重复性。
相反，研究人员需要合作开发开放源代码的LLM，它是透明的，不受公司偏好的影响。
诚然，专有模型很方便，可以开箱即用。然而，投资开源LLM势在必行，这不仅有助于建立开源模型，还可以用于研究。我乐观地认为它们会被广泛采用，就像开源统计软件一样。专有的统计程序一开始非常流行，但现在我的社区大多使用R或Python等开源平台。
BLOOM是一个开源LLM，于去年7月发布。BLOOM由总部位于纽约的人工智能公司Hugging Face和1000多名志愿研究人员创建，部分资金由法国政府提供。此外，建立开源LLM的其他工作也在进行中。这种项目很棒，但我认为我们需要更多的合作，汇集国际资源和专业知识。开源LLM通常不会像大公司的努力那样有足够的资金。此外，他们需要跑步来获得立足点:该领域发展如此之快，以至于LLMs的版本将在几周或几个月后过时。参与这些努力的学者越多越好。
使用开源LLMs对于重现性非常重要。封闭式LLM的所有者可以随时更改他们的产品或培训数据& # 8212；以便改变其输出。
例如，一个研究团队可能会发表一篇论文，以测试由专有LLM建议的短语是否可以帮助临床医生更有效地与患者沟通。如果另一个团队尝试做这个研究，谁知道模型的基础训练数据是不是一样，甚至技术能不能支持？OpenAI去年11月发布的GPT-3已经被GPT-4取代，据推测，支持旧的LLM很快将不再是该公司的主要优先事项。
相比之下，使用开源LLM，研究人员可以查看模型的核心，了解它是如何工作的，定制它的代码并标记错误。这些细节包括模型的可调参数及其训练的数据。社区参与和监督有助于保持这些模式长期稳定。
在科学研究中使用专有的LLM也对研究伦理产生了令人不安的影响。用于训练这些模型的文本是未知的:它们可能包括用户在社交媒体平台上的直接信息，或者由合法不同意分享其数据的儿童编写的内容。虽然做公开文本的人可能已经同意了平台的服务条款，但这未必是研究者希望看到的知情同意的标准。
在我看来，科学家应该尽量不在自己的工作中使用这些模型。我们应该转向开放LLM，帮助它传播。另外，我认为学者，尤其是那些拥有大量社交媒体粉丝的学者，不应该强迫别人使用专有模型。如果价格飙升或公司破产，研究人员可能会后悔推广这项让同事签订昂贵合同的技术。
研究人员现在可以转向由私人组织开发的开源LLM，如脸书母公司Meta开发的LLaMA。美洲驼最初是作为一个案例向研究人员发布的，但完整的模型后来被泄露到了互联网上。比如我和同事用的是Meta公司的开源LLM OPT-175 B。美洲驼和OPT-175 B都是* * * *。从长远来看，坏处是它让科学依赖于企业的善意——这是一种不稳定的局面。
我们应该建立与LLM合作的学术行为规范和监督机制。但这一切都需要时间，而且根据我作为一名政治学家的经验，我预计这种规定一开始会很笨拙，慢慢会生效。
同时，大型合作项目急需支持，建立研究的开源模式& # 8212；比如CERN和国际粒子物理组织。政府应该通过拨款来增加资金。这一领域正以闪电般的速度发展，现在有必要开始协调国家和国际努力。科学界最适合评估由此产生的模型的风险，在向公众发布这些模型时可能需要谨慎。但显然，开放的环境是正确的。
温馨提示：注：内容来源均采集于互联网，不要轻信任何，后果自负，本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权，请给我们来信(j7hr0a@163.com)，我们会及时处理和回复。
原文地址"开源模型百度百科，开源模型是什么意思"：http://www.guoyinggangguan.com/qkl/156416.html。
微信扫描二维码关注官方微信
▲长按图片识别二维码
