来源:作者|林志佳
图片来源:工具生成。
在ChatGPT引发中美科技行业热潮后，其创始人美国OpenAI公司目前已经在人工智能(AI)领域取得了解释性方法的重大突破。
5月10日，钛媒体APP新闻，OpenAI今天上午发布了一项关于GPT-4语言模型神经元排列的研究成果。通过使用基于GPT-4技术的自主开发的开源工具，我们试图计算和评估其他架构和更简单的语言模型中神经元的行为，我们可以将其应用于另一种语言模型中的神经元——这一次，我们选择了4年前发布的具有307，200个神经元的大型模型GPT-2作为实验样本。
“我们的目标是利用阿尔来帮助我们了解阿尔”。OpenAI的这项研究对AI行业意味着，可以使用GPT-4和机器学习技术定义和测量AI的可解释性，未来将在神经元层产生“大模型会比人脑思考得更多”的技术趋势。
OpenAI的联合创始人格雷格·布罗克曼(Greg Brockman)表示:我们在使用AI进行自动比对研究方面迈出了重要的一步。
同时，OpenAI还是一如既往的谦虚。文章说，目前GPT-4生成的可解释实验并不完善，大于GPT-2时解释性能较差。OpenAI的Jeff Wu可以直言不讳地扩充比对团队。这项研究的大多数解释得分很低，GPT-4可能无法解释实际神经元的这么多行为，未来仍会有技术上的改进空。
据报道，自去年11月底以来，人工智能(AI)聊天机器人的大型模型ChatGPT风靡全球。根据Similarweb发布的最新数据，截至今年4月，ChatGPT平台的访问量达到17.6亿次，比3月增长了12.6%，已经达到Google的2%。
ChatGPT背后的大语言模型(LLM)是在大量文本数据上训练的语言模型，包含数千亿(或更多)的参数。在大数据时代，这种AI机器学习模型可以在促进产品销售和辅助人类决策方面发挥巨大作用，但计算机通常不会解读其预测结果。如果语言模型想要变得更强大，得到更广泛的部署，就必须研究可解释性，因为人类对模型内部工作原理的了解仍然非常有限，例如，可能很难检测出从中输出的有偏见和欺骗性的内容。
从OpenAI的角度来看，未来的大模型会像人脑一样拥有“神经元”，这些神经元会观察文本中的特定规律，从而影响模型本身产生的文本。因此，可解释性是用通俗易懂的语言表达模型，将模型的预测过程转化为具有逻辑关系的规则，并通过查看模型内部来发现更多信息的能力。
例如，如果有一个“漫威超级英雄”的神经元，当用户问模型“哪个超级英雄的能力最强”时，这个神经元会增加模型在答案中告诉漫威英雄的概率，或者找出为什么人类神经元可以决定进行一些搜索引擎查询或访问特定网站，即逐渐转变为具有解释性数据的“无监督学习”模式。
OpenAI这次使用GPT-4来解决可解释的问题，希望使用自动化来使机器提高AI数据的准确性，文章称这是其比对研究第三支柱的一部分。据悉，“第三支柱”是该公司2022年发布的“做比对研究的方法”。具体的比对研究将由三大支柱支撑:用人工反馈训练AI；训练人工智能系统辅助人类评估；用于比对研究的训练人工智能系统。
针对研究结果，OpenAI开发了一套包括自动化工具和测试方法在内的评估流程:
首先，研究人员让GPT-2运行一个文本序列，等待特定神经元被频繁“激活”；然后让GPT-4为一段文字生成解释，比如通过GPT-4的文字和激活判断漫威漫画是否与电影、人物、娱乐有关；然后用GPT-4模拟GPT-2的神经元下一步要做什么，预测它们的行为。最后，对该分数进行评估，并与GPT-4模拟神经元和GPT-2真实神经元的结果的准确性进行比较。在下面的例子中，GPT-4的得分是0.34。
利用上面的评分方法，OpenAI开始衡量他们的技术在网络不同部分的效果，并针对那些目前解释不清楚的部分尝试改进技术。OpenAI表示，他们正在开放GPT-4编写的数据集和可视化工具来解释GPT-2的所有307200个神经元，同时他们还提供了OpenAI API公开可用的模型解释和评分的代码，以此希望学术界能够开发新技术来提高GPT模型解释得分。
OpenAI还发现，有超过1000个神经元的解释得分至少为0.8，这意味着GPT-4模型可以解释大多数人类神经元，而目前GPT理解的概念似乎与人类不同。该团队表示，希望随着技术和研究方法的改进，进一步提高AI模型的可解释性:例如，通过迭代解释，GPT-4可以提出可能的反例，并根据激活情况修改解释；用更大的模型来解释；以及调整解释模型的结构等。用不同的激活函数训练模型有助于提高解释得分。
对于这项研究的局限性，OpenAI表示，目前GPT-4生成的解释并不完善，尤其是在解释比GPT-2更大的模型时，表现效果很差；神经元的复杂行为无法用简短的自然语言描述；OpenAI解释了神经元的这种行为，但并没有试图解释这种行为的机制；而且，整个过程消耗了大量的计算能力。OpenAI希望在以后的工作中解决这些问题。
最后，OpenAI希望使用模型来形成、测试和迭代完全通用的假设，以便与人脑的思想和行为进行比较，并将其大型模型解释为检测部署前后对齐和安全问题的方法。然而，在此之前，OpenAI还有很长的路要走。
"我们希望这将开辟一条充满希望的道路。"Jeff Wu表示，这项技术可以允许其他人在此基础上构建和贡献自动化解决方案，从而解决AI模型的可解释性问题，并很好地解释这些模型行为，例如AI如何影响人脑中的神经元。(本文为第一钛媒体App，作者|林志佳)
温馨提示：注：内容来源均采集于互联网，不要轻信任何，后果自负，本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权，请给我们来信(j7hr0a@163.com)，我们会及时处理和回复。
原文地址"gpt详解，i gpt it"：http://www.guoyinggangguan.com/qkl/150204.html。
微信扫描二维码关注官方微信
▲长按图片识别二维码
