ChatGPT恢复了Plus的付费购买，GPT-4又可以“为钱”使用了。但是，很多用户发现，最近这款发展最快的对话机器人反应速度慢了很多。在此之前也经历过大规模封号，频繁断线。
4月5日，ChatGPT Plus支付功能的关闭，已经引起了对AI计算能力供给不足的担忧。目前不仅有文本生成模型ChatGPT，还有Google的Bard和百度的文心伊彦。市面上还有图片、音视频、3D特效甚至App的生成式AI模型。
多模态大模型出现井喷，计算力是否足以支撑？
目前供应主流AI机型的高性价比芯片是英伟达的A100。从去年开始，英伟达一直在和代工厂TSMC紧急下单，诞生了包括A100在内的多款芯片，可见目前的AI计算能力吃紧。OpenAI已经列出了GPT-4.5和GPT-5的发射时间表。
马克·帕森斯对爱丁堡大学超级计算中心的预言正在实现。“计算能力将成为AI大模型发展的障碍。”除了高性能芯片量产的局限性，还有芯片带宽的问题亟待解决。
ChatGPT暂停支付服务引发了对计算能力的担忧
“因为需求太大，我们暂停了升级服务”，这是ChatGPT在4月5日停止Plus付费购买功能时给出的理由，当时距其开通Plus功能仅两个月。
一天后，ChatGPT恢复了对Plus的订阅，人们可以以每月20美元的价格享受会员服务，包括使用最新型号的GPT-4、高峰时段正常访问、更快的响应速度等等。当一些会员用户觉得ChatGPT响应速度慢的时候，它宕机时总是显示“哎呀”的页面出现的越来越频繁。“服务器跟不上？”
4月5日，ChatGPT暂停了Plus支付服务。
甚至在停止销售Plus之前，ChatGPT的突然不可用就已经大规模发生了。3月20日全球宕机12小时，付费用户也未能幸免。官方理由是“数据库迁移”；3月30日，大量亚洲用户发现被屏蔽，出现了“以访问范围门槛降低访问次数”的嫌疑。
减少流量确实是ChatGPT开发者Open AI在做的事情。最近，该公司几次通过付费用户来降低访问量。起初，用户可以每四个小时与GPT-4通话100次。很快，下降到每四小时50次；之后就变成每三个小时25次。即便如此，社交网络上还是有很多人给出反馈，ChatGPT断网的频率也在增加。
随着用户的增加，ChatGPT已经暴露出访问响应速度跟不上的问题，OpenAI似乎也没有停止升级模型的打算。
最近，该公司宣布了GPT未来版本的计划。预计今年9月和10月将发射GPT-4.5，今年第四季度将发射GPT-5。在各种消息中，GPT 5号的性能与GPT 4号相比有了指数级的进化，它拥有读取视频和音频中信息的神奇能力。
用“点和圆”比较GPT 4号和GPT 5号的区别
人们在赞叹OpenAI的R&D能力的同时，也在担心计算能力能否跟得上供给GPT模型的“能量”。毕竟不仅仅是OpenAI需要研发AI大模型，其他开发各种多模态大模型的公司也是如此。并且文本生成受到ChatGPT的限制。以后生成音视频不是更贵吗？
OpenAI自己计算过，自2012年以来，全球AI训练的计算量呈指数级增长，每3.43个月翻一番。那么，GPT将使用多少计算能力呢？
英伟达A100成AI“油”
计算能力，即计算机处理数据的能力，与数据和算法一起，成为人工智能的三大基石。像GPT这样的大型语言模型的建立需要大量的计算能力，而GPU芯片是主要的计算能力输出工具。
公开数据显示，GPT-3拥有1750亿个参数和45TB的训练数据，由数万颗英伟达A100芯片支持。如果没有足够多的高性能芯片，训练的效率就会大打折扣。英伟达和微软研究院的一篇论文假设“假设我们在单个GPU中拟合模型，所需的大量计算操作可能导致不切实际的长训练时间”，而GPT-3估计在单个V100英伟达GPU上“需要288年”。2017年发布的V100显然效率不够。性价比更高的选择是A100芯片，价格超过1万美元，性能确实是V100的3.5倍。
OpenAI尚未公布GPT-4的参数规模。传闻中的“100万亿参数”已被该公司首席执行官山姆·奥特曼(Sam Altman)否认。但根据研究人员基于上一代模型数据的推测，以及媒体从知情人士处获得的信息，GPT-4的参数规模至少在万亿级别。这也意味着GPT-4的参数数量是GPT-3的10倍以上，相应的，GPT-4的计算能力需求也在呈指数级增长。
GPT-4上线后，微软被传言GPU数量告急。据媒体报道，微软内部需要使用GPU进行研究的团队被告知，必须通过特殊渠道申请使用GPU，因为“公司大量GPU需要支持必应最新的AI功能和GPT模型训练”。
对此，微软主管商业应用的副总裁查尔斯·拉曼纳(Charles Schmidt)向媒体解释说，“没有* *就没有GPU，如果每个人在每个活动和会议上都用它，那可能还不够，对吧？”
微软不缺钱，也不存在芯片“卡脖子”的情况。为什么不花钱“在买买买”呢？事实上，虽然全球芯片量产的类型很多，但OpenAI最需要的是一款——GPU，而这款芯片主要由英伟达提供。
AI三种特殊芯片及其供应商
在GPU市场，英伟达长期占据主导地位。根据经过验证的市场研究，NVIDIA占据了超过80%的数据中心GPU市场，超过90%的云培训市场，以及60%的云推理市场。
英伟达在2020年推出了首款Ampere架构产品A100芯片，该芯片已经成为人工智能行业最关键的工具之一。A100可以同时进行很多简单的计算，非常适合“推理”或者生成文本。无论是开发聊天机器人还是图像生成软件，足够数量的NVIDIA A100都是非常重要的。
Stateof.ai去年发布的人工智能发展报告估计了一些大公司和机构拥有的A100数量，其中开发ai绘图软件Stable Diffusion的Stability AI拥有4000个A100。按照这个数据，相比国内首款类似ChatGPT的机型MOSS，只用了8个A100。难怪内测时被“挤”了。
该报告不包括OpenAI数据。但据市场研究公司TrendForce估计，ChatGPT在培训阶段需要2万台A100，日常运营可能需要3万多台。
A100似乎是AI大型号研发圈的“抢手货”，英威达也有意推广，但说到量产，全球最大芯片代工厂TSMC的产能就有点落后了。去年年底和今年第一季度，英伟达为TSMC下了紧急订单。因为芯片的重要组成部分7nm晶圆的产量固定在TSMC，还需要一个爬坡期来提高产能利用率。
据哔哩哔哩科技UP的“动态*”分析，考虑到TSMC的生产线和产能相对固定，增加生产线并不是那么容易。“英伟达将在一段时间内把主要产能放在专业级GPU上，以满足企业和云服务商对高计算芯片的需求”。
除了计算能力，我们还要提高芯片带宽。
早在GPT-4发布之前，爱丁堡大学超级计算中心EPCC主任马克·帕森斯(MarkParsons)就已经预言，计算能力将成为AI大模型发展的障碍。
帕森斯指出，由于训练系统中使用的最大GPU的内存容量有限，需要多个处理器并行运行，但并行处理器的使用也有局限性，因为当GPU的数量超过一定数量时，单个GPU的性能就会受到限制，成本也会增加。换句话说，AI芯片的计算能力会出现类似于边际效用递减的情况，人们无法通过无限增加芯片来提高自己的计算能力。
此外，帕森斯教授认为，目前AI芯片的带宽也将成为AI发展的瓶颈，因为带宽决定了每秒可以访问的AI芯片数量。
帕森斯教授说:“在一个GPU上训练完一个数据子集后，你必须把它带回来，共享它，然后在所有GPU上再做一次训练，这需要大量的芯片带宽。”目前最大的挑战是“如何提高GPU服务器之间的数据传输”。
有人问冰心为什么GPT不够强大，和帕森斯的观点类似，强调GPU带宽的重要性:
GPT的计算能力不足，主要是因为其模型规模和数据量越来越大，现有数据处理器的性能和能效难以满足其需求。GPT主要使用GPU(图形处理器)和TPU(张量处理器)，这两个处理器都是专门为深度学习设计的，具有很高的并行性和矩阵运算能力。然而，随着GPT模型参数数量的增加，GPU和TPU的内存容量和带宽成为瓶颈，导致训练效率下降。此外，GPU和TPU的功耗也很高，给功耗和散热带来了挑战。因此，GPT需要更高性能和更低功耗的处理器来支持其发展。
看来目前的芯片数量和性能正在限制AI大模型的开发“资源”。然而，GPT模型的参数仍在高速增长。据悉，每18个月左右就会增长10倍，这无疑对全球的计算能力提出了更高的要求。
如果ChatGPT真的因为计算能力不足而受限、宕机，那么自然语言产生模型未来可能集体触及AI发展的天花板。归根结底，滚来滚去的大模式，还是要看NVIDIA等芯片供应商的迭代能力。
温馨提示：注：内容来源均采集于互联网，不要轻信任何，后果自负，本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权，请给我们来信(j7hr0a@163.com)，我们会及时处理和回复。
原文地址"tcp限流 算法，ChatGPT 限流，生成式大模型触碰算力天花板？"：http://www.guoyinggangguan.com/qkl/159695.html。
微信扫描二维码关注官方微信
▲长按图片识别二维码
