图片来源:工具生成。
随着ChatGPT在全球的热潮,其背后的AI模式也在风起云涌。你想知道,评价大模型水平的维度和标准是什么?
ChatGPT的推出让我们看到了中国和美国在AIGC的差距。那么,目前中国的大模式发展如何?未来中国的大模式将面临哪些机遇和挑战?
目前正处于向通用人工智能发展的关键时期,面对各机构自主研究大模型的发展趋势,如何提高计算能力的效率,有效避免低水平重复?
有业内人士担心AI会毁灭人类。这令人担忧吗?如何做到防患于未然,实现AI的结果可预测、行为可控?
带着关于的种种疑问,腾讯研究院采访了中国工程院院士、中国通信领域权威专家吴先生。
[采访者]
腾讯研究院牛福连高级研究员
腾讯研究院吴春玲高级研究员
腾讯研究院高级专家王强
(以下简称T)
与美国相比,中国现有计算能力的总规模有差距,但并不大。
t:有人说国内大比例模型的发展和国外有1-2年的差距。如何看待目前国内大尺度模型的发展?
吴:中国开始发展大型号比美国晚。ChatGPT出来后,国内很多单位都表示在开发生成式大模型。与目前已知只有微软、谷歌等少数公司在研究大模型的美国相比,中国研制大模型的单位比美国多,但研究课题多并不代表中国在大模型上的研发水平高。据说我国某大型模型的参数高达1.75万亿,超过了GPT-4,但其应用至今未见报道。虽然一些中国公司声称可以推出类似ChatGPT的聊天机器人,但在多语言支持方面不如ChatGPT,在中文对话能力方面,响应速度还有差距。
目前只关注ChatGPT,它以生成性任务为目标,主要完成聊天、写作等语言生成。谷歌的BERT模型更注重判断和决策,强调问答、语义关系提取等与语言理解相关的任务。BERT模型的技术也值得我们关注。评价大规模模型的水平应该是多维度、全面、合理、使用方便、响应速度、成本、能效等。总的来说,中国大型模型研制与国外差距的依据还不清楚,现在得出这个结论意义不大。
在华企业在获取中国语言资料和了解中国文化方面比外企有天然优势。中国制造业门类最全,具备为实体产业培养AIGC的有利条件。中国在计算能力上有很好的基础。根据OpenAI的报告,训练GPT3模型所需的计算能力高达3.64EFlops/天,相当于3-4个鹏城云脑ⅱ(鹏城云脑ⅱ为1Eflops,即每秒十亿次浮点运算)。根据2022年底的数据,美国占全球计算能力的36%,中国占31%。与美国相比,现有计算能力的总规模并不大,而在以GPU和NPU为主的智能计算能力规模上,中国明显高于美国(根据2021年底的数据,美国智能计算规模占全球总计算能力的15%,中国占26%)。中国不仅是一个拥有相当计算能力的互联网大企业,还是一个国家。据了解,鹏城实验室正在设计鹏城云脑三号,计算能力为16EFlops,比GPT三号使用的高3倍,预计耗资60亿元,将为人工智能训练提供强有力的计算支持。
中国AIGC R&D:需要认清差距,重视挑战,勇于创新。
t:除了我们在计算能力方面的良好基础,你认为我们在中国建立大型模型还会面临哪些挑战?
吴:光有计算能力是不够的。我们在以下几个方面仍面临许多挑战:
首先,大模型的基础是深度学习框架。美国Tensorflow和PyTorch在深度学习框架生态上深耕多年。国内企业虽然自主研发了深度学习框架,但是市场考验还不够,生态还需要搭建。
其次,将AIGC扩展到工业应用可能需要不止一个大型模型。如何高效地集成多个大型模型是标准化和数据融合的挑战。
第三,大模型需要海量数据训练。中国有几千年的文明,但丰富的文化沉淀大部分没有数字化,在ChatGPT训练中使用的语料库中,中文不到0.1%。中国的互联网公司虽然拥有大量的电子商务、社交网络、搜索等线上数据,但各自的数据类型还不够全面,线上知识的可信度也没有严格保证。挖掘汉语训练语料库需要做大量的工作。
第四,大规模模型训练所依赖的GPU芯片以NVIDIA A100芯片为代表,但该芯片对中国的出口一直受到美国的限制,国产GPU的性能有待进一步测试。目前计算能力的利用效率还有差距。
第五,国内从事AI研究的技术人员不少,但具有架构设计能力和AIGC数据训练小技巧的人才还是比较缺乏。在ChatGPT出现之前,有人认为中国关于AI的论文数量和专利数量与美国相当。ChatGPT的推出让我们看到了中美在AIGC的差距。现在需要清醒地认识和重视我们面临的挑战,做出真正的创新,化挑战为机遇,在新一轮的AI赛道上做出中国的贡献。
建议开放国家计算平台,支持各类大型模型训练。
T:ChatGPT无疑是一个巨大的创新。中国未来应该如何鼓励类似的创新,应该多做些什么?
吴:人工智能从判别式发展到生成式,是一个里程碑式的创新,开始进入通用人工智能的轨道。从GPT-3到GPT-4,已经从文本输入发展到部分图形输入,增加了理解图形的能力。在此基础上,实现一个支持多模态数据输入的深度学习框架和通用模型也就不远了。而大模型的任务泛化和大模型按需调用的精细化,需要更多的投入和创新。在没有标签和监督的情况下学习图形和视频比语言和文本输入要困难得多。
现在我们正处于向通用人工智能发展的关键时期,这是我们国家跨越式发展的难得机遇,也是严峻挑战。计算能力、模型和数据是ChatGPT成功的必要条件,也是通用人工智能成功的内在因素。除此之外,创新生态、机制、人才是关键。中国在计算能力总规模上可以和美国比肩,但跨数据中心的计算能力协作仍然面临体制机制的挑战,很多智能计算中心的计算能力利用率和效率都不高。很多单位自主研究大比例模型,难免低水平重复。建议在国家科技和产业计划的协调下进行合理分工,形成合力。建议开放国家实验室的计算平台支持各类大型模型训练。比如鹏程云脑现在对外开放的计算能力是其总容量的3/4,可以支持2000亿参数的开源中文预训练语言模型,规模相当于GPT-3。同时建议组建计算能力联盟,集中现有高端GPU的计算能力资源,提供大模型数据训练所需的计算能力。目前,由鹏程实验室主建的中国计算网(C2NET)已接入20多个大型智能计算、超级计算和数据中心,异构计算能力达到3EFlops,其中自主研发的AI计算能力超过1.8EFlops,此外,聊天机器人的应用只是训练和测试AIGC的直观方式,聊天并不是刚需。需要在大模型的基础上开发各种面向行业的模型,使大模型尽快在行业内发挥作用,为各行各业的应用培养更多的人才。
大模型行业应用需要既懂行业技术又懂AI培训的综合型人才。
t:目前我们已经看到ChatGPT在一些领域的应用,比如聊天机器人、文本生成、语音识别等。未来在实体行业和领域会有一些应用机会吗?大模型在实体行业应用中面临哪些障碍?
吴:在现有ChatGPT型聊天机器人的基础上,通过补充相关行业和企业的培训,可以承担企业的智能客服工作,代替工人为客户提供售前和售后服务。ChatGPT可以代替程序员完成编程任务,在需要软件编程的设计制造过程中检查软件bug。能够承担设计和制作过程中所需文件和资料的收集、翻译和整理工作。经过专业训练,AIGC模型可以用来设计EDA软件,比如用于IC设计的工具软件。在动漫游戏企业中,基于AIGC模型训练的机器人可以根据提示编写脚本、创建游戏脚本并编程,完成3D动画的渲染。
但是ChatGPT并不是一个通用的模型,所以很难直接应用到实体行业的制造过程中。但基于训练ChatGPT的原理,我们可以利用行业和企业的知识图谱进行深度训练,有可能开发出专门针对企业的大模型。完成这项工作的挑战是需要熟悉企业上传流程和关键环节技术以及掌握人工智能大数据培训技术的人才。
从关注结果到关注过程,融合技术和法律制度主导了AIGC的推理过程。
T:ChatGPT也会犯各种错误,也会带来一些伦理、安全、隐私方面的问题。未来应用大模式时,如何营造兼顾安全和发展的包容性环境?
吴:生成式AI的出现,将社会对人工智能的关注度推到了前所未有的高度。与此同时,许多专家担心人工智能会毁灭人类,呼吁停止GPT五号的研究。一些专家的担忧并非空穴来风,因为ChatGPT机器人的思维过程目前是不透明的,人类创造了ChatGPT。但目前人类并不完全掌握它的推理过程,推理结果未知,可解释性不够。如果不确定、不可知,就不可控,就会有机器人变态、伦理失范、行为失控的风险。
解决的办法不是停止对人工智能的研究,而是设计和引导AIGC的推理过程从关注结果到关注过程,让结果可预期,行为可控制。未来大模型的推广应用需要有资质的机构进行评估,大模型的推理过程有迹可循。同时,要建立相应的AI治理法律法规,防止误导AIGC培训,追究AIGC培训主体的责任,严惩教唆犯罪行为。通过技术和法律制度的互补,人工智能成为了人类真正忠诚的助手。
温馨提示:注:内容来源均采集于互联网,不要轻信任何,后果自负,本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权,请给我们来信(j7hr0a@163.com),我们会及时处理和回复。
原文地址"腾研专访 | 邬贺铨院士:中国大模型发展的优势、挑战及创新路径":http://www.guoyinggangguan.com/qkl/143193.html。

微信扫描二维码关注官方微信
▲长按图片识别二维码