来源:机器的心脏
未来十年需求最大的工作是「AI工程师」？
ChatGPT出现后，人们预言“所有行业都将通过AI被重塑”，有些工作会被取代，有些工作会改变形式。作为创造AI的程序员，他们的职业生涯会变成什么样？
最近事情好像有了谱。一群工程师学者喊出了“AI工程师”的概念，得到了很多回应:
由于GPT-4等大语言模型的通用和强大能力，我们的工作模式可能很快就会转变为与AI一起工作，跟上人工智能的步伐本身就是一项全职工作。
据说这个“AI工程师”介于全栈工程师和机器学习工程师之间，占据了后端工程师的一部分，专注于大型模型的构建。目前还在定义阶段，但从热烈的讨论来看，应该离落地不远了。毕竟ChatGPT革命的速度这么快。
想法一出，AI领域的大V迅速得到评论。OpenAI科学家、前特斯拉AI和自动驾驶总监Andrej Karpathy同意这一观点。“大模型创造了一个全新的抽象和专业层。到目前为止，我称之为‘提示工程师’，但现在已经不仅仅是提示的问题了。」
此外，他指出了四个要点:
过去，机器学习通常需要从零开始训练算法，但结果通常在性能上受到限制。大规模的模型训练和传统的机器学习有很大的不同。前者工作量大，然后拆分成一个新的角色，专注于在超级计算机上进行Transformer的大规模训练。从数字上看，AI工程师的数量可能比机器学习工程师/大模型工程师多很多。不需要任何训练就可以成功扮演这个角色。
马斯克看完后也说:
工作需求大，意义重大，门槛低，看起来又刺激又焦虑。
讨论中，有人提出了“认知工程师”和“AI系统工程师”的名字作为候选人。Nvidia的AI科学家Jim Fan认为这个新职业应该被称为“无梯度工程师”——从传统工具1.0到神经网络2.0再到无梯度架构3.0，我们终于等到了GPT系列自我训练的4.0版本。
对此，威斯康星大学助理教授塞巴斯蒂安·拉什卡(Sebastian Raschka)表示，这仅适用于普通助理，对于大多数企业来说，你不需要成为“普通”。
有很多名称和定义。我们来看看这个“AI工程师”是个什么样的职位。
在基础模型、开源模型、API的突破能力驱动下，我们正在见证人工智能应用十年一遇的变革。
2013年完成人工智能任务需要5年时间和一个研究团队，而现在只需要API、文档和2023年的a 空 spare午后。
然而，细节决定成败——人工智能的应用和产品化面临的挑战是无穷无尽的:
模型范围从最大的GPT-4和克劳德模型到开源的Huggingface，LLaMA和其他模型。工具，从最流行的链接、检索、向量搜索工具(如LangChain、LlamaIndex、Pinecone)到新兴的独立领域(如Auto-GPT、Babyagi)；技术上，每天提交的新论文、新模型、新技术的数量随着兴趣和资金的增加呈指数级增长，以至于了解这一切几乎是一项全职工作。这种情况如果认真对待，应该算是全职工作。因此，软件工程将诞生一个新的分支学科，专门研究人工智能的应用，并有效地使用新兴的堆栈，就像站点可靠性工程师(SRE)、开发和运营工程师、数据工程师和分析工程师的出现一样。
这个角色的新版本(也是最不牛逼的版本)似乎是:人工智能工程师。
我们知道每个创业公司都有某种Slack渠道来讨论AI的使用，很快这些渠道就会从非正式的团体变成正式的团队。目前，数千名软件工程师正在致力于生产AI API和OSS模型。无论在工作时间，晚上和周末，在公司的休闲裤还是独立的Discords，所有这些都会专业化，集中在一个头衔上:AI工程师。
这可能是未来十年要求最高的工程工作。
人工智能工程师将无处不在，从微软和谷歌等科技巨头到Figma、Vercel和Notion等领先的初创公司，以及西蒙·威廉森(Simon Willison)、彼得·莱维斯(Pieter Levels)和赖利·古德赛德(Riley Goodside)等独立开发者。他们在Anthropic的工程实践一年可以赚30万美元，在OpenAI的构建软件一年可以赚90万美元。他们在周末的空闲时间空在AGI大厦思考想法，并在Reddit的/r/locall ama区域分享他们的技能。
它们的共同点是，人工智能的进步几乎可以在一夜之间转化为可供数百万人使用的实用产品。其中，你看不到博士头衔。在交付人工智能产品时，你需要的是工程师，而不是研究人员。
AI工程师和ML工程师的大逆转
Indeed网站上的一组数据显示，机器学习工程师的职位数量是AI工程师的10倍，但相比较而言，AI领域的增长速度更快。据预测，这一比例将在五年内逆转，即AI工程师将是ML工程师的数倍。
《谁在招聘》(Hacker News上的每月帖子，为雇主提供发布* *信息的平台)每月发布不同类别的就业趋势。
关于AI和ML的区别一直争论不休，但是很谨慎。我们也知道，一个普通的软件工程师完全可以构建AI软件。不过最近大家都在讨论另一个问题，那就是黑客新闻里的一个热帖“如何进入AI项目”引起了广泛的兴趣。这个热帖也说明了市场上依然存在的基本限制，各个位置的区分还是很细的。
2023年6月黑客新闻上的一个帖子截图:“如何进入AI项目”热门投票答案。
直到现在，仍然有很多人认为AI工程是ML工程或数据工程的一种形式，所以当有人问如何进入某个领域时，他们倾向于推荐相同的先决条件。比如上面的回答，很多人推荐吴恩达的Coursera课程。但是那些高效的AI工程师没有一个完成过吴恩达在Coursera的课程，也不熟悉PyTorch，更不知道数据湖和数据仓库的区别。
在不久的将来，没有人会建议通过阅读Transformer的论文“注意力是你所需要的一切”来开始学习AI工程，就像你不会通过阅读福特t型车的设计图来开始学习驾驶一样，当然，了解基本原理和技术的历史进步是有帮助的，可以帮助你找到提高思维和效率的方法。但有时你可以通过使用有实际经验的产品来了解它们的特性。
AI工程师和ML工程师之间的逆转不会一蹴而就。对于数据科学和机器学习背景好的人来说，提示工程和AI工程可能长期不被看好。但随着时间的推移，需求和供给的经济规律会占上风，人们对AI工程的看法也会发生变化。
AI工程师为什么崛起？
在模型层面，很多基础模型是小样本学习器，具有很强的上下文学习和零样本迁移能力，模型的性能往往超出训练模型的初衷。换句话说，创建这些模型的人并不完全知道他们能力的范围。那些不是LLM(大型语言模型)专家的人，可以通过更多地与模型互动，并将其应用于被低估的领域，来发现并利用这些能力。
在人才层面，微软、谷歌、Meta和大型基础模型实验室垄断了稀缺的研究人才，他们提供了“AI研究即服务”的API。你也许不能雇佣这样的研究人员，但是你可以租用他们的服务。现在全世界大约有5000名LLM研究人员和5000万名软件工程师。这种供给限制决定了“中”类的AI工程师会崛起，以满足人才需求。
硬件层面，各大科技公司和机构囤积了大量的GPU。当然，OpenAI和微软是第一个这样做的，但稳定性AI通过强调他们的4000个GPU集群开始了创业公司的GPU竞争。
此外，一些新的初创公司开始崛起，如影响力(13亿美元)、Mistral(1.13亿美元)、Reka(5800万美元)、pool side(2600万美元)和Contextual(2000万美元)，并普遍开始筹集巨额种子轮，以拥有自己的硬件设施。
美国科技行业高管、投资人Nat Friedman甚至公布了他们的Andromeda项目，这是一个拥有10 exaflop计算能力、价值1亿美元的GPU集群，专门用来支持其投资的创业公司。在API领域的另一边，会有更多的AI工程师会使用模型，而不仅仅是训练模型。
在效率方面，不再需要数据科学家和机器学习工程师在训练单个特定领域的模型并将其投入生产之前进行繁琐的数据收集，产品经理和软件工程师可以与LLM进行交互，以构建和验证产品想法。
假设后者(数据，ML工程师)的数量是前者(AI工程师)的100到1000倍，和LLM交互会让你比传统机器学习快10到100倍。因此，AI工程师将能够比以前便宜一万倍地验证AI产品。
在软件层面，会有从Python到JavaScript的变化。传统上，数据和AI领域以Python为中心，第一批AI工程工具(如LangChain、LlamaIndex和Guardrails)也是基于Python的。但是JavaScript开发者的数量至少应该和Python开发者的数量持平，所以工具越来越多的往这个方向扩展，从LangChain.js和Transformers.js到Vercel的新AI SDK。JavaScript整体市场规模的扩张和机会是显著的。
每当出现一个背景完全不同，使用完全不同的语言，生产完全不同的产品，使用完全不同的工具的子群体，他们最终都会分裂成自己的群体。
代码在从软件2.0到软件3.0的演变中的作用
6年前，Andrej Karpathy写了一篇非常有影响力的文章，描述了软件2.0，并将精确建模逻辑的经典栈手写编程语言与具有近似逻辑的机器学习神经网络的新栈进行了比较。文章表明，软件可以解决更多人类无法建模的问题。
今年，卡帕西继续发表文章指出，最受欢迎的新编程语言是英语，因为生成式AI的暗示可以理解为人类设计的代码，很多情况下是英语，用LLM解释，最后填补了他图表中的灰色区域。
注:经典栈软件1.0是用Python、C++等语言编写的。软件2.0是用神经网络权重写的，这段代码的编写过程没有人参与，因为权重很多。
去年，Prompt工程成为一个热门话题，人们开始将GPT-3和稳定扩散应用到他们的工作中。人们嘲笑AI创业公司是OpenAI包装器，担心LLM应用容易受到提示注入和反向提示工程的问题。
但2023年一个很重要的主题是关于重新确立人类编写代码的角色，从超过2亿美元的巨头Langchain，到Nvidia支持的Voyager，显示了代码生成和重用的重要性。Prompt Engineering既被过度炒作，又具有持久性，但软件1.0范式在软件3.0应用中的再现不仅是一个巨大的机会，也为大量创业公司创造了新的空 rooms:
随着人类工程师学会使用AI，AI接管了越来越多的工程工作。将来我们回过头来看，很难区分两者的区别。
参考内容:
https://www.latent.space/p/ai-engineer
https://twitter.com/karpathy/status/1674873002314563584
本网站声明:网站内容来源于网络。如有侵权，请联系我们，我们会及时处理。
温馨提示：注：内容来源均采集于互联网，不要轻信任何，后果自负，本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权，请给我们来信(j7hr0a@163.com)，我们会及时处理和回复。
原文地址"不要叫我程序员，我是「AI工程师」，马斯克：开始卷自然语言编程"：http://www.guoyinggangguan.com/qkl/141178.html。
微信扫描二维码关注官方微信
▲长按图片识别二维码
