作者:赵颖
AI大战谁是最终赢家？
或许既不是讨论最热烈的OpenAI，也不是微软、谷歌等科技巨头。开源AI未来可能会占领高地。
周四，据媒体semi*ysis报道，谷歌研究人员在一份泄露的文件中承认，谷歌没有护城河，OpenAI也是如此，因此将很难与开源AI竞争。
正如文档中提到的，开源模型在训练上更快，更可定制，更私密，比同类产品更好。他们在用100美元、130亿美元的参数做“谷歌1000万美元、540亿美元的参数很难企及”的事情，他们可以在短短几周内完成，而不是几个月。
对于用户来说，如果有一个免费的、高质量的、没有使用限制的替代品，谁来为谷歌的产品买单？
以下是谷歌泄露的文件:
Google没有护城河，OpenAI也没有。
我们对OpenAI做了大量的考察和思考。谁将跨越下一个里程碑？下一步会是什么？
但令人不安的事实是，我们没有能力赢得这场军备竞赛，OpenAI也没有。在我们争论的时候，第三派已经在悄悄地抢我们的饭碗了。
我指的是开源AI。简而言之，他们正在夺走我们的市场份额。我们认为的“主要开放问题”现在已经解决，并已到达用户。仅举几个例子:
手机上的LLM:人们在Pixel 6上以每秒5个令牌的速度运行基本模型。
可扩展的个人人工智能:你可以在一个晚上对笔记本电脑进行微调，以生成个性化的AI助手。
负责任的发布:这个问题不是“解决了”，而是“避免了”。有的网站全是艺术模特，没有任何限制，文字也不甘落后。
多模态:目前，多模态科学QA SOTA是一个小时的培训。
虽然我们的模式在质量上还是有一些优势的，但是差距在以惊人的速度缩小。开源模型在训练上更快，更可定制，更私密，比同类产品更好。他们正在做一件谷歌1000万美元和540亿美元参数都比不上的100亿美元和130亿美元参数的事情，他们可以在几周内完成，而不是几个月。这对我们有着深远的影响:
我们没有技术诀窍。我们最大的希望是向谷歌之外的其他人学习，并与他们合作。我们应该优先考虑融合。
当免费和不受限制的替代品质量相同时，人们不会为受限制的模型付费。我们应该考虑我们的附加值在哪里。
大模特在拖累我们。从长远来看，最好的模型是那些可以快速迭代的模型。
发生了什么事？
3月初，Meta的大语言模型LLaMA泄露，开源社区得到了第一个真正有能力的基础模型。它没有指令或对话调整，也没有RLHF。尽管如此，社区立即明白了他们所得到的意义。
随后，伟大的创新层出不穷，发展也只是隔了几天。现在不到一个月的时间，出现了指令调整、量化、质量提升、人评、多模态、RLHF等多种变体。，其中许多是相互关联的。
最重要的是，他们已经解决了缩放问题，任何人都可以调整它。很多新想法来自普通人，门槛从一个大的研究机构降到了一个人，一个晚上，一台强大的笔记本电脑。
从很多方面来说，这并不令人惊讶。目前，大型开源模型的复兴紧跟生成图像模型的热潮，开源社区也没有忘记这些相似之处。许多人把这称为LLMs的“稳定扩散”时刻。
通过低秩矩阵微调法(LoRA)，结合规模上的重大突破(如大模型龙猫)，让大众以更低的成本参与；在这两种情况下，获得足够高质量的模型可以引发全球个人和机构的想法和迭代热潮，很快就会超越大型企业。
这些贡献在图像生成领域非常重要，使得StableDiffusion company走上了一条与Dall-e不同的道路，拥有开放的模式带来了产品集成、市场、用户界面和创新，这些都是Dall-E所不具备的。
其效果可想而知:在文化影响力上，与OpenAI的解决方案相比，迅速占据主导地位，越来越相互依赖。同样的事情是否会发生在LLM上还有待观察，但总体结构要素是相同的。
我们错过了什么？
最近开源的成功创新直接解决了我们还在纠结的问题。多关注他们的工作可以帮助我们避免重蹈覆辙。
LoRA是一项非常强大的技术，我们应该更加重视它。LoRA的工作原理是将模型更新表示为低秩因式分解，将更新矩阵的大小降低了数千倍。这使得模型的微调只需要很小一部分成本和时间。能够在几个小时内在消费硬件上个性化语言模型是一件大事，特别是对于那些涉及近实时整合新的和多样化知识的人来说。这项技术的存在还没有在谷歌内部得到充分利用，尽管它直接影响了我们一些最雄心勃勃的项目。
从零开始重新训练模型是一条艰难的道路。LoRA如此有效的部分原因是& # 8211；像其他形式的微调& # 8211；它是可堆叠的，可以应用诸如指令调整之类的改进，然后在其他贡献者增加对话、推理或工具使用时使用。虽然单个微调是低级别的，但它们的总和是不必要的，从而允许模型的全面更新随着时间的推移而积累。
这意味着，随着新的更好的数据集和任务的出现，模型可以以更低的成本保持更新，而无需支付全面的培训。
相比之下，从零开始训练一个大模型，不仅失去了前期的训练，也失去了之前的任何迭代改进。在开源世界中，这些改进将在不久的将来占主导地位，从而使全面再培训的成本非常昂贵。
我们应该仔细考虑每个新的应用或想法是否真的需要一个全新的模型。如果我们真的有重大的结构改进，那么我们应该投资更积极的精炼形式，尽可能保留上一代的能力。如果能在小模型上迭代得更快，那么从长远来看，大模型并不是更有优势。
LoRA更新的成本很低(约100美元)，这意味着几乎任何有想法的人都可以生成。培训时间不到一天很正常。在这个速度下，所有这些微调的累积效应可以在不需要很长时间的情况下克服最初的模型比例劣势。
在这些项目中，数据质量的可伸缩性比大小更好。许多模型通过在小型高质量数据集上进行训练来节省时间。这表明，数据膨胀的规律存在一定的灵活性，它正在迅速成为谷歌之外的一种标准训练方法。这两种方法在Google并不占优势，不过好在这些高质量的数据集都是开源的，可以* * * *。
与开源软件直接竞争是一件赔钱的事情
这一最新发展对我们的业务战略有着直接而重大的影响。如果有一个免费的、不受限制的高质量替代品，谁会为谷歌的产品买单？
此外，我们不应该期望赶上。现代互联网运行在开源上是有原因的。开源有一些不能* *的优势。
我们更需要他们。保守我们的技术秘密总是不稳定的。谷歌的研究人员经常更换，所以我们可以假设他们知道我们所知道的一切，只要这个渠道是开放的，相关技术就会继续传播。
然而，保持技术上的竞争优势更加困难。全世界的研究机构都在彼此工作的基础上探索解决方案空，这远远超出了我们的能力。我们可以试着守住自己的秘密，外部的创新会稀释它们的价值，或者我们可以试着互相学习。
温馨提示：注：内容来源均采集于互联网，不要轻信任何，后果自负，本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权，请给我们来信(j7hr0a@163.com)，我们会及时处理和回复。
原文地址"谷歌真相，谷歌ai叫什么"：http://www.guoyinggangguan.com/qkl/151765.html。
微信扫描二维码关注官方微信
▲长按图片识别二维码
