合作机构:阿里云 / 腾讯云 / 亚马逊云 / DreamHost / NameSilo / INWX / GODADDY / 百度统计
从数据可用性和安全性到大型语言模型和选择和监控,企业采用生成式人工智能意味着需要重新审视自己的云架构。
所以,很多企业正在重新构建云架构,同时也在开发生成式人工智能系统。那么,这些企业需要做些什么改变?新兴的最佳实践是什么?行业专家表示,在过去的20年里,特别是在过去的两年,他帮助企业建立了一些这样的平台,以下是他为企业提出的一些建议:
企业坱要明确定义云架构中生成式人工智能的目的和目标。如果看到一些错误反复出现,那就是他们没有理解业务系统中生成人工智能的含义。企业需要了解其目标是什么,无论是内容生成、推荐系统还是其他应用程序。
这意味着企业高管需要就制定的目标达成共识,并且明确如何实现目标,最重要的是,如何定义成功。这并非只有生成式人工智能才会出现。而这是在每一次迁移和在云中构建的新系统获得成功的一步。
很多企业在云平台中开发的生成式人工智能项目都失败了,因为他们没有很好地理解业务用例。虽然企业开发的产品很酷,但不会给其业务带来任何价值。那么这种方法就会行不通。
识别生成式人工智能模型训练和推理需要有效的数据来源,必须是可访问的、高质量的和精心管理的数据。企业还必须确保云计算存储解决方案的可用性和兼容性。
生成式人工智能系统是高度以数据为中心的,可以称之为数据导向系统。数据是驱动生成式人工智能系统产生结果的燃料。然而,数据质量仍然是“垃圾进,垃圾出”。
因此,将数据可访问性作为云架构的主要驱动因素是有帮助的。企业需要将大多数相关数据作为训练数据访问,通常将其保留在其存在的位置,而不是将其迁移到单一的物理实体。否则,最终会得到多余的数据,没有单一的真相来源。考虑在将数据输入人工智能模型之前,对数据进行预处理和清理的高效数据管道。这确保了数据质量和模型性能。
使用生成式人工智能的云架构80%获得了成功。然而,这是最容易被忽视的因素,因为云架构师更关注生成式人工智能系统的处理,而不是为这些系统提供高质量的数据,实际上,数据就是一切。
正如数据至关重要一样,数据的安全性和隐私性也很重要。生成式人工智能处理可以将看似无意义的数据转化为可以暴露敏感信息的数据。
企业需要实施稳健的数据安全措施、加密和访问控制,以保护生成人工智能使用的敏感数据和生成人工智能可能产生的新数据。企业需要遵守相关的数据隐私法规。这并不意味着在企业的架构上安装一些安全系统作为最后保障,而是在每个步骤中都必须将安全性应用到系统中。
企业需要规划可扩展的云资源,以适应不同的工作负载和数据处理需求。大多数企业都考虑自动扩展和负载平衡解决方案。而看到的一个更严重的错误是,构建可扩展性良好但成本非常高的系统。最好是平衡可扩展性和成本,这是可以做到的,但需要良好的架构和云成本的优化实践。
另外,企业需要检查推理资源。人们已经注意到,云计算行业会议上的许多新闻都是围绕这个主题,而且有充分的理由。选择合适的带有GPU或TPU的云实例进行模型训练和推理。而优化资源配置以实现成本效益。
根据企业的具体用例和需求选择示例生成式人工智能架构(通用对抗网络和Transformers等)。考虑使用云服务进行模型训练(例如AWSSageMaker等)并找到优化的解决方案。这也意味着理解企业可能有许多连接的模型,这将是常态。
企业需要实现一个健壮的模型部署策略,包括版本控制和容器化,以使企业的云架构中的应用程序和服务可以访问人工智能模型。
设置监控和记录系统来跟踪人工智能模型的性能、资源利用率和潜在问题是不可选择的。建立异常警报机制以及可观察性系统,以处理云中生成的人工智能。
此外,持续监控和优化云资源成本,因为生成式人工智能可能是资源密集型的。使用云成本管理工具和实践,意味着让云成本优化监控部署的所有方面——可以最小化运营成本,并提高架构效率佳。大多数架构都需要调优和持续改进。
需要故障转移和冗余来确保高可用性,灾难恢复计划可以在系统故障时最大限度地减少停机时间和数据丢失。必要时实现冗余。此外,定期审计和评估云基础设施中生成式人工智能系统的安全性。处理漏洞并维护合规性。
为人工智能的道德使用建立指导方针是个好主意,尤其是在生成式人工智能系统生成内容或做出影响用户的决策时。此外,还要解决偏见和公平问题。目前有关于人工智能和公平的诉讼,企业需要确保在做正确的事情。企业需要持续评估用户体验,以确保人工智能生成的内容符合用户期望并提高参与度。
无论企业是否使用生成式人工智能系统,云架构的其他方面几乎是相同的。关键是要意识到有些事情要重要得多,而且一直改进云架构。
TOP