探索Azure Synapse Analytics与Azure Machine Learning的集成

在当今数据驱动的世界中,人工智能(AI)和机器学习(ML)已成为企业决策的必备工具。然而,尽管每个高管团队都在追求这个流行词,但只有少数人理解背后的挑战。机器学习模型的好坏取决于它所处理的数据。为了开发能够实现预期业务成果的模型,需要使用适当的数据来喂养模型。

有些人可能会争辩说,“机器学习”的含义是机器能够独立发现隐藏的模式并进行学习。确实如此,但如何实现呢?有人给机器提供数据,以创建这些“智能”算法和模型。提取、分析并从数据中获取洞察的责任落在了数据科学家的肩上。

传统上,将AI和ML纳入数据科学流程一直有些痛苦。数据科学和ML团队经常在不同的孤岛中工作。无论多么必要,共享模型和数据都可能是耗时且效率低下的。

Azure Synapse Analytics为那些希望用AI和ML加速其数据科学工作流程的团队提供了一条更平滑的路径。在本文中,将讨论Azure Synapse Analytics和Azure Machine Learning。在本系列文章的后续部分,将探索如何设置工作区和ML,以及如何训练和使用ML模型并增强数据。

什么是Azure Synapse Analytics?

Azure Synapse Analytics是一个集成的分析服务,可以快速地从数据湖和数据仓库中提取有意义的洞察。它在一个地方处理、监控和保护数据,并为数据科学家提供了按自己的方式查询数据的自由。该服务还支持企业级的描述性、诊断性、预测性和规范性分析。

Azure Synapse Analytics是Azure SQL Data Warehouse(SQL DW)的重命名版本,具有改进的性能和功能。它支持无限的提取、转换和加载(ETL)以及提取、加载和转换(ELT)操作的流水线。它弥合了传统SQL数据仓库、非结构化数据存储和Apache Spark池之间的差距,同时完全支持不断发展的DevOps生态系统。

此外,Azure Synapse Studio使能够使用单一界面监控、编码和保护数据和数据流水线。它与Azure Machine Learning(Azure ML)和Power BI等其他Azure服务的深度集成,使其成为企业任何用例的理想选择。

以下图像总结了Azure Synapse Analytics提供的工具和服务。

什么是Azure Machine Learning?

在本系列文章中,将探索Azure Machine Learning集成。Azure Machine Learning创建和管理ML解决方案。微软为数据科学家和工程师设计了这个基于云的服务,以便他们利用现有的数据处理能力和模型开发技能,而无需学习不同的框架或工具。

虽然Azure Machine Learning使用户能够以传统方式自定义构建和部署ML模型,但它需要大量的领域知识和时间来生产和比较几十个模型。因此,为了帮助所有级别的用户,自动化机器学习(AutoML)有助于构建高度可扩展、高效和生产力的ML模型。

Azure Synapse Analytics与AutoML的集成使能够在不编写一行ML代码的情况下丰富数据集,并将数据转化为可操作的基线模型。

Azure认知服务套件为解决一般问题提供了ML功能。这些服务包括数据、算法和预训练模型等组件,构成了通用的ML解决方案。这些服务帮助用户无需太多专业知识或经验即可从数据中提取洞察。

数据项目

在本系列文章中,将探索Azure Synapse Analytics,并展示其端到端的Azure Machine Learning和认知服务集成。将学习如何使用链接服务将Azure Synapse工作区连接到Azure Machine Learning工作区。

还将发现如何通过使用Azure Machine Learning训练和评估模型来丰富数据。除了预训练的ML模型,将探索使用Azure认知服务在SQL池中丰富数据。

当数据准备好后,将使用Azure Machine Learning训练一个用于预测分析的ML模型。在这种情况下,将分析美国金县的房屋销售数据,并看看模型可以找到什么洞察。

该项目将遵循以下结构:

  • 创建和配置Azure Synapse Analytics工作区
  • 创建和配置Azure Machine Learning链接服务
  • 导入数据
  • 使用预训练的Azure ML模型丰富数据
  • 使用Azure认知服务丰富数据
  • 使用AutoML训练预测模型

对于本教程,假设已经具备一些SQL知识,并对Azure Synapse Analytics有一定的了解。因此,不会详细介绍各个功能。但是,可能想要先探索一些其他文章,或者注册查看由微软工程团队成员领导的

Azure Synapse Analytics实践培训系列

。这个网络研讨会系列深入探讨了Azure Synapse。

现在对Azure Synapse Analytics和Azure Machine Learning有了更多的了解,以及它们如何帮助数据科学家和其他人员在没有编码和机器学习专业知识的情况下充分利用他们的数据。还构建了一个路线图,说明如何使用机器学习来分析数据,在这个例子中是房屋销售。

在本系列的

沪ICP备2024098111号-1
上海秋旦网络科技中心:上海市奉贤区金大公路8218号1幢 联系电话:17898875485