在当今的商业环境中,数据的有效管理和分析对于企业至关重要。然而,只有当数据被正确使用时,才能产生可操作和有价值的洞察。此外,对数据进行良好的分析和组织同样重要。但目前,只有少数企业数据得到了适当的分析和存储。
随着云计算和计算企业数据性能的需求不断增长,高效的数据存储解决方案变得尤为重要。一次性投资实施数据仓库系统,可以立即使用,而不是作为重大的资本支出。这样,企业可以访问结构化数据源,收集、发现和查询统计数据。
微软推出了名为Azure SQL数据仓库的云数据仓库解决方案。它是数据平台环境中有效且可靠的产品和平台之一。如果是微软Azure云数据仓库的新手,请继续阅读以更好地理解。
Azure SQL数据仓库是微软Azure的一个云平台即服务(PaaS),也称为大规模并行处理(MPP)关系数据库技术。它是多平台现代数据仓库架构的关键组成部分。
由于Azure SQL数据仓库是一个具有共享型架构的MPP系统,可以将其用于大规模分析工作负载,并利用并行处理的优势。这种云数据仓库解决方案实现了存储和计算的分离,从而实现了可扩展性和独立计费。
Azure SQL数据仓库是MS SQL Server产品线的一部分,包括SQL Server和Azure SQL数据库。因此,经验和知识可以有效地转移到Azure SQL数据仓库。
但是,有一个例外。MPP架构与Azure SQL Server和SQL数据库的SMP架构不同。它还需要特殊的设计技术来充分利用MPP架构的全部能力。
Azure云数据仓库能做什么?Azure SQL数据仓库以其弹性云服务和高可扩展性而闻名。它与其他Azure产品(如机器学习和数据工厂)以及各种MS产品和SQL Server工具兼容。
这个数据仓库解决方案可以使用并行处理处理大量数据。作为一个分布式数据库管理系统,SQL数据仓库系统克服了传统数据存储系统的大多数缺点。
由于AzureSQL数据仓库可以快速在不同的处理和存储单元之间分散数据,因此它更适合批量加载、大量数据供应和转换。这个内置的Azure功能提供了与其他Azure服务相同的一致性和可扩展性。
传统数据仓库由对称多处理器(SMP)机器和两个或更多相同的处理器组成。它们提供对I/O设备的完全访问,因为它们连接到共享内存。
一个单一的操作系统平等地控制它们。然而,由于业务需求的增长,对可扩展性的需求已经飙升。这使得AzureSQL数据仓库对任何组织都变得更加重要。
Azure云数据仓库通过共享架构满足所有需求。此外,在多个位置存储数据使得并行处理大量数据成为可能。
以下是微软Azure云数据仓库的一些显著特点:Azure云扩展能力和SQL Server关系数据库的完美结合;持续计算与存储分离;包括T-SQL和工具的使用;计算的扩展和暂停;
实施Azure SQL数据仓库的常见理由是什么?新接触云数据仓库的组织可能会考虑实施MS Azure SQL数据仓库。为了帮助做出决定,以下是实施的常见理由:
整合和会话多个不同的数据源:当数据从不同来源集成时,它变得更有价值。例如,客户的360度视图可以协调客户主数据、支持请求、开放索赔和销售,以便进行轻松分析。
历史分析:数据仓库在分析历史数据时也是可靠的,使用预测分析咨询和报告技术,包括缓慢变化的维度和定期快照。例如,这个季度成立了一个部门,或者客户销售代表现在正在转移到一个新的部门。因此,报告在“现状”或“过去”方面将具有灵活性,提供关键价值,通常无法从传统源系统获得。
使用Azure云数据仓库,可以看到业务努力的最佳结果,同时不断获得价值和成熟度。还可以减少信息孤岛。
用户友好的数据结构:将数据结构化为用户友好的维度模型至关重要,因为它有助于核心用户基础的能力。额外的技术,如有用的度量(例如YTD、QT和MTD)以及列、表和派生属性的熟悉名称,有助于易用性。数据分析师被鼓励使用数据仓库以确保一致的结果,并节省时间、金钱和努力。
现有投资:一旦注意到当前的数据仓库再也不能为特定用例提供价值,迁移所有数据到另一个架构或关闭是不经济的。相反,利用跨平台架构,数据是一个关键组成部分。
以下是MS Azure SQL数据仓库的各个组成部分,帮助更好地了解它:
控制节点:应用程序和连接与系统的前端控制节点通信。主节点负责协调运行并行查询所需的一切,从数据移动到计算。这是通过将每个查询转换为在不同的计算节点上并行运行来实现的。
计算节点:计算节点接收到查询后,进行处理和存储。注意,查询的并行处理在不同的计算节点上进行。然后,在过程完成后,结果返回到控制节点。结果然后被收集并返回到最终结果。
存储空间:大量非结构化数据可以快速存储在Azure Blob存储中。计算节点可以直接从此存储中读取和写入,因此数据相互作用。Azure数据存储是容错的,并且可以透明地扩展。此外,存储还恢复数据并提供强大的备份。
数据移动服务(DMS):Windows提供了一个DMS,它在每种类型的节点上与SQL数据库一起运行。它有助于在节点之间移动数据,然后形成整个过程的核心,以确保它在移动数据以完成并行处理中发挥关键作用。
以下是应该知道的Azure数据仓库的主要好处:
灵活性:Azure SQL数据仓库提供了出色的弹性,因为存储和计算组件是分离的。甚至可以独立地扩展计算。即使在查询运行时,也允许消除和添加资源。
V12可移植性:是否希望从SQL Server升级到Azure SQL或反之亦然?Microsoft Azure数据仓库包含根据要求的所有工具和服务。
专注于安全:Azure SQL最好的事情之一是它提供了各种安全组件,包括审计、加密、数据屏蔽、行级安全性等。请注意,云数据并非不受网络威胁的影响。
Polybase:通过Azure数据仓库,可以通过Polybase查询非关系资源。
高可扩展性:根据咨询专家的说法,Azure提供了高可扩展性。在Azure数据仓库的情况下,它可以根据需求快速扩展和缩减。
结论:Azure SQL数据仓库是一个具有共享型架构的MPP系统。可以将其用于大规模分析工作负载,并利用并行处理的优势。这种云数据仓库解决方案实现了存储和计算的分离,从而实现了可扩展性和独立计费。