在古代,有一位名叫Horik的国王,他雇佣了一位土木工程师来建造他的王国中心。国王特别强调了这项建设的紧迫性。在了解了所有的细节和规格后,工程师承诺会这样做,但表示“这将需要一年的时间,需要带领所有的人来完成这项工作。但是,这将花费更多的钱。”国王意识到,如果所有的工程师都参与这项建设,建造市中心的成本将会是一个巨大的数字。他已经在为他的公民储存食物上花费了足够的钱。他开始担心,并召唤了他的儿子,王国中最聪明的人,他接管了建造市中心的责任。

他雇佣了一位顾问,并描述了他们的情况。顾问提供了一个价格。他说,“将以成本建造市中心。但将为每个进入市中心的公民付费。”交易就这样达成了。

从这个故事中学习:市中心是数据科学应用。顾问是亚马逊。其余的都是历史。

亚马逊在2015年的re:Invent大会上庆祝了其第四届年度活动,从10月6日至9日在美国拉斯维加斯举行。如果在那一年的这个时候在拉斯维加斯,一定会抓住这个节日的座位。让告诉在这个节日发生了什么(简要)。

在re:Invent 2015大会上,亚马逊AWS展示了其多年的辛勤工作和奉献精神,致力于构建出色的产品。说一个技术/服务,亚马逊就有一个产品可以提供。无论是物联网、分析、数据库、存储和内容分发、安全和身份认证、计算、移动服务、管理工具,亚马逊都以其独特的报价和服务吸引了全世界的注意。

亚马逊AWS已经成为世界上增长最快的数十亿美元的企业IT公司。演讲者是AWS的高级副总裁Andy Jassy(证据:下图)。

为什么要告诉所有这些?亚马逊已经构建了伟大的产品,并且以令人难以置信的价格提供了这些产品。但是,为什么要告诉这些?敢打赌这一刻一定这么想了!😉

嗯……亚马逊一直是云计算的王者,当他们开始推出针对数据科学家和商业智能(BI)专业人士的产品时,最好还是关注一下,而不是措手不及!

像往常一样,亚马逊推出的产品不仅仅是为组织准备的,也是为个人使用的。他们的目标是以深度客户不满为代价,颠覆一个数十亿美元的市场。让告诉他们是如何做到的!

P.S - 本文仅突出了re:Invent 2015与大数据和分析相关的知识。并不打算在这里推广任何产品或服务。

数据科学产品

不仅在AWS上收集、上传、存储和处理数据的过程变得更加快速,而且数据中心服务的增加使这个平台成为一个数据科学家的综合平台。以下是在re:Invent 2015大会上推出的一些产品:

AWSIoT

物联网不再是梦想。它就在这里。AWS IoT允许一个云服务,可以轻松安全地连接汽车、工厂车间、感官网格、工厂引擎以及几乎所有传输数据的设备。亚马逊确保这项服务非常适合内存、处理能力或电池寿命有限的设备。

AWSIoT由诸如事物影子、规则引擎、消息代理、SDK、事物注册表等组件构建,其唯一的工作是确保设备无论在连接不良、存储不足等不利条件下都能保持连接。

最好的部分是,这些设备之间交换的前250,000条消息是免费的!即使在那之后,价格也很便宜。如果对此感到兴奋,可以查看亚马逊CTO Werner Vogels介绍AWSIoT

Amazon QuickSight

下一个惊喜,亚马逊已经使交付商业智能(BI)解决方案的过程更快(几秒钟)与QuickSight。对于那些了解BI行业的人来说,会知道它是多么的破碎!在QlikView/Tableau流行之前,BI项目是一个巨大的任务。这将花费很多钱,人们将为此工作多年,当一些东西准备好时,客户的需求已经改变了!在花费了大量的金钱、人力资源和时间之后,组织将转向下一个供应商,希望他们能够交付,对于大多数项目来说,类似的故事还在继续。

虽然像QlikView和Tableau这样的解决方案已经在一定程度上改变了这一点,但亚马逊正在为颠覆做准备。QuickSight不仅提供了更快的BI解决方案,而且成本是传统解决方案的1/10。这难道不令人惊讶吗?

这个软件旨在使用通过广告定位、客户细分、预测和计划、营销和销售分析、库存和运输跟踪等收集的许多数据类型。简而言之,如果有数据并且想要它的洞察力,切换到QuickSight。它将以每月9美元的价格提供一年承诺,对于企业用户将是18美元。

这里是定价计划:

只是迫不及待地想尝试一下!

Amazon Kinesis Firehose

不喜欢QuickSight?没问题!

亚马逊的Firehose提供了集成现有的BI工具和仪表板的设施,从而实现实时分析。它提供了将流数据加载到AWS的最简单方式。

这个软件允许花更多的时间关注应用程序,而不是基础设施。因为,Firehose自动为用户处理监控、扩展和数据管理。它也可以与其他亚马逊服务一起使用,如Lambda、Redshift、EMR,旨在使这个过程的数据管理更加可靠和快速。查看这个2分钟的视频。

AWS Database Migration Service

顾名思义,这项服务允许轻松安全地将数据转移到AWS。实际上,在迁移过程中,源数据仍然完全运行。

这项服务可以与所有类型的数据一起使用,从所有广泛使用的商业和开源数据库中。例如:可以将数据从Oracle迁移到Oracle,以及Oracle Microsoft SQL Server。即使使用异构数据源,也没有数据传输的限制。

这包括模式转换工具等许多内置功能,这些功能有助于成功地在数据库之间传输数据。

AWS Lambda(更新)

如果还不知道Lambda,让向介绍!

有时,可能会遇到在服务器上运行代码的困难。比如服务器未能成功计算代码,或者更糟糕的是(它崩溃了)。至少有!

Lambda为提供了一个机会,让在不考虑服务器的情况下运行代码。令人难以置信的事实是,只需要为计算时间付费——当代码不运行时,没有费用。只需要上传代码,然后坐下来。这个软件会处理运行和扩展代码所需的一切,具有高可用性。

今年,在re:Invent 2015大会上,亚马逊宣布了Lambda对Python函数的扩展支持,增加了函数持续时间,函数版本控制和别名等。

6个大数据科学家必看的视频

re:Invent不仅仅局限于产品展示,还扩展到了提供一些在数据科学/大数据行业中最受关注的话题的知识。以下是发现对数据科学专业人士有用的前6个视频。记住,分析和可视化数据的方式正在改变,必须拥抱这种变化。

  1. 深度学习 - 超越机器学习
  2. 数据科学与Apache Spark的最佳实践
  3. 机器学习的实际应用
  4. 大数据架构模式和最佳实践
  5. 亚马逊弹性MapReduce
  6. 在AWS上的第一个大数据应用