数据洞察与创新:Datameer的旅程

Stefan Groschupf先生因其在数据领域的创新成就,被《Stern》杂志评为“30岁以下最具创新力的德国人”之一,而Datameer公司也在2013年被《Fast Company》杂志评为“全球最具创新力的公司”之一。在这次访谈中,探讨了大数据行业的动态变化以及Datameer如何在这一不断演变的领域中进行创新。

Stefan Groschupf先生分享了他从设计开源技术到共同创立Datameer的旅程。他16岁时,受到电影《Three Days of the Condor》中Robert Redford使用PDP8分析书籍的启发,对编写能够分析文本的软件产生了浓厚的兴趣。他热爱阅读和发现新的思维方式、新见解,能够编写分析文本的软件的想法让他着迷。这促使他后来开发了数据分类聚类算法。

Stefan Groschupf先生在Eclipse开源插件和JBoss上做了很多工作,这也是他开始在Nutch技术上工作的原因,这项技术后来衍生出了Hadoop。他早期就被围绕数据,特别是文本数据创造功能的过程所吸引。他曾研究过网络词图、早期的同义词数据集以及Weka,这是最早的数据挖掘开源框架之一。

开源是学习新技术的好方法,同时也能享受创造过程。当Stefan Groschupf先生开始开源技术时,管理大数据还是一件罕见的事情。并非每个人都想到了这一点。在建立这个实体的过程中,他面临了哪些挑战?Datameer早期成立时,大多数投资者和公司都在考虑基础设施(例如Cloudera)。他们相信Hadoop是一个游戏规则改变者,它需要一个企业级平台,而这就是他们可以产生最大影响的地方,赋予自助服务权力。

他们早期就有了这个想法,当时市场还没有完全准备好,但现在他们拥有先发优势,市场正在爆炸式增长。他们必须在财务上保持自律。到目前为止,他们只筹集了3700万美元,而他们的下一个竞争对手去年就筹集了这么多。他认为这个领域有很多炒作是有很好的理由的。有潜在的巨大投资回报。他认为他们已经建立了一个非常稳固的公司,并且年复一年地实现了惊人的增长。他们通过拥有一个人们愿意为之付费的伟大产品来资助这种增长。

总体而言,如果有一个巨大的机会,硅谷或新兴技术世界总是会试图利用它。如果有像大数据或数据这样的市场独特转变,那么很明显,将会有很多初创公司想要抓住这个机会。猜猜看?建立一个公司真的很难。不是每个人都能做到。

那么,Datameer目前的产品和服务是什么?他们是如何在市场上定位自己的产品的?企业理解分析大数据的价值,但真正的主题专家,如医生、营销人员或财务分析师,需要一种方式来独立访问数据,而不需要依赖IT或数据科学家。Datameer为商业用户提供了一个自助式的端到端大数据分析工具,该工具原生地运行在Hadoop上。这种方法大大减少了获得洞察的成本和时间。曾经复杂的算法现在变成了可以点击的按钮,这些按钮将“自动地”识别组、关系、模式,甚至基于数据构建建议。

他们可以按照想要的方式运行,无论是在云端为企业部门运行,还是在现场为企业版运行。由于他们针对多个行业,处理来自多个行业的数据有多困难,尤其是在数据隐私和安全是公司主要关注点的地方?由于他们不提供打包的垂直应用程序,数据隐私和安全是特定于行业、组织和用例的实现细节,而不是他们作为一刀切解决方案发货的东西。然而,由于Datameer具有强大的、行业领先的能力来支持数据治理(包括数据隐私和安全),组织可以轻松地根据他们的需求配置Datameer来实施自己的政策和适用监管机构的政策。

他们非常重视为客户提供企业级产品,并提供加密、匿名性、访问控制和审计等功能。Datameer如何挑战当今大数据分析行业的前沿?在这样做的过程中,他们面临了哪些挑战?传统和遗留的数据仓库和商业智能系统复杂、昂贵且部署耗时。Hadoop带来了一种新的存储和分析数据的方式——因为它在低成本的通用硬件上线性可扩展,它消除了数据分析方程中的存储和计算限制。

与在传统的ETL、数据仓库和BI架构中预先优化数据不同,Hadoop存储了所有原始数据,而Datameer则根据需求应用所有转换和分析。他们也是一个为商业用户构建的自助服务解决方案。商业用户是主题专家,应该是直接与数据打交道的人。他们不应该每次想要提出新问题时都去找IT。

最后,他们是一个集成了数据集成、分析和可视化的全能工具。在传统的商业智能中,通常涉及三个不同的工具和三个不同的团队。有了这些功能,市场上没有其他工具可以让在如此短的时间内从原始数据中获得洞察。最大的挑战是组织需要进行文化转变,才能真正成为数据驱动的。IT传统上一直是信息的守门人,他们一直将数据和数据洞察力紧紧地抱在胸前。然而,为了让企业真正从大数据中获益,他们必须民主化数据的访问。

真正需要访问数据的人是那些与数据打交道最多的人——医生、科学家、商业分析师等。它需要少一些保护旧做事方式,仅仅因为那一直是这样做的,而更多地采用新的数据管理流程。随着任何新技术的出现,学习曲线随之而来。几十年来,企业一直在使用传统的和遗留的BI技术,现在有机会转变流程并利用Hadoop的能力,以前所未有的速度获得新的洞察力。

沪ICP备2024098111号-1
上海秋旦网络科技中心:上海市奉贤区金大公路8218号1幢 联系电话:17898875485