随着数据工程师职位的日益流行，越来越多的人开始关注这一领域。然而，成为一名优秀的数据工程师并非一蹴而就，而是一个持续的学习和成长过程。本文将探讨数据工程师在学习路径上常犯的错误，并提供相应的建议，以帮助避免这些陷阱。
数据工程师的第一个常见错误是未能打好数据基础。数据工程师需要具备良好的编码/脚本编写能力和SQL技能。如果数据工程师不能处理简单的程序，直接编写复杂的数据管道，那么代码肯定会变得混乱不堪。此外，数据工程师还应该对数据库和关系数据库管理系统的基础知识有足够的了解。如果不理解主键和代理键之间的区别，即使是定义简单的数据模型也会出现问题。
数据工程师的第二个常见错误是过度深入学习过时的技术，例如过多地学习MapReduce或Kimball/Inmon的数据仓库概念，或者一些不再被行业广泛使用的DWBI（数据仓库业务智能）工具。时间是宝贵的，学习者不能错过学习的重点。最好查看职位描述，挑选最常见的技能，如Spark、Kafka、NoSQL、Flink等，而不是花费时间和精力在过时的工具和技术上。但是，学习如何在NoSQL和数据湖系统上创建数据模型是必要的。
同意有很多主题需要学习，比如Spark或Hive，还有Kafka、NoSQL数据库如Hbase或MongoDB。在流分析方面，有Spark Streaming或Flink。在云平台方面，有AWS、Azure和GCP。那么，是否必须精通所有这些工具和技术呢？绝对不是。
需要精通这些数据处理工具的基本概念，例如Spark的内部工作原理、Kafka的发布-订阅机制，以及NoSQL与SQL的不同之处，以及何时使用哪一个。最好选择其中一个选项，而不是关注所有内容。个人建议是只学习一种编程语言：Scala/Python，Kafka，Spark，MongoDB/Hbase，最后是AWS用于云平台。有时，当没有选择时，最好使用当前项目中使用的工具。
这一点至关重要。每个人都只是通过阅读文档和观看视频来完成理论学习，但没有人真正去做实际编写端到端管道的艰苦工作。这不仅会导致在实际项目中遇到意外和障碍，而且在面试官开始深入询问项目实操部分时，也会显示出知识的浅薄。
建议从公共数据集和实时API（例如Twitter等）开始。将数据集导入到HDFS和Kafka等存储中。使用Spark SQL/DS和流处理（对于实时API数据）来处理它。最后，使用Tableau等工具将洞察结果以可视化形式呈现，这将是锦上添花。