软件工程是一个系统化、规范化的可计算方法，用于开发、运行和维护软件。简而言之，软件工程是分析用户需求，然后设计、构建和测试软件应用程序以满足这些需求的过程。在软件工程领域，这个过程主要分为五个任务：沟通、规划、建模、构建和部署。这些任务可能存在重叠，但它们构成了软件开发的基本框架。
沟通任务主要是与客户沟通以了解他们的需求。在数据科学项目中，这些需求可能来自客户、导师等。挑战在于理解业务问题，而最有效的解决方案是与导师或导师进行交流，记录所有需求，并就问题提出疑问。如果独自进行项目且没有导师，可以与朋友交流并征求他们的意见，或者向家人解释问题，以获得第三方的视角。
规划任务涉及规划数据科学项目，例如需要多少时间来完成它，需要什么数据集（如果没有的话），或者将使用监督学习、无监督学习还是强化学习等。挑战主要是与上述问题相关的时间需求和数据集需求。解决方案是制定时间线图表，决定在数据预处理、模型评估等方面将花费多少时间。对于数据集问题，现在数据可以自由获取，可以在Kaggle或Google上找到它，但记得选择正确的数据集，因为有很多。如果找不到，那么建议学习网络爬虫或向知道网络爬虫的朋友寻求帮助。
建模任务涉及数据准备和从使用的数据中获得洞察，简而言之，数据预处理和探索性数据分析（EDA）属于这一步。挑战和解决方案？可能只有两个挑战——适当的数据处理和EDA。对于数据处理，进行彻底的预处理，因为数据越干净，模型就越好。至于EDA，认为没有太多挑战。但就所见，进行更深入的EDA会导致更好的数据科学项目。建议使用Excel、Tableau或Power Bi进行基本和快速的EDA，以了解数据中的一些趋势，并在Python和R中进行更深入的分析。