在处理数万亿图像数据点以提取洞察时,如果存储或处理能力不足,会选择停止还是获取一个具备存储和计算能力的系统?如果选择后者,那么云计算是一个解决方案,而AWS(亚马逊网络服务)因其众多特性成为最佳选择:
基于云的服务——无需从这里提供硬件。
可访问性——可以从全球任何地方访问。
无需维护——不需要担心自己拥有的机器(存储和计算能力)。
高安全性——数据、项目、产品和系统都处于安全可信的手中。
可变性——可以使用多个系统。
价格友好——虽然一切都有成本,但与购买本地系统相比,成本最小。这要归功于AWS的定价策略。
因此,即使在使用某些声称的机器时,也不需要担心安全性、计算、存储和管理设备。还可以访问它。在今天的文章中,将讨论如何在AWS上为下一个Jupyter实例设置重型数据工作负载,并稍后探讨如何智能使用AWS,并以一些使用AWS时的注意事项结束。总的来说,这将是一个充满实践和乐趣的旅程。那么,让继续更实际的一面,这是任何热情的数据科学爱好者都想要的!
实例是由AWS提供的虚拟机,每个都有一些用户定义的——类型、操作系统、存储、网络和安全。现在,让实际看看每个部分如何组合在一起!
重要提示:访问AWS登录页面并登录到账户;点击注册,填写所需详细信息,并验证以获得一个带有免费层资格的新配置文件。
1. 登录到账户,在控制台搜索栏中输入EC2并点击它(弹性云服务)。
2. 一旦进入实例窗口,选择启动实例。
# 在新窗口中填写所有必需的详细信息如下:
名称和标签 - 给机器命名。
操作系统映像和架构 - 选择操作系统和CPU架构 - 确保它在免费层中。
实例类型 - 使用t2.micro - 每个月720小时的免费使用,为期1年。
密钥对 - 添加一个关键名称以创建一个私钥并下载它。
网络设置 - 添加自定义TCP端口作为8.8.8.8和来源->
任何地方,通过编辑。
存储 - 选择高达30 Gb的免费层。 - 保持默认。
实例数量 - 设置为1 / 根据需要。
最后,启动实例。
3. 一旦启动完成,转到下一页查看所有实例,然后检查状态,如果它说检查通过2/2:
结果:
5. 最后,导航到下载关键的文件夹并打开终端。选择实例类型,点击连接并转到SSH客户端在上面。现在复制机场中的代码并按回车。
ssh -i "ubuntu_instance1.pem" [email protected]
# 这里“ubuntu_instance1.pem”是下载的密钥。对于mac,它是一个cer文件。
所以恭喜,现在有机器了。让在下一节中设置笔记本。
注意 - 改变了实例(参考命令行😅),因为旧的有一些问题,但所有过程保持不变。
本节涵盖安装jupyter-notebook,但相同的过程可以遵循以添加任何可能需要的工作依赖。
# 首先,更新环境包 - 安全检查:
sudo apt update
sudo apt-get update
# 一旦一切都整理好了,添加以下命令使用apt安装包:
sudo apt install jupyter-notebook
# 现在通过调用打开笔记本:
jupyter notebook -ip 0.0.0.0 --no-browser
现在来到了最重要的部分 - 复制给定的URL并替换为:
http://127.0.0.1:8888/?token=a3e3b3aef98cfbb6159efd4a31a090d971a9611c5380952f
到
http://[Publicic IPv4 Address]:8888/?token=a3e3b3aef98cfbb6159efd4a31a090d971a9611c5380952f
在这种情况下 - 15.206.195.91。可以通过选择实例 -> 详细信息 -> 公共IPV4地址找到它。
输出
Congo,已经成功在AWS上启动了一个jupyter笔记本,而且这么简单!
如果想用相同的设置复制工作,需要创建新实例,这可能是一个繁琐且容易出错的任务。所以让在这里更智能,使用AMI - 亚马逊机器映像。
AMI只是机器的副本,具有相同的操作系统、存储、内存、进程、网络和安全配置。虽然也允许根据方便更改它们。
以下是如何创建AMI的方法:
# 1. 转到EC2实例页面并选择
Actions ->
Image & templates ->
Create image
# 2. 输入:
Image Name
- 图像名称,个人选择。
Description
- 关于图像 -> 可以包括实例副本的详细信息。
No Reboot
- 启用以节省启动时间,因为亚马逊在关闭后不会删除实例文件。
Add volume – 如果需要,添加额外的存储。
Tags – 仅供参考(可选)。
3. 现在,最后点击创建图像按钮,就完成了:
图像
一旦完成,可以选择AMI从启动实例 -> AMI部分,并从设置和启动实例部分继续:
参考图像:
尽管只是触及了AWS的表面,但使用讨论的方法,可以大大提高生产力。以下是所涵盖内容的简要总结:
介绍:了解了AWS,它对用例的好处,以及影响它的因素。
启动实例:在这里,学会了如何轻松配置自己的机器,并在一两分钟内找到它们。还学会了如何使用自己的本地机器进行SSH以及它的要求。
添加依赖项:这里的重要核心部分是如何在Linux上更新和安装包。
AMI:本节涵盖了一种更有创意的方式来创建具有相同配置的多个实例。
至于最后一部分 - 学会了在不需要时永久关闭实例。否则,可能会收到高额账单。