初次使用Colab,最大的困难来自于对整个平台的陌生感、无从下手,在了解一些与Colab相关的基础概念、熟悉整个上手使用过程的前提下,会发现Google Colab还是很易用的。
1.什么是 Google Colab?
Colab全称Colaboratory(合作实验室),可以概括描述如下:
- 一个Google研究项目,旨在帮助传播机器学习培训和研究成果。它是一个Jupyter笔记本环境,不需要进行任何设置就可以使用,并且完全在云端运行。
- Jupyter笔记本存储在Google云端硬盘中,并且可以共享,就如同使用Google文档或表格一样。
- 可免费使用。
- 可以方便的使用Keras、TensorFlow、PyTorch、OpenCV等框架进行深度学习应用的开发。
总而言之,GPU是深度学习开发的重要硬件需要,而 Google Colab相当于给我们提供了一个功能强大,使用方便,最重要是免费的GPU资源!截止本文发布日,免费账户大概率应该可分配到一块Tesla T4显卡。
Google Colab分为免费版和pro/pro+版,免费版一次只可以使用一块GPU,且有12小时连接空闲/时长限制,达到12小时运行时强制重置,实际使用中2小时左右就有可能失“连”。pro/pro+版需付费,可以使用多块GPU且没有时长限制,并且自动就是google one在drive容量上有所扩展。
2.如何使用Colab
首先,需要具有Google账户,其他“众所周知”的要求不做描述。可以在以下「google colab官网」深入了解、学习colab。
https://colab.research.google.com/notebooks/welcome.ipynb
2.1 Colab安装加载
Colab并未随附Google账户作为默认组件,需要安装加载。打开Google搜索或其他任意google应用,点击右上角的图标展开,选择并打开Google drive。免费账户Google drive默认每账户15G存储空间,不限速。至于Drive和Colab两者的关系,可以粗浅地理解为Drive是存放数据的,而Colab试运行代码的,Colab中是可以访问Drive并读写数据的。
第一次打开google drive的话,会有几页功能、技巧提示页,关闭或跳过均可。
在Google drive页面,需要添加Colab。点选左上角的“+新建”,在打开的菜单中鼠标移动到“更多”,二级菜单中点击选择“+关联更多应用”以打开应用安装页面。
在搜索栏输入“colab”,找到Colaboratory。
点击“Colaboratory”卡片,即可开始安装Colaboratory。
安装过程中,需要选择账户授权,一般默认使用当前登录的账户即可。最后在提示页确认完成安装,关闭添加关联页面。
2.2 Colab使用
安装加载Colab后,再次打开“+新建”菜单,二级菜单就会显示“Google Colaboratory”。
在二级菜单点选“Google Colaboratory”后,系统会自动创建名为“Untitled.ipynb”笔记本文件并打开内嵌的Jupyter控制台页面,下图为左上角截取部分。代码的编辑、运行以及服务资源(主要是GPU)的连接都在控制台操作。
同时,也可以看到Google Drive新建的名为“Untitled.ipynb”笔记本文件。
2.3 GPU选择与验证
默认情况下,Google Colab并未为用户分配GPU,需要手动改变运行时环境。打开“代码执行程序”菜单,选择“更改运行时类型”。
在打开的“笔记本设置”选项页,由“None”切换为“GPU”,一般会自动增加一行列表显示“T4”,列表中“A100”和“P100”免费账户不可选。
点击右上角的“连接”以连接资源后,输入“!nvidia-smi”并运行后,可以查看系统分配的掀开信息,Tesla T4、15G显存等。
3.安装自带库
Colab 自带了 Tensorflow、Matplotlib、Numpy、Pandas 等深度学习基础库。可根据需要自行安装。
# 安装最新版本Keras # https://keras.io/ !pip install keras # 安装 OpenCV # https://opencv.org/ !apt-get -qq install -y libsm6 libxext6 && pip install -q -U opencv-python # 安装 Pytorch # http://pytorch.org/ !pip install -q http://download.pytorch.org/whl/cu75/torch-0.2.0.post3-cp27-cp27mu-manylinux1_x86_64.whl torchvision # 安装 XGBoost # https://github.com/dmlc/xgboost !pip install -q xgboost # 安装 GraphViz 和 PyDot !apt-get -qq install -y graphviz && pip install -q pydot
需要特别提示的是,在使用过程中,连续连接、计算2小时左右(有时会更短)就有可能出现失”连“,运行时会被强制重置,而短时间(单位为小时)内无法再使用Colab进行计算,连续多次出现此类问题GPU可能会降配为K80。因此,需要合理安排、规划Colab的运行时计算资源应用。
文章评论