老E的博客

  • 首页
  • 关于
  • 技术应用
    • VPS相关
    • AI相关
    • 盒子相关
    • 其他
  • 订阅Youtube频道
  • 网络加速
    • expressvpnNo.1 ExpressVPN
    • 最佳免费VPN-PrivadoVPN
    • NordVPN
    • 廉价王者-Surfshark
    • PrivateInternetAccess
    • 解锁一切-PrivateVPN
  • 公益资源
    • AI导航
    • 工具下载
    • Docker镜像加速
  • 友情链接
    • tickcloudTickcloud
老E的博客
专注记录并分享跨境技术应用及随想
  1. 首页
  2. 技术应用
  3. AI相关
  4. 正文

使用Google colab与Whisper进行字幕自动化抓取与翻译(一)

2023年7月26日 1853次阅读 0条评论
clawcloud
expressvpn best vpn
privado vpn
surfshark vpn
private vpn
pia vpn
nord vpn

初次使用Colab,最大的困难来自于对整个平台的陌生感、无从下手,在了解一些与Colab相关的基础概念、熟悉整个上手使用过程的前提下,会发现Google Colab还是很易用的。

1.什么是 Google Colab?

Colab全称Colaboratory(合作实验室),可以概括描述如下:

  • 一个Google研究项目,旨在帮助传播机器学习培训和研究成果。它是一个Jupyter笔记本环境,不需要进行任何设置就可以使用,并且完全在云端运行。
  • Jupyter笔记本存储在Google云端硬盘中,并且可以共享,就如同使用Google文档或表格一样。
  • 可免费使用。
  • 可以方便的使用Keras、TensorFlow、PyTorch、OpenCV等框架进行深度学习应用的开发。

总而言之,GPU是深度学习开发的重要硬件需要,而 Google Colab相当于给我们提供了一个功能强大,使用方便,最重要是免费的GPU资源!截止本文发布日,免费账户大概率应该可分配到一块Tesla T4显卡。

Google Colab分为免费版和pro/pro+版,免费版一次只可以使用一块GPU,且有12小时连接空闲/时长限制,达到12小时运行时强制重置,实际使用中2小时左右就有可能失“连”。pro/pro+版需付费,可以使用多块GPU且没有时长限制,并且自动就是google one在drive容量上有所扩展。

2.如何使用Colab

首先,需要具有Google账户,其他“众所周知”的要求不做描述。可以在以下「google colab官网」深入了解、学习colab。

https://colab.research.google.com/notebooks/welcome.ipynb

2.1 Colab安装加载

Colab并未随附Google账户作为默认组件,需要安装加载。打开Google搜索或其他任意google应用,点击右上角的图标展开,选择并打开Google drive。免费账户Google drive默认每账户15G存储空间,不限速。至于Drive和Colab两者的关系,可以粗浅地理解为Drive是存放数据的,而Colab试运行代码的,Colab中是可以访问Drive并读写数据的。

第一次打开google drive的话,会有几页功能、技巧提示页,关闭或跳过均可。

在Google drive页面,需要添加Colab。点选左上角的“+新建”,在打开的菜单中鼠标移动到“更多”,二级菜单中点击选择“+关联更多应用”以打开应用安装页面。

在搜索栏输入“colab”,找到Colaboratory。

点击“Colaboratory”卡片,即可开始安装Colaboratory。

安装过程中,需要选择账户授权,一般默认使用当前登录的账户即可。最后在提示页确认完成安装,关闭添加关联页面。

2.2 Colab使用

安装加载Colab后,再次打开“+新建”菜单,二级菜单就会显示“Google Colaboratory”。

在二级菜单点选“Google Colaboratory”后,系统会自动创建名为“Untitled.ipynb”笔记本文件并打开内嵌的Jupyter控制台页面,下图为左上角截取部分。代码的编辑、运行以及服务资源(主要是GPU)的连接都在控制台操作。

同时,也可以看到Google Drive新建的名为“Untitled.ipynb”笔记本文件。

2.3 GPU选择与验证

默认情况下,Google Colab并未为用户分配GPU,需要手动改变运行时环境。打开“代码执行程序”菜单,选择“更改运行时类型”。

在打开的“笔记本设置”选项页,由“None”切换为“GPU”,一般会自动增加一行列表显示“T4”,列表中“A100”和“P100”免费账户不可选。

点击右上角的“连接”以连接资源后,输入“!nvidia-smi”并运行后,可以查看系统分配的掀开信息,Tesla T4、15G显存等。

3.安装自带库

Colab 自带了 Tensorflow、Matplotlib、Numpy、Pandas 等深度学习基础库。可根据需要自行安装。

# 安装最新版本Keras
# https://keras.io/
!pip install keras
# 安装 OpenCV
# https://opencv.org/
!apt-get -qq install -y libsm6 libxext6 && pip install -q -U opencv-python
# 安装 Pytorch
# http://pytorch.org/
!pip install -q http://download.pytorch.org/whl/cu75/torch-0.2.0.post3-cp27-cp27mu-manylinux1_x86_64.whl torchvision
# 安装 XGBoost
# https://github.com/dmlc/xgboost
!pip install -q xgboost
# 安装 GraphViz 和 PyDot
!apt-get -qq install -y graphviz && pip install -q pydot

需要特别提示的是,在使用过程中,连续连接、计算2小时左右(有时会更短)就有可能出现失”连“,运行时会被强制重置,而短时间(单位为小时)内无法再使用Colab进行计算,连续多次出现此类问题GPU可能会降配为K80。因此,需要合理安排、规划Colab的运行时计算资源应用。

本作品采用 知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议 进行许可
标签: aigc colab 生成式AI
最后更新:2024年6月2日

webmaster

这个人很懒,什么都没留下

点赞
< 上一篇
下一篇 >

文章评论

razz evil exclaim smile redface biggrin eek confused idea lol mad twisted rolleyes wink cool arrow neutral cry mrgreen drooling persevering
取消回复

站内搜索
归档
  • 2025 年 5 月
  • 2025 年 4 月
  • 2025 年 3 月
  • 2025 年 2 月
  • 2025 年 1 月
  • 2024 年 12 月
  • 2024 年 11 月
  • 2024 年 10 月
  • 2024 年 9 月
  • 2024 年 8 月
  • 2024 年 7 月
  • 2024 年 6 月
  • 2024 年 5 月
  • 2024 年 4 月
  • 2024 年 3 月
  • 2024 年 2 月
  • 2024 年 1 月
  • 2023 年 12 月
  • 2023 年 11 月
  • 2023 年 10 月
  • 2023 年 9 月
  • 2023 年 8 月
  • 2023 年 7 月
  • 2023 年 6 月

Copyright ©2023-2025 Appscross. All Rights Reserved.