科探空谷
  • Home
  • zhimind home
  • Categories
  • Tags
  • Archives
  • 留学
    • 学校库
    • 专业库
    • 研究方向与招生
    • 工具
    • GPA计算器
    • 脑洞背单词
    • 脱口而出

机器学习练习环境配置

目录

  • 数据科学工具箱
    • 下载安装步骤
    • 网盘下载
    • 安装工具包
  • spark工具包
  • vagrant 简要使用
  • 一些问题
  • notebook使用
  • 深度学习环境的配置
    • 方案一 vagrant
    • 方案二 docker 直接
    • 方案三 使用daocloud加速器
    • 方案四 使用daocloud在线环境
    • 方案五 使用cloud9在线环境
    • 方案六 大学镜像
    • 执行
目录

为了节省环境配置工作, 可以使用网上配置好的虚拟机——个人使用足够。

数据科学工具箱¶

链接见: 数据科学工具箱

下载安装步骤¶

  1. 下载安装vbox 链接地址
  2. 下载安装vagrant 链接地址
  3. 下载和启动数据科学工具箱,使用的是命令行方式
  4. 登录,在Vagrantfile所在路径,输入: vagrant ssh
    如果是windows用户, 网站推荐使用putty,但我推荐 mysy-git 给右键菜单添加git bash。
  5. 设置ipython notebook环境,补充说明:
    在运行dst setup base,自定一个密码后,要exit,才能继续执行vagrant load(vagrant 命令是在windows下的,而vagrant ssh意味着已经连入虚拟机内),不过先完成后续步骤,再exit和reload
  6. 安装额外工具包,如果采用下方网盘中的box(太老旧了),起码需要sudo pip install -U pip ipython jupyter notebook

网盘下载¶

由于网络原因,若网站上的命令下载过慢,可使用我已经下载好的文件 链接 密码: 6jei ,使用方法:

  1. vagrant init data-science-toolbox/dst // 这一步和网站上所写一致, 应该是生成Vagrantfile
  2. 打开 Vagrantfile 文件,查看 config.vm.box = // 即找到对应box名字, 我这里的是 datascience
  3. vagrant.exe box add ./data-science-tool.box --name datascience //即vagrant box添加一个名字叫datascience的box, 对应路径是你下载文件所在路径
  4. 在Vagrantfile中找 config.vm.network "forwarded_port", guest: 8888, host: 8888, 没有则添加这一行

安装工具包¶

这块有点复杂, 主要是网络状况影响(没办法), 需要自行研究各路软件的更新方式。

比如我现在的网络访问 pypi就很不方便,需要设置pip 的访问路径, 参考pip配置 建议使用豆瓣源

然而好像还是有问题

spark工具包¶

同理,可使用edx课程的spark.box spark.box 密码: cjpm, 带一个现成的vagrantfile,只需要box add, 即可使用。虚拟机里若缺什么工具包,请用vagrant ssh 登录安装。

vagrant 简要使用¶

  1. vagrant up,启动虚拟机,之前设置好的话, 可以用浏览器访问 localhost:指定端口 访问 ipython notebook, 也是主要的练习方式。不过 ipython notebook是否自动启动,我也不太清楚
  2. vagrant ssh,登录虚拟机,如果要安装什么新软件的话
  3. vagrant halt, 有up就要有down
  4. vagrant -h, 帮助。

一些问题¶

data-science-toolbox升级ipython 到 jupyter后,外部访问会有问题, 网站的命令不管用了,要使用

jupyter notebook --no-browser --ip=0.0.0.0

最好是在 Vagrantfile 里添加

  config.vm.provision "shell", run: "always", inline: <<-SHELL
    jupyter notebook --notebook-dir=/vagrant/notebook --no-browser --ip=0.0.0.0 &
  SHELL

这样应该能在vagrant up时,自动运行 jupyter notebook了

notebook使用¶

打开浏览器后, 会有上传功能, ipynb和其他文件都可以在这里上传

配置部分大概这么些

另外有个网站 实验楼 也不错,可以推荐

深度学习环境的配置¶

方案一 vagrant¶

github

不熟悉github,可以点页面中绿色按钮clone or download , 选download zip。 下载解压, 然后和上面一样,vagrant up 或先下载box(链接 密码: sfde)后 vagrant box add

但网络不通, 最起码我下不来, 设置了代理也成

方案二 docker 直接¶

github

同上, 下不来。

方案三 使用daocloud加速器¶

指南

  1. 注册daocloud帐号 http://www.daocloud.io/
  2. 登陆后取得专属加速器地址,类似这样http://xxxxxx.m.daocloud.io, 在控制台(个人首页)商标daocloud 那一排有个加速器,然后找——你的操作系统
  3. 安装docker windows(其他系统差不多,还简单一点,只有网络问题)
  4. 创建新的docker,可以是执行桌面上的Docker Quickstart Terminal,也可以是命令行docker-machine create -d virtualbox mydocker // mydocker可以是任意名字
  5. 环境设置docker-machine.exe env daocloud, 成功会提示你Run this command to configure your shell,运行下面那行命令
  6. 配置 Docker 加速器,参照链接。
  7. 下载docker镜像, docker search udacity 或 docker search tensorflow
    注意,下载之前可能要先 docker-machine ssh 名字,不然好像也是连不上。
  8. docker pull kyoungrok0517/tensorflow-udacity(感觉这个比较好)

方案四 使用daocloud在线环境¶

博客

没试过

方案五 使用cloud9在线环境¶

指南

也没试过

方案六 大学镜像¶

指南

但步骤不是很明确,操作不太明白。

执行¶

windows: winpty docker run -p 8888:8888 --name 名字 -it kyoungrok0517/tensorflow-udacity


Published

10月 20, 2016

Last Updated

10月 20, 2016

Category

机器学习

Tags

  • CS 22
  • 机器学习 14
  • 人工智能 28

Stay in Touch

  • Powered by Pelican. Theme: Elegant by Talha Mansoor