当前位置:主页 > 查看内容

【2021微信大数据挑战赛】TI-ONE 平台环境安装指引

发布时间:2021-07-12 00:00| 位朋友查看

简介:1. 查看环境 平台已经提供了一些conda环境,可以用如下命令进行查看: conda env list 结果如下: # conda environments:#base /opt/condaJupyterSystemEnv * /opt/conda/envs/JupyterSystemEnvmxnet_py2 /opt/conda/envs/mxnet_py2mxnet_py3 /opt/conda/env……

1. 查看环境

平台已经提供了一些conda环境,可以用如下命令进行查看:

conda env list

结果如下:

# conda environments:
#
base                     /opt/conda
JupyterSystemEnv      * /opt/conda/envs/JupyterSystemEnv
mxnet_py2                /opt/conda/envs/mxnet_py2
mxnet_py3                /opt/conda/envs/mxnet_py3
python2                  /opt/conda/envs/python2
python3                  /opt/conda/envs/python3
pytorch_py2              /opt/conda/envs/pytorch_py2
pytorch_py3              /opt/conda/envs/pytorch_py3
tensorflow2_py3          /opt/conda/envs/tensorflow2_py3
tensorflow_py2           /opt/conda/envs/tensorflow_py2
tensorflow_py3           /opt/conda/envs/tensorflow_py3

如果已有环境能够满足所需的环境依赖,则不用进行环境安装。直接激活已有的环境(E.g. source activate tensorflow_py3)或者打开某个环境的Jupyter Notebook即可,可以跳过后面的操作指引。

如果已有的conda环境无法满足需求,则需要创建一个新的conda环境。注意不要在平台提供的conda环境上进行安装,因为其位于/opt/conda/envs目录下,当Notebook实例重启时环境会丢失。具体操作步骤如下:

2. 创建环境

2.1安装路径

建议将环境依赖安装于/home/tione/notebook/envs目录下,官方提供的demo环境目录为: /home/tione/notebook/envs/wbdc2021_demo,选手可以自定义conda环境名,对应init.sh脚本中的CONDA_NEW_ENV变量。

2.2创建conda环境

使用conda create命令来创建所需的conda环境。需要注意的是,只能使用--prefix模式指定安装路径来创建,而不能用--name的方式创建。因为后者创建的环境会默认保存在/opt/conda/envs目录下,当Notebook实例重启时环境会丢失。

创建conda环境时,可自行指定python版本和依赖库,例如:

conda create --prefix /home/tione/notebook/envs/wbdc2021_demo -y python=3.6 ipykernel 

也可以基于已有的conda环境进行创建,例如:

conda create --prefix /home/tione/notebook/envs/wbdc2021_demo -y --clone tensorflow_py3

使用conda env list命令检查是否安装成功,预期结果如下:

# conda environments:
#
                         /home/tione/notebook/envs/wbdc2021_demo
base                     /opt/conda
JupyterSystemEnv      *  /opt/conda/envs/JupyterSystemEnv
mxnet_py2                /opt/conda/envs/mxnet_py2
mxnet_py3                /opt/conda/envs/mxnet_py3
python2                  /opt/conda/envs/python2
python3                  /opt/conda/envs/python3
pytorch_py2              /opt/conda/envs/pytorch_py2
pytorch_py3              /opt/conda/envs/pytorch_py3
tensorflow2_py3          /opt/conda/envs/tensorflow2_py3
tensorflow_py2           /opt/conda/envs/tensorflow_py2
tensorflow_py3           /opt/conda/envs/tensorflow_py3

可以看到,结果中多了一个/home/tione/notebook/envs/wbdc2021_demo 环境。这个就是我们刚新建的conda环境。此时,打开Launcher也可以看到该环境的jupyter notebook,如下所示:

2.3激活环境

使用source activate激活新建的conda环境,例如:

source activate /home/tione/notebook/envs/wbdc2021_demo

2.4安装依赖

可以在激活后的环境下安装依赖库:

pip install -r requirements.txt

安装完后请检查依赖库是否成功安装到新建的conda环境下。

2.5重启修复

每次实例停止后再启动(需要等待一定时间),之前创建的conda环境配置都需要重新加上。实例启动成功后,打开实例,运行如下命令,将之前创建的环境加到conda配置中。

conda config --add envs_dirs /home/tione/notebook/envs

最后,使用conda env list命令检查是否安装成功。

3. 运行init.sh

为了方便选手快速进行环境安装和配置,官方将以上步骤整合为一个demo脚本(init.sh)给选手参考。选手可以根据需要修改init.sh和requirements.txt文件。下面介绍该脚本运行的方法:

3.1初次安装

实例不删除,则只需执行一次。执行命令如下:

cd /home/tione/notebook/wbdc2021
./init.sh install
source activate /home/tione/notebook/envs/wbdc2021_demo

如果没有init.sh的可执行权限,可以运行:

chmod a+x ./init.sh

3.2重启实例

每次重启实例都需执行。

cd /home/tione/notebook/wbdc2021
./init.sh fix
source activate /home/tione/notebook/envs/wbdc2021_demo

本站部分内容转载于网络,版权归原作者所有,转载之目的在于传播更多优秀技术内容,如有侵权请联系QQ/微信:153890879删除,谢谢!

推荐图文

  • 周排行
  • 月排行
  • 总排行

随机推荐