当前位置:主页 > 查看内容

导入数据 - 弹性高性能计算E-HPC

发布时间:2021-09-18 00:00| 位朋友查看

简介:上传数据 用户作业数据及执行文件主要通过对象存储OSS导入E-HPC集群。 若您尚未创建OSS或不了解OSS,请参考 OSS主页 和 开通OSS 。请尽可能选择与E-HPC集群Region 相同 的区域开通。 开通OSS后还需创建bucket,请参考 创建存储空间 ,并详细了解 访问域名及……

上传数据

用户作业数据及执行文件主要通过对象存储OSS导入E-HPC集群。

用户首先把作业相关文件上传到OSS Bucket中,请参考OSS上传文件

导入文件

登录后即可通过HTTP访问VPC网络Endpoint导入作业文件。

这里假定用户的作业脚本为test.py,作业数据为test.data;E-HPC集群和OSS都创建在华东1区域;存放作业文件的OSS Bucket名为e-hpc-quickstart,test.py和test.data放在该bucket根目录下。

  1. cd /ehpcdata
  2. wget http://e-hpc-quickstart.vpc100-oss-cn-hangzhou.aliyuncs.com/test.py
  3. wget http://e-hpc-quickstart.vpc100-oss-cn-hangzhou.aliyuncs.com/test.data

若当前系统镜像没有安装wget可以通过软件源安装(如’yum install wget’)。或改用curl

  1. curl -O http://e-hpc-quickstart.vpc100-oss-cn-hangzhou.aliyuncs.com/test.py
  2. curl -O http://e-hpc-quickstart.vpc100-oss-cn-hangzhou.aliyuncs.com/test.data

私有Bucket文件访问临时链接

若Bucket设置为私有访问,则可通过OSS控制台界面点选所需文件,获取临时含签名的URL(带有临时OSSAccessKeyId等参数的访问链接)进行导入,如:

OSS_Signature

自定义签名有效时间后,单击复制文件URL即可获取外部可临时访问的URL。


本站部分内容转载于网络,版权归原作者所有,转载之目的在于传播更多优秀技术内容,如有侵权请联系QQ/微信:153890879删除,谢谢!

推荐图文


随机推荐