前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >使用Edge turbo下载CNCB数据

使用Edge turbo下载CNCB数据

作者头像
生信技能树
发布2023-02-27 21:40:02
1.9K0
发布2023-02-27 21:40:02
举报
文章被收录于专栏:生信技能树生信技能树

CNCB(China National Center for Bioinformation,国家生物信息中心),对标的NCBI,对国内研究者来说,数据上传跟下载方便的多,现在国内越来越多的数据都上传到该数据库。

该数据库有自主开发的下载软件Edge turbo客户端主要包含两部分:linux 命令行工具和 edgeturbo service。命令行工具为用户提供了简洁的命令行语法,用户可以快速上手以体验传输服务。edgeturbo service 是传输核心组件,它提供了具体的传输能力,用户不需要关

如果需要官方的说明文档可以在公众号留言,我会及时发给大家。

系统要求

Linux 内核版本 :3.10.0 及以上,推荐使用 4.15 以上的版本;

操作系统版本 :CentOS7.2 及以上、Ubuntu 14 及以上,以及其它满足上述内核版本要求的主流 linux 操作系统版本;

硬件:64 位 CPU、2G 以上内存,推荐 4G 以上内存

网络:有外网访问权限,防火墙对 UDP 报文无限制

下载

在linux终端上输入以下命令进行下载软件

代码语言:javascript
复制
wget https://ngdc.cncb.ac.cn/ettrans/download/edgeturbo-client.linux.latest.cncb.tar.gz

解压

代码语言:javascript
复制
tar -zxvf edgeturbo-client.linux.latest.cncb.tar.gz

建议在自己的家目录下进行解压,解压后会在当前目录下增 加 edgeturbo- client 目录,此目录中包括以下内容:

代码语言:javascript
复制
edgeturbo
/lib
/script
serv_edgeturbo

将软件路径添加到.bashrc里面 作为环境变量

为方便运行命令行工具,建议用户在环境变量中配置命令行工具的运行路径。以 bash 为例,在.bashrc 文件中添加如下配置:

代码语言:javascript
复制
vi ~/.bashrc
# 按英文i 将下面命令行鼠标右键复制进文件中
export PATH="$HOME/edgeturbo-client:$PATH"
#保存退出 按esc  输入:wq进行保存退出

保存退出以后运行(如果你不擅长Linux操作,不会使用上面的vi命令,也可以全路径使用这个软件,不添加环境变量哈)

代码语言:javascript
复制
source ~/.bashrc

运行

如果已经配置了PATH变量可以直接输入以下命令

代码语言:javascript
复制
edgeturbo start

功能介绍

  • 启动客户端 edgeturbo start
  • 重新启动客户端edgeturbo restart
  • 停止客户端edgeturbo stop
  • 下载
    • 以下载/gsa/CRA007099/CRR511439/CRR511439_f1.fq.gz 文件为例:
代码语言:javascript
复制
edgeturbo download /gsa/CRA007099/CRR511439/CRR511439_f1.fq.gz
代码语言:javascript
复制
edgeturbo dl /gsa/CRA007099/CRR511439/CRR511439_f1.fq.gz
  • 下载的数据会保存在家目录下download目录下
  • PS: 我在自己的服务器测试了一下, 貌似速度也一般般哦。大家也可以复制粘贴上面的命令去试试看:
  • 如果想要更换下载目录可以使用这个命令。
  • [Llocal_path]参数用于指定本地的下载目录,如果不指定,则使用当前配置的下载目录。以下载到本地的/home/data 为例:
代码语言:javascript
复制
edgeturbo dl /gsa/CRA007099/CRR511439/CRR511439_f1.fq.gz L/home/data
  • 文件下载后,将自动进入下面的页面(这个是小编的服务器)

image.png

  • 查看界面主要展示了客户端的资源占用情 况以 及传 输任务的相关信 息(目前最多只展示最新的 20 条记录),此界面将保持每秒刷新一次,用户可以随时按下CTRL+C 退出此界面。
    • 注 1:如果客户端还未启动,此命令将自动启动客户端;
    • 注 2:支持同时下载多个文件或目录,每条文件路径之间以空格隔开;
  • 查看界面还支持以下快捷键操作:
    1. 删除任务-----按 d 或者 D 键
    2. 暂停任务-----按 p 或者 P 键
    3. 任务续传-----按 r 或者 R 键
  • 以删除任务为例,在查看界面上按下 d 键后,将进入命令模式(此时查看界面上的信息不再刷新),用户可以输入需要操作的任务编号:
    • 用户输入任务编号后按回车键即可执行操作。
  • 删除传输任务 edgeturbo rm 0aee040d943e
  • 或者删除所有任务edgeturbo rm
    • 注 1: 任务 ID 可以从查看界面上 TASK ID 一列获取;
    • 注 2: 支持同时删除多条任务,任务 ID 之间以空格隔开;
    • 注 3:删除正在进行中的任务,任务将停止并清除所有缓存的临时文件;
  • 查看任务状态 edgeturbo ps 或者edgeturbo
  • 设置本地下载目录
    • 在进行下载时,客户端默认将下载的文件保存在 home 目录下的 downloads目录中。用户可随时通过此命令进行调整:
    • edgeturbo set /home/lnjoying/mydownload
  • 查看帮助
    • 用户可以键入以下命令以获取命令行参数的帮助说明:
    • edgeturbo help

写在后面

上面举例的样品是:

代码语言:javascript
复制

https://download.cncb.ac.cn/gsa/CRA007099/CRR511439/CRR511439_f1.fq.gz
https://download.cncb.ac.cn/gsa/CRA007099/CRR511439/CRR511439_r2.fq.gz

所以我们的构建的(edgeturbo download )下载命令是:

代码语言:javascript
复制
edgeturbo download /gsa/CRA007099/CRR511439/CRR511439_f1.fq.gz

把前缀去掉即可。但是我自己普通的 axel -n 20 下载也是类似的网络速度,一整天的时间可以下载360G的文件:

本文参与?腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2023-01-09,如有侵权请联系?cloudcommunity@tencent.com 删除

本文分享自 生信技能树 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与?腾讯云自媒体分享计划? ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 系统要求
  • 下载
  • 解压
  • 将软件路径添加到.bashrc里面 作为环境变量
  • 运行
  • 功能介绍
    • 写在后面
    相关产品与服务
    命令行工具
    腾讯云命令行工具 TCCLI 是管理腾讯云资源的统一工具。使用腾讯云命令行工具,您可以快速调用腾讯云 API 来管理您的腾讯云资源。此外,您还可以基于腾讯云的命令行工具来做自动化和脚本处理,以更多样的方式进行组合和重用。
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
    http://www.vxiaotou.com