Advertisement

Aspera：高速下载NCBI和EBI基因组数据

阅读量：

我们通常用wget或curl下载文件，然而由于 NCBI 和 EBI 网站都在国外，有时候下载速度非常慢，如果文件特别大，就可能非常难受甚至是不可能完全的任务了，这时可用 aspera 进行高速下载。

安装 Aspera

首先进入aspera 官方网站，找到**「IBM Aspera Connect」** ，进入下载页面，找到对应的版本与平台，这里以 Linux 平台最新的 3.10.0 版本为例进行介绍。

复制代码 
 # 下载

    
 wget https://ak-delivery04-mul.dhe.ibm.com/sar/CMA/OSA/092u0/0/ibm-aspera-connect-3.10.0.180973-linux-g2.12-64.tar.gz
    
  
    
 # 解压
    
 tar xvf ibm-aspera-connect-3.10.0.180973-linux-g2.12-64.tar.gz
    
  
    
 # 解压后得到一个脚本文件，运行该脚本，即可完成自动安装
    
 sh ibm-aspera-connect-3.10.0.180973-linux-g2.12-64.sh
    
  
    
 # 所有安装文件都在~/.aspera/connect目录下，添加环境变量
    
 echo'export PATH=~/.aspera/connect/bin/:$PATH' >> ~/.bashrc
    
  
    
 # 使环境变量生效
    
 source ~/.bashrc
    
  
    
 # 查看ascp可执行文件所在的路径，应该是：~/.aspera/connect/bin/ascp
    
 which ascp
    
  
    
 # 看程序是否能正常运行
    
 ascp -h
    
    
    
    
    AI写代码

高速下载

1. NCBI 数据下载

NCBI 中数据的下载链接通常为

复制代码 
    https://ftp.ncbi.nlm.nih.gov/refseq/release/viral/viral.2.1.genomic.fna.gz
    
    AI写代码

需要去除前面的域名，用如下命令下载，注意最后有一个点.，表示文件下载到当前目录并且保持原文件名

复制代码 
    ascp -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -l 100M -k 1 -T anonftp@ftp.ncbi.nlm.nih.gov:/refseq/release/viral/viral.2.1.genomic.fna.gz .
    
    AI写代码
2.EBI 数据下载

同理，从 EBI 网站下载千人基因组数据

复制代码 
    ascp -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -l 100M -T -P33001 fasp-g1k@fasp.1000genomes.ebi.ac.uk:vol1/ftp/release/20100804/ALL.2of4intersection.20100804.genotypes.vcf.gz .
    
    AI写代码
3.批量下载

先将要下载的文件的路径放入一个文件file.lst中，比如

复制代码 
 /refseq/release/viral/viral.1.1.genomic.fna.gz

    
 /refseq/release/viral/viral.2.1.genomic.fna.gz
    
    
    
    
    AI写代码

然后使用命令

复制代码 
    ascp -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -l 100M -T -k1 --mode recv --host ftp.ncbi.nlm.nih.gov --user anonftp --file-list file.lst .
    
    AI写代码

「主要参数」

❝

-i 免密从 NCBI 或 EBI 下载的私钥，安装完成就有，位于~/.aspera/connect/etc/asperaweb_id_dsa.openssh

-l 最大下载速度，如 100M

-k 断点续传，通常设为 1

-T 无需加密传输

--host 服务器域名，NCBI 为 ftp.ncbi.nlm.nih.gov，EBI 下载千人基因组为 fasp.1000genomes.ebi.ac.uk

-P 用于 SSH 认证的 TCP 商品，一般是 33001

--user 用户名，NCBI 为 anonftp，EBI 下载千人基因组为 g1k

--mode 传输模式，上传为 send，下载为 recv

❞

「参考」

Aspera 官网：https://www.ibm.com/products/aspera/downloads?list

Aspera 使用说明 1：https://www.ibm.com/support/pages/downloading-data-ncbi-command-line#usage

Aspera 使用说明 2：https://www.internationalgenome.org/faq/how-download-files-using-aspera

推荐阅读

一键分析10X单细胞数据**（点击图片跳转）**

**9976e4a09551f4e29aefe761991331e1.jpeg
**

一键分析Bulk转录组数据**（点击图片跳转）**

e60fd4edc5730540112f01af96bada75.jpeg

简说基因 | 精选文章合辑**（点击图片跳转）**cab97ff81a0c1b0a1d7764bb7968250f.jpeg

生信平台

Galaxy生信云平台（UseGalaxy.cn）致力于降低生信分析门槛，让无专业背景的用户也能轻松分析数据。

  • • 界面化操作与强大的计算资源。

  • • 成百上千工具和流程免费使用。

  • • 丰富的可视化和交互分析工具。

  • • 强大的数据共享以及协作能力。

联系方式

43e2ad1e0f5a9bba786d9109690bb431.png

全部评论 (0)

还没有任何评论哟~

相关文章推荐

Aspera：高速下载NCBI和EBI基因组数据

我们通常用wget或curl下载文件，然而由于 NCBI 和 EBI 网站都在国外，有时候下载速度非常慢，如果文件特别大，就可能非常难受甚至是不可能完全的任务了，这时可用 aspera 进行高速下载。...

Aspera：基因组数据高速下载利器，以NCBI和EBI数据下载为例

我们通常用wget或curl下载文件，然而由于NCBI和EBI网站都在国外，有时候下载速度非常慢，如果文件特别大，就可能非常难受甚至是不可能完全的任务了，这时可用aspera进行高速下载。

Ubuntu16.04下利用Aspera下载NCBI-SRA库基因数据

最近的研究是关于基因数据的压缩，于是就需要搞一些原始数据用于实验，不过WGS数据一般都很大，好在有神器Aspera能够帮助文件下载，不过Aspera第一次用着实遇到不少坑，不过好在最后成功了，以下是全...

aspera高速下载ncbi数据库（metawrap数据库安装）

目录 前言 一、安装apera 二、ncbint数据库下载步骤 总结 前言 本来想要安装好metawrap，装好倒是简单，但是有许多的使用问题，比如ncbi的数据库下载就十分缓慢，数据量又大于100G...

qt中使用libcurl下载数据_使用aspera从EBI下载fastq数据，抛弃NCBI的SRA数据库吧！

前面我们大量NGS相关教程视频免费发布在B站，都是使用NCBI的SRA数据库下载sra文件后转为fastq进行NGS分析流程，其实是因为我本人一直不在中国大陆，所以没有网络问题。

Mac下使用Aspera Connect下载NCBI Sra 数据

Mac下使用AsperaConnect全速下载大型NCBI文件的方法 1，下载安装SRAToolkitDocumentation SRAToolkit下载 2，下载安装AsperaConnect的dm...

aspera下载sra文件linux,Aspera Connect，高速下载sra数据

一、下载安装AsperaConnect Linux系统下的AsperaConnect安装Windows下的AsperaConnect安装参考。 查看最新版本的AsperaHighspeedfiletr...

如何从NCBI下载基因组数据

本文关于如何在NCBI的FTP里下载需要的基因组数据。 已知信息 例如：我从文献里看到作者测了EscherichiacoliATCC25922的基因组，想从NCBI下载。

如何从NCBI下载基因组数据

本文关于如何在NCBI的FTP里下载需要的基因组数据。 已知信息 例如：我从文献里看到作者测了EscherichiacoliATCC25922的基因组，想从NCBI下载。

ncbi-genome-download批量下载基因组数据

1\.ncbigenomedownload的下载和安装 ncbigenomedownload是一个可以直接从NCBI上批量下载序列的软件，支持下载多种格式 利用conda对其直接安装参考 创建环境 c...