bpmn文件的标签为何都以bpmn2开头_fastq格式文件处理大全（一）

从计算机的角度来说&＃xff0c;生物的序列属于一种字符串&＃xff0c;也是一种文本&＃xff0c;因此生物信息分析属于文本处理范畴。文本存储为固定格式文件&＃xff0c;生物信息的工作就是各种文本文件之间格式的转换&＃xff0c;例如通过序列拼接将fastq转换为fasta&＃xff0c;通过短序列比对将fastq与fasta合并为bam&＃xff0c;通过变异检测将bam中突变位点提取出来转换为vcf。因此&＃xff0c;我们可以通过总结每一种生物数据文件格式的处理方法来学习生物信息&＃xff0c;这样当拿到固定格式的文件之后&＃xff0c;就知道该如何来处理了。

​

fastq格式介绍

fastq格式是一种包含质量值的序列文件&＃xff0c;其中的q为quality,一般用来存储原始测序数据&＃xff0c;扩展名一般为fastq或者fq。目前illumina测序&＃xff0c;BGISEQ&＃xff0c;Ion Torrent&＃xff0c;pacbio&＃xff0c;nanopore都以fastq格式存储测序数据&＃xff0c;其中illumina&＃xff0c;BGISEQ一般是双末端测序&＃xff0c;一般是一对文件&＃xff0c;命名为*_R1.fq.gz与*_R2.fq.gz。下面是fastq格式常见的序列格式。

第一行&＃xff1a;以‘&＃64;’开头&＃xff0c;是这一条read的名字&＃xff0c;这个字符串是根据测序时的状态信息转换过来的&＃xff0c;中间不会有空格&＃xff0c;它是每一条read的唯一标识符&＃xff0c;同一份FASTQ文件中不会重复出现&＃xff0c;甚至不同的FASTQ文件里也不会有重复&＃xff1b;
第二行&＃xff1a;测序read的序列&＃xff0c;由A&＃xff0c;C&＃xff0c;G&＃xff0c;T和N这五种字母构成&＃xff0c;这也是我们真正关心的DNA序列&＃xff0c;N代表的是测序时那些无法被识别出来的碱基&＃xff1b;
第三行&＃xff1a;以‘&＃43;’开头&＃xff0c;在旧版的FASTQ文件中会直接重复第一行的信息&＃xff0c;但现在一般什么也不加&＃xff08;节省存储空间&＃xff09;&＃xff1b;
第四行&＃xff1a;测序read的质量值&＃xff0c;这个和第二行的碱基信息一样重要&＃xff0c;它描述的是每个测序碱基的可靠程度&＃xff0c;用ASCII码表示。

质量值

上面提到fastq格式中的q代表质量值&＃xff0c;因此fastq格式中质量值具有重要的作用&＃xff0c;在很多的分析中会用到这个质量值&＃xff0c;例如数据质控&＃xff0c;数据过滤&＃xff0c;序列拼接&＃xff0c;短序列比对&＃xff0c;变异检测中都要用到这个质量值。
这个质量值是基于phred质量值体系&＃xff0c;但是由于单个碱基无法与两位的质量值相匹配&＃xff0c;例如A碱基对应的质量值为40&＃xff0c;一个A字符对应两个字符40&＃xff0c;因此需要将原始质量值加上33或者64&＃xff0c;在转换为对应的ASCII码值&＃xff0c;为何加33&＃xff0c;因为33以下ASCII码无法用键盘字符表示出来。illumina测序1.8版本以上加33&＃xff0c;以下加64。

获取fastq文件

可以直接拿DNA&＃xff0c;选择合适的测序方式&＃xff0c;就可以得到fastq格式文件&＃xff0c;无论人&＃xff0c;动物&＃xff0c;植物&＃xff0c;微生物&＃xff0c;测序的是全基因组&＃xff0c;还是外显子&＃xff0c;捕获序列&＃xff0c;抑或是RNA样本&＃xff0c;FFPE样本最终得到的都是fatsq格式文件。注意&＃xff0c;有些平台得到的是两个文件&＃xff0c;reads1与reads2&＃xff0c;有些平台得到的是一个文件。如何自己没有测序&＃xff0c;也可以在NCBI SRA数据库下载测序文件&＃xff0c;使用sratools工具中的prefetch或者fastq-dump软件都可以下载fastq文件。

将sra转为为fastq

利用fastq-dump文件可以将sra文件直接转换为fastq格式&＃xff0c;注意&＃xff0c;如果是illumina的双末端测序&＃xff0c;需要添加 --split-files选项&＃xff0c;如果需要压缩格式&＃xff0c;需要添加 --gzip选项。最终会生成SRR8651554_1.fastq.gz&＃xff0c;SRR8651554_2.fastq.gz两个文件。

压缩与解压缩

目前绝大部分的软件都可以直接处理压缩格式&＃xff0c;因此一般的fastq格式都是压缩格式呈现的&＃xff0c;扩展名为fq.gz&＃xff0c;如果需要压缩或者解压缩可以使用以下命令。