UseGalaxy.cn生信云平台文本文件操作手册
文本文件是生物信息学中应用非常广泛的文本格式，甚至可以说是最重要的文件格式，比如常见的测序下机数据Fastq、参考基因组保存格式Fasta、比对文件SAM，以及突变列表VCF，它们都是文本文件。熟练地进行文本文件的处理，对于生信数据分析来说非常重要。比如为特定程序准备相应的输入文件，或者从结果文件中提取需要的信息。
文本文件的操作贯穿生信数据处理的始终，甚至有人开玩笑说，搞生信分析，就是进行各种文件格式的转换。有时候确实可以这么说，因为现在有许多软件/包都写得非常完善了，只需要准备好相应的输入文件，一行代码即可完成分析。
可以说，善于文本文件的处理，生信数据分析就站在了一个非常高的起点。UseGalaxy.cn平台有非常强大的文本数据处理功能，本文就来系统地介绍这些文本处理工具的用法。
测试数据
- Libraries > Table data: heatmap_test.tsv，一个模拟的 RNA-seq 表达量矩阵数据。
1. 文本操纵（Text Manipulation）
选择开始的多少行
工具：Text Manipulation > Select first lines from a dataset
目标：选择前10行
操作：
- Select first: 11 (因为文件有表头，所以这里设置为前11行)
- from: heatmap_test.tsv
结果：
选择结尾的多少行
工具： Text Manipulation > Select last lines from a dataset
目标： 选择结尾的10行
操作：
- Select last: 10
- from: heatmap_test.tsv
- Dataset has a header: Yes
结果：
随机选择多少行
工具： Text Manipulation > Select random lines from a file
目标： 随机选择5行
操作：
- Randomly select: 5
- from: heatmap_test.tsv
结果：
删除开始的多少行
工具： Text Manipulation > Remove beginning of a file
目标： 删除表头
操作：
- Remove first: 1
- from: heatmap_test.tsv
结果：
选择列
工具： Text Manipulation > Cut columns from a table
目标： 选择第1，2，5列
操作：
- Cut columns: c1,c2,c5
- from: heatmap_test.tsv
结果：
增加列到一个数据表
工具： Text Manipulation > Add column to an existing dataset
目标： 在最后一列增加一个+号
操作：
- Add this value：+
- to Dataset: Remove beginning on data 1
- Iterate?: NO
结果：
目标： 在最后一列增加从1开始不断迭代的编号
操作：
- Add this value：1
- to Dataset: Remove beginning on data 1
- Iterate?: YES
结果：
纵向合并多个文件
工具： Text Manipulation > Concatenate datasets tail-to-head
目标： 合并两个文件
操作：
- Concatenate Dataset: Select first on data 1
- Dataset: Select last on data 1
结果：
横向合并两个文件
工具： Text Manipulation > Paste two files side by side
目标： 并排粘贴两个文件
操作：
- Paste: Cut on data 1
- and: Cut on data 1
- Delimit by: TAB
结果：
2. 过滤和排序（Filter and Sort）
根据正则表达式匹配行
工具： Filter and Sort > Select lines that match an expression
目标： 筛选出前面纵向合并的文件中的表头
操作：
- Select lines from: Concatenate datasets on data 4 and data 2
- that: Matching
- the pattern: Test1
结果：
目标： 筛选出前面纵向合并的文件中不是表头的行
操作：
- Select lines from: Concatenate datasets on data 4 and data 2
- that: NOT Matching
- the pattern: Test1
结果：
依据某一列过滤数据
工具： Filter and Sort > Filter data on any column using simple expressions
目标： 筛选第2列（即样本Test1所在列）值大于1的行
操作：
- Filter：heatmap_test.tsv
- With following condition: c2 > 1
- Number of header lines to skip: 1
结果：
排序数据
工具： Filter and Sort > Sort data in ascending or descending order
目标： 根据表达矩阵的第2列，降序排列行
操作：
- Sort Dataset: heatmap_test.tsv
- on column: Column 2
- with flavor: Numerical sort
- everything in: Descending order
- Number of header lines to skip: 1
结果：
3. 连接、提取和分组（Join, Subtract and Group）
依据特定列连接两个数据表
工具： Text Manipulation > Cut columns
目标： 选择文件前3列
操作：
- Cut columns: c1,c2, c3
- From: Select first on data 1
工具： Join, Subtract and Group > Join two Datasets side by side on a specified field
目标： 连接两个数据表
操作：
- Join: Cut on data 2
- using column: Column: 1
- with: heatmap_test.tsv
- and column: Column: 1
结果：
比较两个数据表找出相同或不同的行
工具： Join, Subtract and Group > Compare two Datasets to find common or distinct rows
目标： 查找表1中，某一列的值出现在表2中某一列的行
操作：
- Compare：Select random lines on data 1
- Using column: Column: 1
- against：heatmap_test.tsv
- and column：Column: 1
- To find: Matching rows of 1st dataset
结果：
目标： 查找表1中，某一列的值没有出现在表2中某一列的行
操作：
- Compare：Select random lines on data 1
- Using column: Column: 1
- against：heatmap_test.tsv
- and column：Column: 1
- To find: Non Matching rows of 1st dataset
结果：
因为表1所有的行，都在表2中，因此结果为空。