umi_tools使用

首先保存两个网址umi_tools github网址https://github.com/CGATOxford/UMI-toolsumi_tools 官方网址https://umi-tools.readthedocs.io/en/latest/1. 提取UMI信息到readnameumi_tools extract --bc-patternNNNNNNN --bc-pattern2NNNNNNN \ -I ./V300056107_L01_1069_1.fq.gz \ -S ./test.extract.reconcile.1.pe_1.fq \ --read2-in./V300056107_L01_1069_2.fq.gz \ --read2-out./test.extract.reconcile.1.pe_2.fq \ --ignore-read-pair-suffixes还可以加一个“--reconcile-pairs”如果是在rawdata处开始做 extract的时候这个是没必要的。报错1.Read pairs do not matchF300002275L1C001R0030000002/1 ! F300002275L1C001R0030000002/2这种不是真正的不匹配而是umi_tools的一个bug。可以用 --ignore-read-pair-suffixes 参数来忽略 “/”及以后的内容。通过master branch 安装的umi_tools有这个“--ignore-read-pair-suffixes”参数原来那个umi_tools的问题是这个工具与相应的python版本不对应的问题。https://github.com/CGATOxford/UMI-tools/issues/431 #这是umi_tools项目组成员的解答报错2. 如果出现Read pairs do not matchF300002275L1C001R0030000005 ! F300002275L1C001R0030000013说明这是fq1和fq2里面的reads不是一一对应的readname也对应不上。它在输出文件中只会输出配对的reads处理后的结果其他不配对的全都在标准错误中输出。这时候可以加“--reconcile-pairs”这样就允许read1和read2中的read name不匹配。问题3umi_tools 跑得太慢的问题https://github.com/CGATOxford/UMI-tools/issues/257解决方法是 输出文件不要加“.gz”格式后缀。我试过加了gz后缀耗时8小时左右不加差不多40分钟。我从一开始用python2然后换到python3.7 最后换到python3.6CTTGCAAGTCACTAGAGTGGTGCAGCCTATTTTTTAAAAGTCGTGTGTGTCCTCTTACCCAGTACTTCCTCTTCATATGCACCTTCCGCGCTGCTACAGCCTTGCATTTACTGCAGGGGAAATAGTTGACATAAAGATGTACTTGCGTATTAGGCACTCCGATTTCAAAGATTTACTCGTATATTGGTCAAAGATATACTF300002275L1C001R0030000002/1_CTTGCAACTTGCATGTCACTAGAGTGGTGCAGCCTATTTTTTAAAAGTCGTGTGTGTCCTCTTACCCAGTACTTCCTCTTCATATGCACCTTCCGCGCTGCTACAGCF300002275L1C001R0030000002/2_CTTGCAACTTGCATTTACTGCAGGGGAAATAGTTGACATAAAGATGTACTTGCGTATTAGGCACTCCGATTTCAAAGATTTACTCGTATATTGGTCAAAGATATACT2. 去低质量、含Nreads mapping, sort, index 略3. dedup 类似picard的markdupumi_tools dedup -I ./test.coordinate.sort.bam \ --output-statsdeduplicated \ -S ./test.marked_duplicates.directional.bam \ --method directional --paired注 --method 参数有5种可选值作者认为directional是最好的https://github.com/CGATOxford/UMI-tools/issues/435--paired 参数对于PE reads来说必不可少否则它会只输出read2不输出read1.dedup太慢解决方法https://github.com/CGATOxford/UMI-tools/issues/340The biggest thing you can do here to improve things is not generate the stats #也就是不要--output-statsdeduplicated 这个参数。结果比较coordinate.sort.bam 38078276 #before_dedupmarked_duplicates.adjacency.bam 35220427 #adjacencymarked_duplicates.cluster.bam 35219515 #clustermarked_duplicates.directional.bam 35219616 #directional作者团队成员推荐这个marked_duplicates.percentile.bam 35483003 #percentilemarked_duplicates.unique.bam 35483001 #uniquemarked_duplicates.picard.bam 34350858 #picardUMI序列设置In the default basic mode we specify the location of barcodes and UMIs in a read using a simple string.Ns specify the location of bases to be treated as UMIs,Cs as bases to treated as cell barcode andXs as bases that are neither and that should be retained on the read. By default this pattern is applied to the 5’ end of the read, but we can tellextractto look on the 3’ end of the read using--3-primehttps://umi-tools.readthedocs.io/en/latest/regex.html一个extract的例子umi_tools extract \ --extract-method string \ --bc-patternNNNNNNN \ --bc-pattern2NNNNNNN \ -I /in_dir/F350071577_L01_23_1.part_001.fq.gz \ -S /out_dir/extract.1.pe_1.fq \ --read2-in/in_dir/F350071577_L01_23_2.part_001.fq.gz \ --read2-out/out_dir/extract.2.pe_2.fq \ --ignore-read-pair-suffixes用正则表达式更好可以区分UMI和容错碱基不将容错碱基错误纳入UMI。umi_tools extract \ --extract-method regex \ --bc-pattern^(?Pumi_1.{6})(?Pdiscard_1.{1})(.*)$ \ --bc-pattern2^(?Pumi_2.{6})(?Pdiscard_2.{1})(.*)$ \ -I /in_dir/F350071577_L01_23_1.part_001.fq.gz \ -S /out_dir/extract.1.pe_1.fq \ --read2-in/in_dir/F350071577_L01_23_2.part_001.fq.gz \ --read2-out/out_dir/extract.2.pe_2.fq \ --ignore-read-pair-suffixes注意umi_1discard_1之类的前缀不能变数字可以递增。但在PE reads条件下umi_1只能针对read_1, umi_2针对read_2, discard_*也是同理。umi_*的序列进入read_name从read序列和质量值序列(对应长度)删除。discard_*的序列直接丢弃不进入read_name从read序列和质量值序列(对应长度)删除。其他匹配内容拼接并保留到read序列和质量值序列(对应长度)中。