Введение

в анализ данных NGS

Блок 3 - Занятие 12

Анастасия Жарикова

NGS и форматы файлов

  • fasta

  • fastq

  • sam

  • bam

  • cram

  • vcf

  • gvcf

  • bed

  • gtf

  • gff

  • bedGraph

  • bigBed

  • bigWig

  • tab

  • txt

Форматы файлов

UCSC

Пайплайн

Программный конвейер

fasta

Текстовый формат файла

fasta

Можно хранить любую нуклеотидную последовательность или набор последовательностей

Например, референсный геном

>seq1
CACAATCCTTGGAAATGCAGTTTTTCCTTTTTCTCTTCTTCTCTTTATTC
TATGTGGGAATTATCCTGGGAAAACTCTTCATTGTGTTCACAGTGATCTT
TGATCCTCACTTACACTCCCCCATGTATATTCTGCTGGCCAACCTATCGC
TCATTGACTTGAGCCTTTCATCTACCACAGTTCCTAGGTTGATCTACGAT
CTTTTTACTGATTGTAAAGTTATTTCCTTCCATAATTGCATGATACAAAA
GTTCTTTATCCATGTTATGGGAGGAGTTGAAATGGTGCTGCTGATAGTCA
TGGCATATGATAGGTACACTGCGATCTGCAAGCCTCTCCACTATCCAACT
ATTATGAATCCCAAAATGTGCATGTTTTTGGTAGCAGCAGCTTGGGTCAT
TGGGGTGATTCATGCTATGTCTCAGTTTGTTTTTGTCATAAATTTACCCT
TCTGTGGCCCTAATAATGTGGGGAGCTTTTATTGTGATTTTCCTCGGGTT
ATTAAACTTGCATGCATGGACACTTATGGGCTAGAATTTGTGGTCACTGC
CAACAGTGGATTCATATCGATGGGCACCTTCTTTTTCTTAATTGTATCAT
ACATTTTTATTCTGGTCACTGTCCAACGACATTCCTCAAATGATTTATCC
AAAGCATTCTTCACTTCGTCGGCTCACATCACCGTAGTGGTTTTGTTTTT

Референсный геном

Ensembl - здесь можно скачать

Проверяем версии!!!

Для человека

Patches

Патчи - улучшенная, расширенная версия референсного генома без нарушения координат

GRCh38.p7

Референсный геном

>chr1
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN

T2T

Появляются T2T сборки не только для человека

Complete hydatidiform mole (CHM)

Полный пузырный занос

  • оплодотворение дефектной яйцеклетки без хромосом

  • отцовские хромосомы удваиваются

  • эмбрион не образуется

  • 46, XX karyotype

  • European origin

T2T: секвенирование

  • 30× PacBio circular consensus sequencing (HiFi)

  • 120× Oxford Nanopore ultralong-read sequencing (ONT)

  • 100× Illumina PCRFree sequencing (ILMN)

  • 70× Illumina Arima Genomics Hi-C (Hi-C)

  • BioNano opticalmaps

  • Single-cell DNA template strand sequencing (Strand-seq)

  • RNA-seq

T2T

Геном человека

Какой размер генома человека?

Размер генома человека

Это много или мало?

Размеры геномов

Количество хромосом

Псевдоаутосомные области

fastq

Текстовый формат файла

Структура файла позволяет хранить последовательности нуклеотидов, а также показатели качества каждого элемента последовательности.

Используется для хранения прочтений, полученных в результате работы высокопроизводительных секвенаторов (например, приборы компании Illumina).

fastq

@NB501222:13:HY55HBGXY:1:11101:20333:1061 1:N:0:ATGTCA
GCCACAACACCATTACCAAATGAGAAATGTGGGAATTTCTTCAATATTAAGAGGGAGAAAAAGGCCAATTTTGGT
+
AAAAAEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEAEEE
@NB501222:13:HY55HBGXY:1:11101:4507:1061 1:N:0:ATGTCA
CGCTTAATTCACTTTATTTTTCTTGTATAAAAACCCTATGTTGTAGCCACAGCTGGAGCCTGAGTCCGCTGCACG
+
A6AAAEEEEEEEEEEEEEEEEEEEEEAEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEAAAEAEEAAEEEAEEEEE
@NB501222:13:HY55HBGXY:1:11101:6891:1061 1:N:0:ATGTCA
GATCGGAAGAGCACACGTCTGAACTCCAGTCACATGTCAGAATCTCGGTTGGCGGGGTGTGCTTGTAAAAAAAAA
+
AA/AAEEEEEEEEEEAEEEEEEEEEEEE/EEEEE/EEEEEEAE///////////////////////A/E6/EE//

fastq: структура файла

N Features Description
L1 @NB501222:13:HY55HBGXY:1:11101:4700:1631 1:N:0:ATGTCA Read ID
L2 GATTTGGGGTTCAAAGCAGTATCGATCAAATAGTAAATCCATTTGTTCAACTCACAGTTT Read sequence
L3 + ID
L4 AAAAAAEEEEEEEEEEEEEEEEEEEEEE6EEEEEEEEEEEEEA6/////E////6///// Quality of nucleotides

Качество нуклеотидов

\(Q = -10log_{10}P\)


Р - вероятность ошибки

Q - параметр качества (Phred Quality Score)

Значения Q: 1-40

Q > 20 считается хорошим качеством

Вероятность.ошибки Q
0.001 (точность 99.9%) 30
0.01 (точность 99%) 20
0.1 (точность 90%) 10

Где взять чтения?

Обратите внимание, что при запуске sra toolkit важно сразу указывать одноконцевые чтения или парноконцевые!!!

Все архивируем!

  • .fastq - ПЛОХО!

  • .fastq.gz - ХОРОШО!

Что дальше?

Мы получили чтения в формате .fastq

Можно ли с ними работать?

Нужно проверить качество!

Вне зависимости от протокола пробоподготовки!

FastQC

manual

  • Basic Statistics

  • Per base sequence quality

  • Per tile sequence quality

  • Per sequence quality scores

  • Per base sequence content

  • Per sequence GC content

  • Per base N content

  • Sequence Length Distribution

  • Sequence Duplication Levels

  • Overrepresented sequences

  • Adapter Content

Хорошие чтения

Плохие чтения

Плохое качество

Что делать?

  • Выбросить данные

  • Удалить нуклеотиды плохого качества (Q < 20)

  • Удалить адаптеры, если есть

Trimmomatic

Что может пойти не так?

Останется мало данных

“Провал” в качестве не на самом конце чтения

Что дальше?

В результате получаем только те чтения, качество которых нас устраивает

С ними можно смело работать дальше!

Картирование

Чтения хорошего качества картируем на референсный геном

НО!

Референсный геном нужно приготовить

  • тип хромосом (например, только канонические)

  • имена хромосом

  • размер хромосом

  • индексы для программы картирования

Типы хромосом

Имена хромосом

Разные консорциумы

“chr1” - “1” - “NC_000001.11”

Картирование

Результат

bwa

SAM/BAM

Некоторые файлы содержат

  • “шапку”

  • основное содержание

SAM

“Шапка”

@HD     VN:1.5  GO:none SO:coordinate
@SQ     SN:chr1 LN:248956422
@SQ     SN:chr2 LN:242193529
@SQ     SN:chr3 LN:198295559
@SQ     SN:chr4 LN:190214555
@SQ     SN:chr5 LN:181538259
@SQ     SN:chr6 LN:170805979
@SQ     SN:chr7 LN:159345973
@SQ     SN:chr8 LN:145138636
@SQ     SN:chr9 LN:138394717
@SQ     SN:chr10        LN:133797422
@SQ     SN:chr11        LN:135086622
@SQ     SN:chr12        LN:133275309
@SQ     SN:chr13        LN:114364328
@SQ     SN:chr14        LN:107043718
@SQ     SN:chr15        LN:101991189
@SQ     SN:chr16        LN:90338345
@SQ     SN:chr17        LN:83257441

SAM

Содержание

NB551509:3:HGW7GBGX9:3:11609:7745:2302  99      chr1    10012   0       35M16S  =       10176   209     CTAACCCTAACCCTAACCCTAACCCTAACCCTAACGCTATCGGTACCGCTA     AAAAAE/EEEEEEEE6EEEEEEEA//E/A/A<////////</////////<     MC:Z:25S45M     MD:Z:35 PG:Z:MarkDuplicates     RG:Z:NextSeq5500        NM:i:0  MQ:i:0  AS:i:35 XS:i:39
NB551509:3:HGW7GBGX9:3:11609:7745:2302  147     chr1    10176   0       25S45M  =       10012   -209    AACCCTAACACCCACCCACACCCTCAACCTAACGCTCACCCTAACCCTAACCCTAACCCTAACCCTAACC  A///</////E////////E//E/////A//AE/E//EEEEEEE/EEEE/EEEAEEEEEEEEEEEAAAAA  MC:Z:35M16S     MD:Z:8C2A33     PG:Z:MarkDuplicates     RG:Z:NextSeq5500        NM:i:2  MQ:i:0  AS:i:35 XS:i:38
NB551509:3:HGW7GBGX9:1:12102:24585:13487        99      chr1    10817   0       75M     =       11013   220
     GGGGTGGAGGCGTGGCGCAGGCGCAGAGAGGCGCGCCGCGCCGGCGCAGGCGCAGAGACCCCTGCTACCGCGGCC     AAAAAEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEE/E//EAE<A//EE/E//</6/E///<E/A/AAEEE//<     XA:Z:chr15,-101980076,75M,3;chr1,+10893,75M,5;chr15,-101980000,75M,5;chr12,+11022,75M,5;        MC:Z:51S24M     MD:Z:59A1A10T2  PG:Z:MarkDuplicates     RG:Z:NextSeq5500        NM:i:3  MQ:i:0  AS:i:62 XS:i:62
NB551509:3:HGW7GBGX9:1:12102:24585:13487        147     chr1    11013   0       51S24M  =       10817   -220
    GGGCCTTGGGGGGGTGGGGGGGGGCTGGCGCTGACCCGAACGCCTCGGGGGGGGGGTGGGGGGGGCGTGTGTTGC     <//////EEEA/6//E</6/EE////E///////////////A////EEE/EEEAA//EEAEEEEEE/EEAAAAA     XA:Z:chr1,-193764955,42S25M8S,0;chr16,+12525686,6S23M46S,0;chr15,-79311000,49S21M5S,0;chr15,+101979931,24M51S,1;        MC:Z:75M        MD:Z:6T17       PG:Z:MarkDuplicates     RG:Z:NextSeq5500        NM:i:1  MQ:i:0  AS:i:19 XS:i:25
NB551509:3:HGW7GBGX9:2:11111:18968:7557 163     chr1    12927   0       74M     =       13001   149     AGCTACAAGCAGCAAACAGTCTGCATGGGTCATCCCCTTCACTCCCAGCTCAGAGCCCAGGCCAGGGGCCCCCA      AAAAAEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEAEEEEEEEEEEEEEEEEEEEEEEE      MC:Z:75M        MD:Z:74 PG:Z:MarkDuplicates     RG:Z:NextSeq5500

Задача!

Данные экзомного секвенирования конкретного человека:

  • чтения fastq

  • референсный геном hg38

  • экзомный таргет

Найти отличия образца от референса

Какие бывают мутации

  • SNV: однонуклеотидные варианты, т.е. изменение одного нуклеотида

  • Короткие вставки и делеции (~ 50 п.н.)

  • Структурные варианты: инверсии и транслокации; CNV

  • Анеуплоидии: нульсомии, моносомии, трисомии, полисомии

  • Полиплоидизация

Зачем…

… биоинформатику знать, что происходит в пробирке?

Для каждого экспериментального протокола нужны определенные входные данные и свой биоинформатический протокол обработки данных

При этом практически каждый шаг можно реализовать несколькими программами

NGS: инструментарий

Картировщики

Benchmarks

Поддерживайте свои знания о профессиональном ПО на актуальном уровне

Смоделируем ситуацию

Вам дали чтения в формате .fastq

Сказали: иди, анализируй!

Ваши действия?

Анализ NGS

  • Четко представлять общую задачу

  • Знать биологический объект (организм, клеточная линия, ткань)

  • Представлять особенности пробоподготовки и дизайн эксперимента

  • Оценить объем и качество входных данных

  • Узнать на каком приборе было проведено секвенирование

  • Выбрать версию референсного генома, если он используется, и оценить его качество

  • При использовании дополнительных данных (например, разметка генов) зафиксировать версию файла и соотнести с версией выбранного генома

  • Четко фиксировать все шаги программного конвейера, включая версии программ и пакетов, сохранять и комментировать код

  • Проверять объем данных на каждом этапе

  • Проверять качество каждого шага протокола обработки

  • Вести лабораторный журнал (!)

  • Бэкапы!

  • Результаты лучше всего хранить в статьях =)

Конец!