Занятие 11.

Срок выполнения заданий — 3 мая 2011 г. Ваша рабочая директория: H:\Term4\Practice11. Помимо отчёта на сайте (который должен быть читаемым и сам по себе), будет проверяться наличие в рабочей директории файлов с исходным частичным выравниванием, профилем и списком находок.

Постройте частотную матрицу (профиль) по участку выравнивания программой prophecy

Начните с выравнивания рибосомальных белков, которое вы создали при выполнении предыдущего задания.
Создайте файл, содержащий тот участок выравнивания рибосомальных белков из выбранного вами таксона, по которому вы строили паттерн (для этого надо удалить из выравнивания часть колонок и контрольные последовательности, после чего сохранить полученное частичное выравнивание в файл с новым именем).
Запустите на kodomo программу prophecy и на вопрос о входном выравнивании ("Input (aligned) sequence set:") ответьте именем файла с частичным выравниванием. На остальные вопросы ответьте по умолчанию, кроме вопроса о пороге ("Enter threshold reporting percentage"), на него ответьте "30".
Просмотрите выходной файл и кратко опишите в отчёте его структуру: какого рода информацию он содержит?

Проведите в бактериальных белках из Swiss-Prot поиск участков, дающих счёт выше 30 при сравнении с созданным вами профилем

Бактериальные белки из Swiss-Prot лежат в файле /home/export/samba/public/y09/Term4/Materials/bacteria.fasta . Для программ пакета EMBOSS можно также задать то же множество последовательностей выражением sw-org:bacteria.
Запустите на kodomo программу profit и в ответ на вопрос о файле с профилем укажите имя файла, созданного программой prophecy, а на вопрос о входных последовательностях — имя файла с бактериальными белками.
Откройте в редакторе полученный файл. Чтобы понять, что там содержится, полезно почитать описание программы (tfm profit).
Импортируйте файл в Excel и упорядочьте находки по убыванию счёта (Percentage — в данном случае это процент от максимально возможной суммы). В отчёте укажите, сколько находок всего? Сколько имеют счёт больше 40? Больше 50? Больше 60?
Далее будем работать со всеми находками, если их менее 10000. Если же получилось, что их больше, то в дальнейшей работе следует ограничиться лишь находками со счётом более 40 (если вдруг и их больше 10000, то поднимите порог ещё выше).
Превратите список найденных участков белков, при применении к которым профиль дал счёт больше заданного, в список самих белков (в одном белке может иногда найтись несколько участков). При каждом найденном белке должен храниться максимальный из счетов его участков. Чтобы получить такой список, нужно немного обработать выдачу (в Excel может помочь "Сводная таблица" – "Pivot table" или правильно написанная и применённая формула с последующей сортировкой...)

Проанализируйте список найденных белков и сравните его со списком всех белков подсемейства

Вычислите и укажите в отчёте следующие характеристики списка найденных белков:
1. Число верных находок ("True positive hits", TP), то есть тех, которые присутсвуют как в списке находок, так и в списке белков подсемейства
2. Число ложных находок ("False positive hits", FP): белков, не принадлежащих подсемейству, но попавших в список находок; они же ошибки первого рода.
3. Число ненайденных белков подсемейства (ложноотрицательных результатов, "False negatives", FN), или ошибок второго рода.
4. Чувствительность TP/(TP+FN).
5. Селективность TP/(TP+FP).
Для понимания следующего задания отметим, что все перечисленные характеристики можно вычислять и для тех списков находок, которые будут получаться, если "поднять порог", то есть считать находками лишь те белки, которые имеют счёт более некоторого числа (вообще говоря, большего, чем порог при поиске).
Постройте ROC-кривую. Под ROC-кривой в нашем случае понимается набор точек, чьи горизонтальные координаты равны числам FP при всевозможных (в некотором диапазоне) порогах, а вертикальные – соответствующим значениям TP. Если соединить точки, отвечающие соседним значениям порога, то получится ломаная, которая при большом числе находок выглядит как кривая.
Грубо говоря, чем выше расположена эта кривая, тем лучше наш профиль. См. также http://en.wikipedia.org/wiki/ROC_curve, там описан немного другой вариант ROC-кривой, который в нашем случае менее удобен.
Сам график имеет смысл строить в Excel, данные можно готовить как в Excel, так и написав подходящий скрипт.
Подберите значение порога так, чтобы селективность была близка к селективности созданного на предыдущем занятии паттерна. Сравните чувствительность паттерна и профиля.
(* — дополнительно). Попробуйте отредактировать профиль так, чтобы его характеристики улучшились (лучшая селективность при той же чувствительности, более высоко расположенная ROC-кривая и т.п.).