!wget "http://biocomputo.ibt.unam.mx/operon_mapper/tmp/list_of_operons_3481957" #Скачиваю список оперонов бактерии Pseudomonas aeruginosa
alph = {"A": "T",
        "T": "A",
        "G": "C",
        "C": "G"}

Table = pd.DataFrame(Ind_operon).T
Table.columns = ['Operon', 'IdGene', 'Type', 'COGgene', 'PosLeft', 'postRight', 'Strand', 'Function']
Table.set_index('Operon', append=True)
Table.index = range(1, len(Table) + 1)
Table_with_F = Table.replace("NA", np.nan).dropna(axis=0, subset=['Function'])
Table_with_F                                                                      #Tables - удобная таблица, составленная из списка оперонов. При этом отобраны только первые CDS с известной функцией (без NA в колонке Function). 

mask = list(map(lambda x: bool(len(re.findall(r"[Tt]ranscription[\w\s]+[Ff]actor|[\s\w]*\[J\][\s\w]*|[\w\s]*[RNADNA][\w\s]polymerase|[\s\w]*\[C\][\s\w]*|[\s\w]*P450[\s\w]*|[\w\s]*ATPase[\w\s]*", x))), Table_with_F.Function))
Table_house = Table_with_F[mask]     #Сложный отбор housekeeping генов с помощью языка re. Отбирал: 1) Транскрипционные факторы, 2) CDS с категорией [J] (Translation, ribosomal structure and biogenesis), 3) RNA и DNA полимеразы, 4) P450, 5) ATPазы.  
Table_house.index = list(map(int, Table_house.index))
Table_house

seed = 234
Train_table = Table_house.sample(60, random_state=seed)       #Берём обучающую выборку из 40 оперонов. 

Train_table

set_all = set(Table.index)
set_train = set(oper_seq_train.keys())
set_test = set_all.difference(set_train)           #Все опероны, не попавшие в train, идут в test. 
Test_table = Table.loc[sorted(list(map(int, set_test))), :]    
Test_table

fimo0_01 = pd.read_csv('fimo0_01.tsv', sep='\t')
row = fimo0_01.shape[0]
print(f"Количество найденных находок: {row} ")
n_s = len(fimo0_01.sequence_name.dropna().unique())
print(f"Количество последовательностей, в которых нашлись находки (хотя бы одна): {n_s}")
fimo0_01.sequence_name.value_counts()                                                            #На Operon №2137 приходится 16 найденных мотивов! Это беда... Понижаем порог.

fimo0_001 = pd.read_csv('fimo0_001.tsv', sep='\t')
row = fimo0_001.shape[0]
print(f"Количество найденных находок: {row} ")
n_s = len(fimo0_001.sequence_name.dropna().unique())
print(f"Количество последовательностей, в которых нашлись находки (хотя бы одна): {n_s}")
fimo0_001.sequence_name.value_counts()                                                            #Сильно лучше, но я бы попробовал ещё чуть-чуть уменьшить порог.

fimo0_0005 = pd.read_csv('fimo0_0005.tsv', sep='\t')
row = fimo0_0005.shape[0]
print(f"Количество найденных находок: {row} ")
n_s = len(fimo0_0005.sequence_name.dropna().unique())
print(f"Количество последовательностей, в которых нашлись находки (хотя бы одна): {n_s}")
fimo0_0005.sequence_name.value_counts()                                                                #Сильно лучше не стало, а количество находок сильно уменьшилось => будем брать порог 0.001

fimo0_0001 = pd.read_csv('fimo0_0001.tsv', sep='\t')                      
row = fimo0_0001.shape[0]
print(f"Количество найденных находок: {row} ")
n_s = len(fimo0_0001.sequence_name.dropna().unique())
print(f"Количество последовательностей, в которых нашлись находки (хотя бы одна): {n_s}")
fimo0_0001.sequence_name.value_counts()                                                                  #Отлично, но мало :)

fimo0_00001 = pd.read_csv('fimo0_00001.tsv', sep='\t')                      
row = fimo0_00001.shape[0]
print(f"Количество найденных находок: {row} ")
n_s = len(fimo0_00001.sequence_name.dropna().unique())
print(f"Количество последовательностей, в которых нашлись находки (хотя бы одна): {n_s}")
fimo0_00001.sequence_name.value_counts()                                                                  #Самые лучшие находки... В небольшом количестве.

fimo0_001_neg = pd.read_csv('fimo0_001_Neg.tsv', sep='\t')                      
row = fimo0_001_neg.shape[0]
print(f"Количество найденных находок: {row} ")
n_s = len(fimo0_001_neg.sequence_name.dropna().unique())
print(f"Количество последовательностей, в которых нашлись находки (хотя бы одна): {n_s}")
fimo0_001_neg.sequence_name.value_counts()                                                               #Получилось 40 мотивов в 33 последовательностях... Сильно меньше, чем в тестовом наборе.