Poor reproducibility and low predictive values of the results in the genetics of predispositions become a systemic problem. Results of the statistical quality control of genetic tests in the study should be supported with not only integral indices such as odds ratios (OR), but with the post-test (posterior) predictive probabilities (PPV and NPV) and likelihood ratios (LR[+] and LR[-]). Usefulness of predictiveness graphs for visualization of the relationships between the prevalence as a pretest (prior) probability of disease and predictive values PPV and NPV as posttest (posterior) probabilities is demonstrated. Predictive capabilities of widely used genetic, observational, instrumental and immunological diagnostic tests are discussed. Several examples of such tests are presented and it is shown that despite of their high statistical significance they are not able to provide clinically important association between the disease and biomarker. The predictive power of the vast majority of genetic markers (given very wide confidence intervals due to small sample sizes) differs little from the population prevalence of the disease. Extremely rare the odds ratios in the studies on the genetics of dispositions exceed practically critical OR = 5. As a result, in most cases, recommendations of medical geneticists are based on clinically negligible (though statistically significant) recognizablity and predictability of genetic markers.

1. • I Международный Форум
• «Молекулярная медицина - новая модель
здравоохранения XXI века: технологии,
экономика, образование»
• 26 – 27 июня 2013
• Санкт-Петербургский государственный
университет экономики и финансов
1

2. Воспроизводимость и предсказательная
ценность результатов в генетике
предрасположенностей
Рубанович Александр Владимирович,
Хромов-Борисов Никита Николаевич
Институт общей генетики им. Н.И.Вавилова РАН
Rubanovich@vigg.ru
Санкт-Петербургский государственный медицинский
университет им. акад. И.П. Павлова
Nikita.KhromovBorisov@gmail.com
2

3. Диморфизм G1245T в гене Col1A1 и БОГО (болезни с ограниченной
генетической обусловленностью: остеопороз и др.)
GG
(SS)
GT
(Ss)
TT
(ss)
13 7 0
26 6 3
23 6 6
К 26 17 7
2 2 0
К 85 34 2
25 15 2
К 61 27 1
GG
(SS)
GT
(Ss)
TT
(ss)
ГП
СЗ 75 24 13
СЗ 27 12 6
СЗ 32 17 8
СЗ-К 34 12 2
СЗ-К 118 51 5 с. 173
СЗ 86 24 14 с. 173
СЗ 23 24 23 с. 173
BF = 0,000095, а без последней строки: BF = 3159,6
ГП – Генетический паспорт - основа индивидуальной и
предикативной медицины. (Под ред. В. С. Баранова). СПб.: Н-Л, 2009,
528 с.

4. Численности генотипов по диморфизму G1245T (Sp1) в гене Col1A1 в
двух выборках больных тяжелым остеопорозом из «популяции Санкт-
Петербурга»
Авторы
Численности генотипов
РХВ,
Pval
Однород-
ность
групп,
Pval и BFG/G G/T T/T Всего
Мищенко и
др., 2006
32 17 8 57 0,12 P val =
0,014
BF10 = 2,6
Москаленко и
др., 2004
23 24 23 70
0,026
Всего 55 41 31 127 < 10-6
Обозначения: РХВ - равновесие Харди-Вайнберга; BF – Бейзов фактор
Отклонение от РХВ обусловлено избытком гомозигот (реальный
инбридинг или ошибки генотипирования?).
4

5. Проект формата для представления генетических данных и
результатов их анализа
Генотипы
Мищенко и др., 2006 Москаленко и др., 2004 Всего
Nij fij Nij fij Nij fij
G/G 32 0,360,560,75 23 0,180,330,51 55 0,310,430,57
G/T 17 0,140,300,49 24 0,190,340,52 41 0,210,320,45
T/T 8 0,040,140,31 23 0,180,330,51 31 0,140,250,37
Всего 57 1,00 70 1,00 127 1,00
Согласие с
РХВ
точное Pval 0,12 0,026 < 10-6
FIS 0,020,280,52 0,090,310,52 0,150,330,49
Однорд-
ность
групп
точное Pval 0,014
BF10 2,6
FIS – коэффициент инбридинга (индекс фиксации). В подстрочниках указаны
точные 99%-е ДИ для полиномиальных вероятностей (долей), вычисленные
с помощью программы StatXact-8 (Cytel, USA)
5

6. Фармакогенетика
• Lenzini P., Wadelius M., Kimmel S., Anderson J.L., Jorgensen
A.L., Pirmohamed M., Caldwell M.D., Limdi N., Burmester
J.K., Dowd M.B., Angchaisuksiri P., Bass A.R., Chen J.,
Eriksson N., Rane A., Lindh J.D., Carlquist J.F., Horne B.D.,
Grice G., Milligan P.E., Eby C., Shin J., Kim H., Kurnik D., Stein
C.M., McMillin G., Pendleton R.C., Berg R.L., Deloukas P.,
Gage B.F.
• Integration of genetic, clinical, and INR data to refine
warfarin dosing.
• Clin. Pharmacol. Ther. Volume 87, No 5, 2010, 572-578.
6

7. Индивидуальный подбор доз фарфарина
• Фармакогенетическая поддерживающая доза (mg/week) =
• EXP [3,10894 − 0,00767  age − 0,51611  ln(INR) − 0,23032  VKORC1-
1639 G>A − 0,14745  CYP2C9*2 − 0,3077  CYP2C9*3 + 0,24597  BSA +
0,26729  Target INR − 0,09644  African origin − 0,2059  stroke −
0,11216  diabetes − 0,1035  amiodarone use − 0,19275  fluvastatin
use + 0,0169  dose−2 + 0,02018  dose−3 + 0,01065  dose−4].
• Клиническая поддерживающая доза (mg/week) =
• EXP [2,81602 − 0,76679  ln(INR) − 0,0059  age + 0,27815  target INR −
0,16759  diabetes + 0,17675  BSA − 0,22844  stroke − 0,25487 
fluvastatin use + 0,07123  African origin − 0,11137  amiodarone use +
0,03471  dose−2 + 0,03047  dose−3 + 0,01929  dose−4].
7

8. 8
Фармакогенетически
предсказанные дозы варфарина
Клинически предсказанные
дозы фарфарина

9. • Едва ли не наиболее фундаментальный результат генетики
предрасположенностей - противоречивость результатов и
противоречивость их интерпретаций.
• Основная причина противоречивости результатов и
противоречивости их интерпретаций – их плохая
воспроизводимость и чрезвычайно низкая предсказательная
способность.
• Поэтому не следует доверять утверждениям о якобы практической
(клинической) ценности этих исследований, которыми пестрят
бесчисленные исследования генетических предрасположенностей.
• Они остаются голословными, если не подтверждены многократно в
независимых исследованиях.
• Но даже если они воспроизводятся, то должна быть
продемонстрирована (оценена) их предсказательная способность,
приемлемая для практического (клинического) использования.
9

10. Опытная проверка имеет статистический
характер
• В подавляющем большинстве случаев
эксперимент позволяет установить лишь
статистический характер зависимости
между изучаемыми явлениями.
• Статистический характер результатов
неизбежно приводит к необходимости
многократно повторять эксперименты и/или
наблюдении и проверять их
воспроизводимость.
• Воспроизводимость (повторяемость)
является Золотым стандартом науки.
10

11. Повторение – мать познания
• Научные выводы воистину становятся научными, когда они
обладают предсказательной силой или прогностической
(эвристической) способностью.
• Выводы, сделанные на основе анализа единичной
повторности эксперимента, не могут обладать
предсказательной способностью.
• В стандартных учебных пособиях по статистике эта проблема
даже не упоминается.
• «Повторение составляет суть науки: ученый должен всегда
задумываться о том, что произойдет, если он или другой
ученый повторят его эксперимент» (Guttman, 1977).
• «Ученые разработали метод определения надежности
(валидности) своих результатов.
• Они научились задавать вопрос: воспроизводимы ли они?»
(Scherr, 1983).
11

12. • Результаты исследования заслуживают
внимания, опубликования и цитирования,
только после того как независимые
исследователи повторят их, используя
описанные авторами материалы и методы.
• Ни один уважающий себя ученый не
ограничивается в своих исследованиях
одним-единственным опытом (или
наблюдением), хотя бы ради того, чтобы
исключить неизбежные ошибки наблюдения,
измерений, подсчетов и т. д.
12

13. • Ioannidis J.P.A.
• Why most published research findings are
false
• PLoS Med., 2005. – Vol. 2. – No. 8. - Paper:
e124.
13

14. Системная проблема современной науки
• Недавно появилось сообщение о том, что ученые
известной биотехнологической компании Amgen не
смогли подтвердить (воспроизвести) результаты 47 из
53 статей, которые казались очень плодотворными
для запуска программ по производству новых
лекарств.
• В одном исследовании, которое за короткий период
цитировалось более 1900 раз, даже сами авторы
впоследствии не смогли воспроизвести собственные
результаты.
• Авторы приходят к выводу, что плохая
воспроизводимость результатов становится
системной проблемой современной науки.
14

15. Begley C.G., Ellis L.M. Raise standards for preclinical cancer
research // Nature, 2012. – Vol. 483. – P. 531-533.
• Гленн Бегли (C. Glenn Begley), бывший вице-
президент известной биотехнологической
компании Amgen, и его коллега Ли Эллис (Lee M.
Ellis) недавно сообщили, что ученые этой
компании не смогли подтвердить
(воспроизвести) результаты 47 из 53 статей,
которые казались очень плодотворными для
запуска программ по производству новых
лекарств.
15

16. • Бегли и Эллис считают, что плохая
воспроизводимость результатов
становится системной проблемой
современной науки.
• В одном исследовании, которое за
короткий период цитировалось более
1900 раз, даже сами авторы впоследствии
не смогли воспроизвести собственные
результаты.
16

17. Можно перечислить по крайней мере шесть показателей того,
что выводы какой-либо научной статьи являются ненадежными:
• - 1. образцы исследованы без использования
приема ослепления;
• - 2. в отчете представлены не все результаты;
• - 3. эксперименты не были повторены;
• - 4. использованы неадекватные статистические
методы;
• - 5. использованы не сертифицированные
реагенты (например, поликлональные антитела);
• - 6. не приведены результаты позитивных и
негативных контролей.
17

18. Из истории эпидемиологических исследований:
факторы риска для возникновения рака
(Altman, Simon, JNCI, 1992)
• Электробритвы
• Холодильники
• Флюоресцентные
светильники
• ЛЭП – линии
электропередач
• Аллергия
• Содержание певчих
птиц
• Хот-доги
• Разведение северных
оленей
• Профессия –
официант
• Высокий рост
• Малый рост
• И, конечно,
мобильные
телефоны!
18

19. • Обширный перечень зачастую курьезных
медицинских заблуждений о разнообразных
факторах риска, оказавшихся
несостоятельными, приведен в работе:
• Buchanan A.V., Weiss K.M., Fullerton S.M.
• Dissecting complex disease: the quest for the
Philosopher’s Stone?
• International Journal of Epidemiology 2006. –
Vol. 35. – P. 562–571
19

20. Перечень невоспроизводимых результатов
• Гормонозаместительная терапия и
заболевания сердца
• Гормонозаместительная терапия и
рак
• Стресс и язва желудка
• Ежегодные физические
обследования и предотвращение
болезней
• Нарушения поведения и их
причины
• Маммография и предупреждение
рака
• Самообследование молочных
желез и предупреждение рака
• Эхинацея и простуда
• Витамин С и простуда
• Детский аспирин и
предупреждение болезней
• Поваренная соль и гипертензия
• Потребление жира и заболевания
сердца
• Пищевой кальций и прочность
костей
• Ожирение и болезни
• Пищевые волокна и
колоректальный рак
• Пищевая пирамида и
рекомендуемые суточные нормы
потребления
• Холестерин и сердечнососудистые
заболевания
• Гомоцистеин и
сердечнососудистые заболевания
• Воспаления и сердечнососудистые
заболевания
• Оливковое масло и рак молочной
железы
20

21. Перечень невоспроизводимых результатов (продолжение)
• Беспокойство и ожирение
• Солнце и рак
• Ртуть и аутизм
• Родовспоможение и щизофрения
• Материнская забота и
шизофрения
• Что-то еще и шизофрения
• Красное вино (но не белое и не
виноградный сок) и заболевания
сердца
• Сифилис и гены
• Материнская забота и аутизим
• Грудное вскармливание и астма
• Искусственное вскармливание и
астма
• Бог знает, что и астма
• Силовые трансформаторы и
лейкемия
• Атомные электростанции и
лейкемия
• Мобильные телефоны и опухоли
мозга
• Витаминные антиоксиданты и рак
или старение
• Организация медицинского
обеспечения и удешевление
медицинский услуг
• Организация медицинского
обеспечения и оздоровления
населения
• Гены – и вы можете сами назвать,
что еще!
21

22. Мифы об AB0
• Классическим примером неподтвержденных связей с различными
состояниями человека может служить система группы крови AB0.
• Сообщались самые невероятные явления.
• Якобы у субъектов с А более тяжелое похмелье;
• у субъектов с 0 более здоровые зубы;
• военные с 0 слабохарактерны, а с B более импульсивны;
• субъекты с B более склонны к преступлениям;
между AB0 и пищеварением – сильная связь: для каждой группы
своя диета; аллель 0 якобы более древняя и поэтому ее носители –
охотники и плотоядны, а аллель A моложе и поэтому ее носители –
фермеры и вегетарианцы;
• у субъектов с А2 более высокий IQ;
• люди с группой В чаще испражняются.
• Все эти связи не воспроизводятся и практически забыты.
22

23. • Статистически «доказанными» до сих пор
остаются лишь связи между группами крови
AB0 и злокачественными
новообразованиями, тромбозами,
пептическими язвами, кровотечениями,
бактериальными и вирусными инфекциями.
• Увы, клинической (практической) ценности
эти связи не имеют, поскольку такой
показатель статистической связи как
отношение шансов (OR) для них не
превышает значения OR = 1,5.
23

24. Рубанович А.В., Хромов-Борисов Н.Н. Теоретический анализ
показателей предсказательной эффективности бинарных генетических
тестов // Экол. Генетика, 2013. – Т. 11. – С. 77-90.
• Общепринято для OR интерпретировать значения ≤ 1,5 как
практически ничтожные, от 1,5 до 3,5 – низкие, от 3,5 до 9,0 –
умеренные, от 9,0 до 32 – высокие и > 32 – очень высокие.
• Наше теоретическое исследование показывает, что при OR < 2,2
маркер обладает заведомо низкой прогностической
эффективностью во всех смыслах и при любых частотах
встречаемости заболевания и маркера.
• Маркер может быть хорошим классификатором, если OR > 5,4, при
условии, что его популяционная частота достаточно высока
(pM > 0,3).
• На практике это означает, что указанным неравенствам должны
удовлетворять нижние границы доверительного интервала для
оцениваемого значения ORL.
• Ранее близкие значения критических уровней наблюдаемых
эффектов в генетике предрасположенностей предлагались для
относительных рисков (RR < 2 и RR > 5).
24

25. Предсказательная способность
• Рассмотрим нейтральный пример (казалось
бы, далекий от генетики) о связи между
алопецией (облысением) и ишемической
болезнью сердца (ИБС).
• 9510 врачей-мужчин наблюдали за собой в
течение 11 лет и фиксировали у себя
наступление двух событий – развитие
алопеции и ИБС.
• Данные представлены в таблице.
• Мы можем рассматривать алопецию как
маркер (M) наличия ИБС (D).
25

26. Lotufo P.A., Chae C.U., Ajani U.A., Hennekens C.H., Manson J.A.E. Male
pattern baldness and coronary heart disease: The Physician's Health Study
// Arch. Intern. Medicine, 2000. – Vol. 160. – P. 165-171.
ИБС
Всего
Предсказатель-
ностиАлопеция Есть, D+ Нет, D-
Есть, M+
127
0,0700,0940,123
1224 1351 PPV = P(D+|M+)
= 0,070,100,12
Нет, M-
548
0,0580,0670,077
7611 8159 NPV =
P(D-|M-)
= 0,920,930,94
Всего
675 8835 9510 PrevD = P(D+)
= 0,060,070,08
Распознавате-
льности
Se = P(M+|D+)
= 0,140,190,24
Se = P(M-|D-)
= 0,850,860,87
PrevM = P(M+) =
0,130,140,15
LR[+] =
P(M+|D+)/P(M+|D-)
= 1,021,361,77
LR[-] =
P(M-|D-)/P(M-|D+)
= 1,001,061,14
AUC = (Se + Sp)/2 = 0,500,530,56
Однородность
Pval = 0,00058 ≈ 6·10-6
BF10 = 18,9
Связь OR = 1,021,452,01
26

27. • Использованы традиционные обозначения для основных показателей
распознавательной и предсказательной способностей диагностического
теста:
• Se - чувствительность,
• Sp - специфичность,
• LR[+] и LR[-] - отношения правдоподобий для «позитивов» и «негативов»
(положительных и отрицательных результатов теста),
• PPV и NPV – предсказательные ценности «позитивов» и «негативов»,
• PrevD и PrevM - распространенности маркера и заболевания,
• AUC - площадь под ROC-кривой,
• Pval - значение P,
• BF - бейзов фактор и
• OR - отношение шансов.
• В виде построчных индексов слева и справа от точечных статистических
оценок этих показателей указаны границы 99,9%-х доверительных
интервалов.
• Использованы программа
• LePAC (http://www.univ-rouen.fr/LMRS/Persopage/Lecoutre/PAC.htm)
• и оригинальная программа DiagStat.xls.
27

28. • Статистически связь между алопецией и развитием ИБС оказывается
высоко значимой (Pval = 0,00058 ≈ 6·10-4).
• Полученное значение бейзова фактора (BF10 =18,9) показывает, что
примерно в 19 раз более правдоподобно получить такие данные,
когда эта связь действительно есть, чем когда ее нет.
• Соответственно, шансы (odds) в пользу наличия связи между
алопецией и ИБС в 19 раз превышают шансы в пользу отличия такой
связи.
• Однако клиническая ценность этих данных ничтожная.
• Чувствительность алопеции как маркера для ИБС –
неинформативная: Se = P(M+|D+) = 0,140,190,24
• Специфичность умеренная: Se = P(M-|D-) = 0,850,860,87
• Значение AUC = 0,500,530,56 практически не отличатся от
неинформативного значения AUCuninf = 0,5.
• Оба отношения правдоподобий LR[+] = 1,021,361,77 и LR[-] = = 1,001,061,14
• ничтожно мало отличаются от их неинформативных значений
LR[+]uninf = LR[-]uninf = 1.
28

29. PPV – предсказательная ценность
• Предсказательная (посттестовая,
апостериорная) вероятность наличия ИБС
у субъектов с алопецией:
• PPV = P(D+|M+) = 0,070,100,12
пренебрежимо мало отличается от ее
распространенности, т.е. от претестовой
(априорной) вероятности:
• PrevD = P(D+) = 0,060,070,08
29

30. • Известно, что евнухи, когда они становятся евнухами в
возрасте до 25 лет, не лысеют.
• Вряд ли найдется врач, который на основании этих
данных будет рекомендовать молодым людям
обзаводиться детьми до 25 лет, а потом становится
евнухами, чтобы не лысеть и чтобы на 2% снизить риск
развития у них ИБС.
• Тем не менее, это очень похоже на рекомендации
медицинских генетиков, подавляющее большинство
которых слишком часто бывают основаны на столь же
клинически ничтожных значениях распознавательной
и предсказательной способностей генетических
маркеров.
• Редко значения отношения шансов в этих работах
превышают значение OR > 2.
30

31. Лучше один раз увидеть
• Результаты статистического контроля
качества диагностических тестов полезно
наглядно представлять в виде графиков
предсказательностей.
• Примеры приведены на рисунках.
31

32. Simon A., Worthen D. M., Mitas J. A.1979. An evaluation of iridology // JAMA, V. 242, N 1, P.
1385-1389. 13.Mäki M., Mustalahti K., Kokkonen J., et al. 2003. Prevalence of celiac disease
among children in Finland // N. Engl. J. Med, V. 348, 2517-2524.
Алопеция и ИБС
Иридодиагностика и почечная
недостаточность
32

33. Druzhevskaya A.M, Ahmetov I.I., Astratenkova I.V., Rogozkin V.A. 2008. Association of the ACTN3 R577X
polymorphism with power athlete status in Russians // Eur. J. Appl. Physiol., 2008. – Vol. 103. – P. 631–634.
Кундас Л.А., Жур К.В., Бышнев Н.И. и др. Анализ молекулярно-генетических маркеров, ответственных
за устойчивость к физическим нагрузкам, у представителей академической гребли // Молекулярная и
прикладная генетика: сб. науч. тр. Институт генетики и цитологии НАН Беларуси; (гл. ред. А.В.
Кильчевский). 2013. - Минск: ГНУ «Институт генетики и цитологии НАН Беларуси», Т. 14. – C. 101-105.
Ген ACTN3 и элитные атлеты Ген PPARG и элитные гребцы
33

34. Mayeux R., Saunders A.M., Shea S., et al. 1998. Utility of the apolipoprotein E genotype in the
diagnosis of Alzheimer’s disease // N. Engl. J. Med., 1998. – Vol. 338. – P. 506-511.
Mäki M., Mustalahti K., Kokkonen J., et al. 2003. Prevalence of celiac disease among children in
Finland // N. Engl. J. Med, 2003. – Vol. 348. – P. 2517-2524.
Ген APOE и болезнь Альцгеймера Гаплотипы HLA и целиакия
34

35. Banks E., Reeves G., Beral V. et. al. Influence of personal characteristics of individual women on
sensitivity and specificity of mammography in the Million Women Study: cohort study // BMJ,
2004. – Vol. 329. – No. 7464. – P. 477-479.
Kevin P. Delaney K.P., Branson B.M., Apurva Uniyal A. et al. Performance of an oral fluid rapid
HIV-1/2 test: experience from four CDC studies // AIDS, 2006. – Vol. 20. – P. 1655–1660.
Маммография и рак молочной
железы Экспресс-тест на ВИЧ
35

36. 1959 г. Доклад «от 15 до 18»
Центрального Консультативного Совета по
образованию США (доклад Crowther)
• Статистическое невежество и
статистические ошибки так же широко
распространены и так же опасны, как
логические ошибки, которые принято
заносить под рубрику неграмотности.
• Цит. по: Броуди М. Б. О статистическом
рассуждении. – М.: Статистика, 1968. - 70 с.
36

37. ГОСТ Р 53022.3-2008
• Настоящий стандарт
устанавливает единые
правила оценки клинической
информативности
лабораторных исследований,
выполняемых в клинико-
диагностических
лабораториях медицинских
организаций в целях оценки
состояния здоровья,
клинической диагностики и
слежения за эффективностью
лечения пациентов.
37

38. • Тишков А.В., Хромов-
Борисов Н.Н.,
Комашня А.В., и др.
Статистический
анализ таблиц в
диагностических
исследованиях, 2013.
– СПб.: Изд-во
СПбГМУ, 20 с.
38

39. 39