Читаю книжку The signal and the noise: why so many predictions fail — but some don't. Предсказания, особенно правильные, нужны и полезны. И прогнозы тоже. Но некоторые вещи "мы" умеем предсказывать, а некоторые -- нет, даром что дармоедов у кормушки много собралось и каждый спрогнозировать норовит. С удивлением узнал что с прогнозом погоды обстоит лучше всего. В разумных пределах. До десяти дней вперёд получается предсказывать температуру и осадки лучше чем если брать среднеисторические значения для данного месяца данной местности. Опять же узнал что когда они говорят "вероятность дождя 30%", то это не просто отмазка чтобы можно было оправдать любой результат, а действительно, если взять все прошлые прогнозы когда обещали 30% дождя, то где-то в 30% случаев дождь был, а в 70 его не было. Не у всех, конечно, такая точность. Местные новости любят завышать вероятность дождя, из, цитирую, "политических соображений".
Если с погодой хорошо, то с землетрясениями хуже. Ничего лучше правила Гутенберга-Рихтера (кратко: чем землетрясения сильнее, тем они реже, примерно в соответсвии с power law, причём правило выполняется как для планеты в целом, так и для отдельных его регионов, только с разными коеффициентами) не получается. Это правило позовляет примерно прикинуть сколько лет в среднем между очень сильными землетрясениями (которых пока даже не видели) по нескольким наблюдённым слабым, но совсем не позволяет сказать когда именно. И никакие взволнованные домашние животные, квакающие лягушки, усиление выхода радона ни с чем не коррелируют. Заодно узнал что до 2004 года было зафиксировано только 3 землетрясения c силой больше 9 баллов.
Наводнения и пути ураганов предсказывать более-менее умеют, но никто не слушает. Парадоксально, пережившие прошлый необычно сильный ураган более склонны игнорировать предупреждения о следующем: зачем беспокоиться, предыдущий же пережили. Survival bias в чистом незамутнённом виде.
Предсказания экономики и процентного изменения GDP в частности, не работают, можно сказать, вообще. Дело даже не в том что редко угадывают, а в том что при этом щёки слишком сильно надувают, преувеличивая собственную проницательность: в половине случаев GDP не попадает в 90%-й confidence interval от прошолгоднего предсказания, как хотите так этот факт и интерпретируйте.
Ещё было про покер, бэйсбол с баскетболом (ничего не запомнил потому что заснул пока читал) и ещё будет про рынки, терроризм, войну и климат (пока не дочитал).
Через всю книжку красной нитью проходит утверждение что фишерианский подход к статистике реакционен и в корне порочен, а вот байесианский, зато, духовен и ведёт к процветанию.
Кстати, о теореме Байеса.
В связи с чтением этой книжки, я решил почитать в других местах на похожую тему, и наткнулся на забавную интерпретацию теоремы Байеса.
В обычной своей формулировке у меня эта теорема вызывала у меня не то чтобы недоумение, а скорее раздражение: какая-то странная бессмысленная формула. Полезная в определённых ситуациях, но непонятно как такое запомнить -- в те редкие разы когда мне надо было, я просто её выводил каждый раз, благо теоремка простая совсем. Выведу и сейчас, чтобы было понятно о чём это я.
P(A|X) — вероятность события A при условии что событе X тоже произошло.
P(A|X)=P(A&X)/P(X), аналогично:
P(X|A)=P(X&A)/P(A), отсюда:
P(A&X)=P(X&A)=P(X|A)*P(A), подставляем:
P(A|X)=P(X|A)*P(A)/P(X)
Обычно P(X) содержательного смысла не имеет и неизвестно, зато имеет смысл и известно P(X|~A).
В этом случае, по формуле полной вероятности P(X)=P(X|A)*P(A)+P(X|~A)*(1−P(A)) и окончательно:
P(A|X)=P(X|A)*P(A)/(P(X|A)*P(A)+P(X|~A)*(1−P(A)))
Это интерпретируют так: A — гипотеза которую мы хотим проверить. X — это тест который может сработать или нет, P(X|A) — вероятность срабатывания теста если А таки действительно true, P(X|~A) — вероятность ложного срабатывания, известного прогрессивному человечеству как false positive. То есть до теста мы думали что вероятность A равна чему-то, решили проверить, провели тест, ура, тест сказал да, соответсвенно новая обновлённая вероятность должна увеличиться. Теорема Байеса позволяет вычислить насколько именно.
Тут две неочевидности. Во первых все, так называемые, нормальные люди полагают, что если известно что тест X говорит "да" в 99% (=P(X|A)) случаях когда A, и тест только что нам сказал "да", то вероятность A теперь 99% (P(A|X)=P(X|A)). Это в корне неверно. На самом деле существенную роль играет также вероятность false positive (P(X|~A)), а также, что ещё менее очевидно, априорная вероятность A, вероятность, которую мы приписывали A до теста. И формула Байеса это всё описывет количественно, но совершенно неинтуитивно.
А вот на что обратил внимание
http://yudkowsky.net/rational/bayesE. T. Jaynes, in "Probability Theory With Applications in Science and Engineering", suggests that credibility and evidence should be measured in decibels.
Decibels?
Перепишем
P(A|X)=P(X|A)*P(A)/(P(X|A)*P(A)+P(X|~A)*(1−P(A))), поделим числитель и знаменатель на P(X|~A):
P(A|X)=[P(X|A)/P(X|~A)]*P(A)/([P(X|A)/P(X|~A)]*P(A)+(1−P(A)))
Обозначим [P(X|A)/P(X|~A)]=F. Это будет "сила" теста X. Интуитивно -- это очень понятная величина, отношение true positive к false positives. Понятно, что чем оно больше, тем тест "сильнее". Тест который говорит правду в 10 раз чаще чем врёт, ровно в 5 раз лучше теста который говорит правду только в 2 раза чаще чем врёт. Если F=1, то такой тест врёт так же часто как и говорит правду, поэтому бесполезен.
Обозначим также P(A)=p0 (вероятность до теста), P(A|X)=p1 (вероятность после теста) чтобы буковок меньше было.
p1=F*p0/(F*p0+(1−p0))
p1*F*p0+p1-p1*p0=F*p0
p1*(1−p0)=F*p0*(1−p1)
p1/(1−p1)=F*p0/(1−p0)
Величина p/(1−p), где p -- вероятность, тоже довольно интуитивна. Это отношение "выигрышных событий" к "проигрышным событиям", в то время как p -- отношение "выигрышных событий" ко всем событиям вообще. Просто так исторически сложилось что вероятность используется чаще. Но и так иногда тоже говорят: шанс три к двум -- это 60% на наши деньги. В английском языке даже слово специальное есть, odds, применяется всякими букмекерами и как раз это и обозначает. В общем, если вместо "вероятности" говорить о "шансах", то формула Байеса выглядит так:
[новый шанс A]=["сила" свидетельства X]*[старый шанс A]
То есть если раньше мы думали что шансы A 1:2980, потом выполнили тест который правдив в 10 раз чаще чем лжив и он сказал да, то теперь нам есть полный смысл считать что шансы A возросли в 10 раз, то есть стали 1:298 (а не 10:1, как можно было бы подумать если сильно не думать). В качестве дополнительного бонуса, если проведём ещё один независимый от первого тест с силой 2:1 и он тоже скажет "да", то новый шанс A станет 1:149 и этот процесс можно продолжать пока не исчерпаются независимые тесты.
В такой формулировке ничего неочевидного не остаётся, непонятно нужно ли это вообще называть теоремой. Почему так в школе не объясняют, почему я это должен в интернете прочитать 20 лет спустя?
Децибелы тут притом что умножать трудно, поэтому мы прологарифмируем, умножим на 10 потому что все так делают, назовём это децибелами и будем складывать. Свидетельство силой 10 — это 10 децибел, 100 — 20 децибел, 1 — 0 децибел, 1:10 — −10 децибел и т.д.
Исходную вероятность тоже можно выразить в децибелах. Вот, я даже картинку нарисовал как это делать.
50% — это 0 децибел
30%= −3.7 децбел
75%= 4.8 децибел и т.д.
К априорной вероятности в децибелах добавляют результаты независимых тестов в децибелах же и при желании конвертируют результирующие децибелы в апостериорную вероятность.
Примерчик бы ещё сюда поинтересней.
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
