Головні ідеї книги

Сигнал і шум. Чому більшість прогнозів виявляються хибними

Нейт Сілвер, 2012

Чому рейтингові агентства 2008 року помилилися у двісті разів, а синоптики з кожним роком вгадують дедалі точніше? Нейт Сілвер розбирає фінанси, погоду, землетруси, бейсбол, покер, клімат і тероризм. І всюди показує одне: прогноз провалюється, коли шум сприймають за сигнал, і працює, коли мислять імовірностями.

Кому підійде

Для тих, кого втомили впевнені експерти й хто хоче розуміти, яким прогнозам вірити. І для тих, хто сам ухвалює рішення в умовах невідомості.

Сигнал є правдою. Шум є тим, що відволікає нас від правди.

Більше даних, більше помилок

У середині п’ятнадцятого століття Гутенберг запустив друкарський верстат, і книжок раптом стало багато. Здавалося б, люди мали порозумнішати. Але спершу друк розніс Європою релігійні суперечки, які вилилися у війни. Минуло чимало часу, перш ніж велика кількість інформації почала приносити користь. Нейт Сілвер починає книжку саме із цього: коли знань стає більше, відрізнити правду від шуму спочатку не легше, а важче.

Сілвер є статистиком, який придумав систему прогнозів для бейсболу, кілька років заробляв покером, а потім прославився передбаченнями американських виборів. У 2012 році він видав цю книжку. У ній він по черзі розбирає сфери, де люди намагаються вгадати майбутнє: фінанси, політику, погоду, землетруси, спорт, клімат, тероризм. І в кожній запитує те саме: чому тут прогнози провалюються, а там працюють?

Його відповідь: справа не в кількості даних. Сигнал є тим, що справді говорить про майбутнє. Шумом є все інше, що на нього схоже. Помиляються ті, хто сприймає шум за сигнал і надто впевнений у своїй моделі. Виграють ті, хто мислить імовірностями й чесно оновлює думку, коли надходять нові факти.

Далі буде дванадцять історій, від кризи 2008 року до покерного столу. Кожна показує одну пастку або один вдалий прийом. Наприкінці ти краще бачитимеш, якому прогнозу варто вірити, а який просто звучить упевнено.

Найвища оцінка для паперів, які обвалилися

Перед кризою 2008 року банки продавали інвесторам складні папери, зібрані з тисяч іпотечних кредитів. Їх називали CDO, тобто забезпеченими борговими зобов’язаннями. Рейтингові агентства, такі як S&P, ставили багатьом із них найвищу оцінку ААА. Це означало: майже безпечно. При цьому платили агентствам за оцінку ті самі банки, які ці папери випускали. За розрахунками агентства, імовірність того, що за таким папером не виплатять гроші за п’ять років, становила близько 0,12 відсотка.

Насправді, за внутрішніми даними самого S&P, гроші не виплатили приблизно за 28 відсотками цих паперів. Помилилися більш ніж у двісті разів. Сілвер називає це чи не найповнішим провалом, який узагалі можливий у прогнозі: трильйони доларів, які вважалися надійними, виявилися майже нічим не захищеними.

Щоб пояснити, як це сталося, Сілвер бере розрізнення, яке запровадив економіст Френк Найт. Ризик є тим, що можна порахувати, як шанси в рулетці. Невизначеність є тим, чого порахувати не можна, бо ти навіть не знаєш, які у гри правила. Нові іпотечні папери були чистою невизначеністю: ніхто раніше не бачив їх у кризі.

Агентства ж удали, що це звичайний ризик, і видали точну цифру. Точна цифра заспокоює. Але якщо за нею немає розуміння, вона небезпечніша за чесне «ми не знаємо».

Читати в Livria

Про автора

Нейт Сілвер — американський статистик, творець бейсбольної системи PECOTA й сайту FiveThirtyEight, відомого прогнозами виборів.

Усі книги автора: Нейт Сілвер

Поняття з книги

  • Перл-Гарбор
  • CDO
  • рейтингові агентства
  • Лоренц
  • калібрування
  • Фукусіма
  • Парниковий ефект
  • Гутенберг: Йоганн Гутенберг (близько 1400–1468), німецький винахідник книгодрукування рухомими літерами. Не плутати із сейсмологом Бено Гутенбергом.
  • S&P: Standard & Poor’s, одне з найбільших рейтингових агентств світу. Оцінює, наскільки надійні борги компаній, країн і цінні папери.
  • Френк Найт: Френк Найт (1885–1972), американський економіст. У книжці «Ризик, невизначеність і прибуток» (1921) відокремив вимірюваний ризик від невимірюваної невизначеності.
  • невизначеність: У розумінні Найта: ситуація, де не можна навіть оцінити ймовірності, бо невідомі самі правила гри. На відміну від ризику, її не можна порахувати.
  • поза вибіркою: Подія, якої не було в даних, на яких побудовано модель. Модель про неї нічого не знає й погано її передбачає.
  • McLaughlin Group: Американське політичне телешоу (1982–2016), де оглядачі сперечалися про новини й робили прогнози. Його вів Джон Маклафлін.
  • Катріна: Ураган, який у серпні 2005 року обрушився на Новий Орлеан і узбережжя Мексиканської затоки. Одна з найруйнівніших природних катастроф в історії США.
  • теорія хаосу: Розділ науки про системи, де крихітні зміни на початку сильно змінюють підсумок. Тому погоду важко передбачити надовго наперед.
  • Національної метеослужби: Національна метеорологічна служба США, державне агентство, яке випускає прогнози погоди й попередження про небезпечні явища.
  • The Weather Channel: Американський комерційний телеканал про погоду, працює з 1982 року.
  • Ріхтер: Чарльз Ріхтер (1900–1985), американський сейсмолог, творець шкали сили землетрусів. Разом із Бено Гутенбергом вивів закон частоти землетрусів.
  • перенавчанням: Перенавчання є помилкою, коли модель надто точно підігнана під старі дані й сприймає випадковий шум за закономірність. На минулому вона виглядає добре, на майбутньому помиляється.
  • PECOTA: Система прогнозів виступів бейсболістів, створена Сілвером на початку 2000-х. Порівнює гравця зі схожими гравцями минулого.
  • Педроя: Дастін Педроя, американський бейсболіст, гравець «Бостон Ред Сокс». Найкращий новачок Американської ліги 2007 року та її найцінніший гравець 2008 року.
  • Скаути: У спорті це люди, які їздять на матчі й оцінюють молодих гравців, щоб клуб вирішив, кого брати.
  • рівня води: Образ із книжки, а не науковий термін: рівень майстерності, вище за який гравець починає вигравати. Він залежить від того, наскільки сильні суперники.
  • Баєса: Томас Баєс (близько 1701–1761), англійський священник і математик. Його теорема описує, як змінювати оцінку ймовірності за нових даних.
  • апріорна ймовірність: Оцінка ймовірності до того, як з’явився новий факт. У теоремі Баєса з неї починається розрахунок.
  • Гансена: Джеймс Гансен, американський кліматолог із NASA. У 1988 році виступив у Конгресі США з попередженням про глобальне потепління.
  • МГЕЗК: Міжурядова група експертів зі зміни клімату при ООН. Готує огляди науки про клімат з 1988 року.
  • Армстронга: Скотт Армстронг, американський дослідник методів прогнозування, професор Вортонської школи бізнесу, критик кліматичних моделей.
  • Шеллінга: Томас Шеллінг (1921–2016), американський економіст, дослідник стратегії та конфліктів, лауреат Нобелівської премії з економіки 2005 року.
  • Клаусета: Аарон Клаусет, американський учений, дослідник складних систем. Вивчав статистику терактів у всьому світі з кінця 1960-х.
  • степеневому закону: Закономірність, за якою частота події плавно падає зі зростанням її масштабу: дрібних випадків дуже багато, великих мало, але вони не зникають.

Усі поняття

Схожі книги