ОглавлениеНазадВпередНастройки
Добавить цитату

Множество моделей как независимых случаев лжи

Теперь обратимся к моделям, которые помогают раскрыть преимущества многомодельного мышления. И представим в их контексте две теоремы: теорему Кондорсе о жюри присяжных и теорему о прогнозе разнообразия. Теорема Кондорсе о жюри присяжных основана на модели, созданной для объяснения преимуществ принципа большинства. В соответствии с ней присяжные принимают бинарное решение о виновности или невиновности подсудимого. Каждый присяжный в основном выносит правильное решение. Чтобы применить эту теорему к совокупности моделей, а не членов жюри присяжных, мы интерпретируем принятие решения каждым присяжным как классификацию согласно той или иной модели. В качестве классов могут выступать действия (купить или продать) или прогнозы (победителем станет представитель демократической или республиканской партии). Далее теорема указывает на то, что конструирование множества моделей и применение принципа большинства обеспечит более высокий уровень точности, чем при использовании одной из моделей данного множества. Модель опирается на концепцию состояния мира – полное описание всей значимой информации. Для жюри присяжных состояние мира складывается из доказательств, представленных в суде. Для моделей, которые оценивают социальный вклад благотворительного проекта, оно может представлять команду проекта, организационную структуру, план проведения мероприятий и особенности проблемы или ситуации, которую должен решить проект.

Теорема Кондорсе о жюри присяжных

Каждый из нечетного количества людей (моделей) классифицирует неизвестное состояние мира как истинное или ложное. Каждый человек (модель) классифицирует правильно с вероятностью вероятность того, что другой человек (модель) выполнит правильную классификацию, статистически независима от правильности классификации любого другого человека (модели).

Теорема Кондорсе о жюри присяжных: большинство голосов обеспечивают правильную классификацию с более высокой вероятностью, чем любой отдельный человек (модель), а по мере увеличения количества членов жюри (моделей) точность решения, принятого большинством, приближается к 100 процентам.

Эколог Ричард Левинс объясняет, как применить логику этой теоремы к многомодельному подходу: «Мы пытаемся решить одну и ту же задачу с помощью ряда альтернативных моделей с разными упрощениями, но общим биологическим предположением. В таком случае, если эти модели, несмотря на различие исходных предположений, приводят к аналогичным результатам, мы имеем то, что можно назвать устойчивой теоремой, относительно свободной от деталей модели. Следовательно, истина находится на пересечении независимых случаев лжи». Обратите внимание, что здесь Левинс рассчитывает на единство классификации. Когда многие модели дают одну и ту же классификацию, наша уверенность должна повыситься.

Следующая теорема, о прогнозе разнообразия, применима к моделям, которые делают численные прогнозы или оценки. Она количественно оценивает влияние точности моделей и их разнообразия на точность их среднего.

Теорема о прогнозе разнообразия

Погрешность множества моделей = средняя погрешность модели – разнообразие прогнозов моделей

где Mi – это прогноз i-й модели,  – среднее значений моделей, а V – истинное значение.

Теорема о прогнозе разнообразия описывает математическое тождество. Нам не нужно его проверять – оно всегда справедливо. Вот пример. Две модели прогнозируют количество «Оскаров», которые присудят одному из фильмов. Одна модель предсказывает два «Оскара», а другая – восемь. Среднее значение прогнозов двух моделей (прогноз на основе множества моделей) равно пяти. Если на самом деле фильм получит четыре «Оскара», то квадратичная погрешность прогноза первой модели будет равна 4 (2 в квадрате), второй – 16 (4 в квадрате), а множества моделей – 1. Разнообразие прогностических моделей составляет 9, поскольку прогноз каждой модели отличается от среднего прогноза на 3. В таком случае теорему о прогнозе разнообразия можно записать так: 1 (погрешность множества моделей) = 10 (средняя погрешность моделей) – 9 (разнообразие прогностических моделей).

Логика этой теоремы опирается на противоположные (плюсы и минусы) взаимоисключающие типы погрешностей. Если одна модель прогнозирует слишком высокое значение, а другая – слишком низкое, то эти модели демонстрируют разнообразие прогнозов. Обе погрешности исключают друг друга, а среднее значений моделей будет точнее, чем значение каждой модели в отдельности. Даже если оба прогнозируемых значения слишком высоки, ошибка среднего этих прогнозов все равно будет не больше, чем средняя двух завышенных прогнозов.

Из теоремы не следует, что совокупность различных моделей обеспечивает точную картину. Если всем моделям свойственна общая систематическая ошибка, то и среднее тоже будет ее содержать. Данная теорема подразумевает, что любая совокупность различных моделей (или людей) будет точнее, чем средний член этой совокупности – феномен, известный как «мудрость толпы». Этот математический факт объясняет эффективность ансамблевых методов в информатике, которые выводят среднее множества классификаций, а также то, что люди, использующие в рассуждениях множество моделей и концептуальных схем, делают более точные прогнозы по сравнению с теми, кто ориентируется лишь на отдельные модели. Любой однобокий взгляд на мир упускает важные детали и оставляет белые пятна. У таких людей меньше шансов предвидеть крупные события, такие как крах рынка или арабская весна 2011 года.

Обе теоремы приводят убедительные аргументы в пользу применения множества моделей, по крайней мере в контексте прогнозирования. Однако порой эти аргументы излишне убедительны. Теорема Кондорсе подразумевает, что при достаточном количестве моделей мы бы практически никогда не ошибались, а теорема о прогнозе – что формирование разнопланового множества умеренно точных моделей прогнозирования позволило бы нам свести погрешность множества моделей практически к нулю. Однако, как мы увидим далее, наша способность строить множество разноплановых моделей не беспредельна.

С математической точки зрения эту теорему можно трактовать как получение распределения вероятностей ответов с медианой, центрированной около истинного значения оцениваемой величины. Прим. ред.
См. Levins, 1966.
Более подробное описание теоремы и вывод из нее можно найти здесь: Page 2007, 2017.
Несложно показать, что квадратичная ошибка коллективного предсказания выражается через среднее квадратическое расстояние отдельных прогнозов от коллективного прогноза. Прим. ред.
Мудрость толпы – тема одноименной книги Джеймса Шуровьески (Suroweicki, 2006); о том, как лисы могут перехитрить ежей, можно прочитать в книге Филипа Тетлока (Tetlock, 2005); в статье Статиса Каливаса (Kalyvas, 1999) идет речь о неспособности политической науки предвидеть падение Советского Союза; информацию об использовании ансамблевых методов в области компьютерных наук можно найти здесь: Patel et al., 2011.