Шрифт
Source Sans Pro
Размер шрифта
18
Цвет фона
Модели категоризации
Чтобы объяснить, почему обе теоремы могут преувеличивать аргументы в пользу многомодельного подхода, прибегнем к моделям категоризации, которые обеспечивают микрообоснования теоремы Кондорсе о жюри присяжных и делят состояния мира на непересекающиеся блоки. Эти модели восходят к эпохе античности. В своем труде The Categories Аристотель выделил десять атрибутов, в том числе такие как субстанция, количество, место и положение, которые использовал для разделения мира на категории. Каждая комбинация этих атрибутов образует отдельную категорию.
Мы используем категории каждый раз, когда употребляем нарицательное существительное. «Брюки» – это категория, так же как «собаки», «ложки», «камины» и «летние каникулы». Нам свойственно использовать категории в качестве руководства к действию. Мы распределяем рестораны по национальному признаку (итальянские, французские, турецкие или корейские), чтобы выбрать, где пообедать. Классифицируем акции по отношению рыночной цены акции к чистой прибыли на одну акцию и продаем малодоходные акции. Используем категории для объяснения тех или иных явлений – как в случае с утверждением, что численность населения Аризоны возросла, потому что в этом штате благоприятные погодные условия. Кроме того, категории применяются для прогнозирования: мы можем предсказать, что у кандидата на государственную должность, имеющего военный опыт, более высокие шансы на победу.
Мы можем интерпретировать вклад моделей категоризации в рамках иерархии мудрости. Объекты образуют данные. Группирование объектов по категориям порождает информацию. Определение оценок по категориям требует знаний. Для критического анализа теоремы Кондорсе мы полагаемся на модель бинарной категоризации, которая делит объекты или состояния мира на две категории – «виновен» и «невиновен». Основная идея состоит в том, что количество соответствующих атрибутов ограничивает число отдельных вариантов категоризации, а значит, и число полезных моделей.
Модели категоризации
Существует множество объектов или состояний мира, каждое из которых определяется множеством атрибутов и имеет то или иное значение. Модель категоризации М делит эти объекты или состояния на конечное множество категорий ( S1, S2, …, Sn ) на основе атрибутов объекта и присваивает оценки ( M1, M2, …, Mn ) каждой категории.
Представьте, что у нас есть сто заявок на получение студенческого кредита, половина из которых были погашены, а половина – нет. По каждому кредиту нам известны две детали: превышал ли его размер 50 000 долларов и специализировался ли его получатель в инженерном деле или в гуманитарных науках. Это и есть два атрибута. С их помощью мы можем выделить четыре типа кредитов: крупные кредиты студентам со специализацией «инженерное дело», мелкие кредиты студентам со специализацией «инженерное дело», крупные кредиты студентам со специализацией «гуманитарные науки» и мелкие кредиты студентам со специализацией «гуманитарные науки».
Модель бинарной категоризации классифицирует каждый из четырех типов кредитов как выплаченный или невыплаченный. Одна модель может классифицировать мелкие кредиты как выплаченные, а крупные как невыплаченные. Другая может классифицировать кредиты студентам со специализацией «инженерное дело» как погашенные, а студентам со специализацией «гуманитарные науки» как непогашенные. Вполне вероятно, что каждая из этих моделей может быть правильной более чем в половине случаев и что эти две модели могут быть практически независимы друг от друга. Проблема возникает при попытке создать больше моделей. Существуют только шестнадцать уникальных моделей, которые соотносят четыре категории с двумя возможными исходами. Две классифицируют все кредиты как выплаченные или невыплаченные, у каждой из оставшихся четырнадцати есть полная противоположность. Всякий раз, когда модель обеспечивает правильную классификацию, ее противоположный вариант дает неправильную классификацию. Таким образом, из четырнадцати возможных моделей максимум семь могут быть правильными более чем в половине случаев. И если та или иная модель окажется правильной ровно в половине случаев, то же произойдет и с ее противоположностью.
Размерность наших данных ограничивает количество моделей, которые мы можем создать. У нас может быть максимум семь моделей. Мы не можем построить одиннадцать независимых моделей, не говоря уже о семидесяти семи. Даже если бы у нас были данные с более высокой размерностью (например, если бы мы знали возраст, средний балл, доход, семейное положение и адрес получателей кредита), категоризация, основанная на этих атрибутах, должна обеспечивать точные прогнозы. Каждое подмножество атрибутов должно быть релевантным тому, погашен ли кредит, и не связанным с другими атрибутами. В обоих случаях речь идет о сильных предположениях. Например, если между адресом, семейным положением и доходом наблюдается корреляция, то модели, в которых эти атрибуты поменяны местами, тоже должны коррелировать. В случае строгой вероятностной модели независимость кажется обоснованной: разные модели порождают разные ошибки. Объяснение этой логики с помощью моделей категоризации позволяет осознать сложность построения множества независимых моделей.
Попытки формирования совокупности разноплановых, точных моделей сопряжены с аналогичной проблемой. Предположим, нам нужно создать ансамбль моделей категоризации, прогнозирующих уровень безработицы в пятистах городах среднего размера. Точная модель должна разделить города на категории таким образом, чтобы в рамках одной категории в них наблюдался схожий уровень безработицы. Кроме того, модель должна точно прогнозировать безработицу в каждой категории. Для того чтобы две модели обеспечивали разные прогнозы, они должны по-разному делить города на категории, по-разному составлять прогнозы, или и то и другое. Хотя эти два критерия не противоречат друг другу, могут возникнуть трудности с их удовлетворением. Если один вариант категоризации основан на среднем уровне образования, а другой – на среднем уровне дохода, они могут обеспечивать разбиение на аналогичные категории. Тогда обе модели будут точными, но не разнообразными. Формирование двадцати шести категорий с использованием первой буквы названия каждого города обеспечит разноплановую категоризацию, но, по всей вероятности, не позволит создать точную модель. Поэтому здесь снова напрашивается вывод, что на практике количество элементов «множества» обычно ближе к пяти, чем к пятидесяти.
Результаты эмпирических исследований прогнозирования согласуются с этим выводом. Хотя увеличение числа моделей повышает уровень точности (как и должно быть согласно теоремам), после формирования группы моделей предельный вклад каждой из них снижается. В компании Google обнаружили, что привлечение одного интервьюера для оценки кандидатов на вакантную должность (вместо случайного выбора) повышает вероятность найма высококвалифицированного сотрудника с 50 до 74 процентов, привлечение второго интервьюера повышает эту вероятность до 81 процента, привлечение третьего интервьюера – до 84 процентов, а четвертого – до 86 процентов. Наличие двадцати интервьюеров повышает вероятность всего до 90 процентов с небольшим. Это указывает на ограничение предельного количества значимых способов оценки потенциального сотрудника.
Аналогичный вывод справедлив и при оценке десятков тысяч прогнозов экономистов в отношении безработицы, экономического роста и инфляции. В этом случае следует рассматривать экономистов как модели. Включение второго экономиста повышает точность прогноза примерно на 8 процентов, еще два экономиста повышают его на 12 процентов, а еще три – более чем на 15 процентов. Десять экономистов увеличивают точность прогноза примерно на 19 процентов. Кстати, прогноз лучшего экономиста всего на 9 процентов точнее, чем среднего, при условии, что вы знаете, какой экономист лучший. Таким образом, три произвольно выбранных экономиста эффективнее, чем один лучший. Еще одна причина использования нескольких средних экономистов, не полагаясь на одного, пусть в прошлом и лучшего, – изменчивость мира. Экономист, демонстрирующий сегодня самые высокие результаты, завтра может стать середняком. Аналогичная логика объясняет, почему Федеральная система США полагается на совокупность экономических моделей, а не на одну модель: как правило, множество моделей обеспечивают более высокий средний результат, чем самая лучшая одиночная модель.
Урок должен быть очевиден: формирование множества разноплановых, точных моделей позволяет нам составлять очень точные прогнозы и оценки и выбирать правильные действия. Теоремы обосновывают логику многомодельного мышления. Чего они не делают и не могут сделать, так это построить множество моделей, удовлетворяющих их исходным предположениям. На практике мы можем обнаружить, что имеем возможность создать три-пять хороших моделей. И если так, то это здорово! Нам нужно только вернуться к предыдущему абзацу: включение второй модели обеспечивает улучшение на 8 процентов, а третьей – уже на 15 процентов. Учтите, что вторая и третья модели не обязательно должны быть лучше первой. Они могут быть хуже. Однако если эти модели чуть менее точны, но отличаются в категорийном смысле, их следует включить в совокупность.
