Kitabı oku: «Шум. Несовершенство человеческих суждений», sayfa 4

Глава 4
Субъективные суждения

Эта книга посвящена профессиональным суждениям в широком смысле. Предполагается, что те, кто выносит такие суждения, компетентны и стремятся к точным результатам. Однако само понятие суждения поневоле подразумевает, что в его точности никогда нельзя быть уверенным до конца.

Задумайтесь о значении выражений «субъективная оценка» или «субъективное решение». Никто не назовет субъективными утверждения о том, что завтра снова взойдет солнце или что формула хлорида натрия – NaCl. Ожидается, что каждый разумный человек безусловно с этим согласится. В субъективные оценки заложена доля неопределенности, и мы допускаем, что здравомыслящие и компетентные люди могут иметь разные мнения.

Существует, однако, некий предел тому, насколько сильно мнения могут не совпадать. Действительно, слово «суждение» в основном используют, когда предполагается некое согласие. Субъективные суждения не то же самое, что личные мнения или вкусы, где непреодолимые разногласия вполне допустимы. Руководители страховой компании, которых поразили результаты ревизии шума, едва ли удивились бы тому, что оценщики убытков имеют полярно противоположные взгляды на достоинства «Битлз» и «Роллинг Стоунз» или, к примеру, тунца и горбуши.

Субъективные суждения, в том числе профессиональные, находятся где-то между фактами и вычислениями, с одной стороны, и личными мнениями или вкусами – с другой. Для них характерно ожидание ограниченных разногласий.

Ответ на вопрос о допустимом масштабе разногласий в суждениях сам по себе является субъективной оценкой, зависящей от сложности проблемы. Особенно нетрудно достичь согласия по поводу суждений, лишенных здравого смысла. Судьи, чьи приговоры по типичному делу о мошенничестве могут сильно различаться, сойдутся в том, что штраф в размере одного доллара или пожизненный срок здесь совершенно неуместны. Члены жюри на конкурсе вин⁴¹ могут спорить по поводу победителей, но единогласно забракуют неудачные вина.

Процесс вынесения суждения: пример

Прежде чем говорить о процессе вынесения суждений, мы предлагаем вам попробовать вынести свое собственное. Глава принесет больше пользы, если вы выполните нижеследующее упражнение до конца.

Представьте, что вы входите в комиссию, задача которой оценить кандидатов на должность генерального директора в довольно благополучной финансовой компании, столкнувшейся с ростом конкуренции. Вам нужно оценить вероятность успеха потенциального кандидата спустя два года после начала работы. Под успехом понимается способность кандидата удержаться на месте генерального директора по истечении двухлетнего срока. Оценку вероятности требуется выразить по шкале от 0 (невозможно) до 100 (определенно).

Майклу Гамбарди тридцать семь лет. Двенадцать лет назад он окончил Гарвардскую школу бизнеса и с тех пор успел поработать на разных должностях. В начале карьеры он стал основателем и инвестором двух стартапов, которые потерпели неудачу, не найдя необходимой финансовой поддержки. Затем Майкла наняла крупная страховая компания, где он быстро вырос до главного исполнительного директора в Европейском регионе. На этой должности он предложил и затем курировал изменения, позволившие оптимизировать урегулирование страховых исков. Коллеги и подчиненные находили Гамбарди эффективным, однако излишне властным и жестким: за время его пребывания в должности управленческий персонал менялся довольно часто. Сослуживцы также указывают на его честность и готовность взять на себя ответственность за неудачи. Последние два года Майкл является генеральным директором финансовой компании среднего размера, которая изначально находилась под угрозой банкротства. Ему удалось стабилизировать положение компании; коллеги считают его успешным, хотя подтверждают, что работать с ним нелегко. Гамбарди выразил заинтересованность в карьерном росте. По результатам собеседования, проведенного с ним несколько лет назад, специалисты по кадрам охарактеризовали его как в высшей степени находчивого и энергичного специалиста, отметив при этом, что он высокомерен и порой деспотичен.

Итак, Майкл претендует на должность генерального директора в относительно успешной региональной компании, столкнувшейся с растущей конкуренцией. Какова вероятность того, что, если Майкла пригласят на эту должность, он все еще будет генеральным директором два года спустя? Прежде чем продолжать читать, пожалуйста, оцените эту вероятность по шкале от 0 до 100. При необходимости перечитайте данную вам информацию.

Если вы отнеслись к этому упражнению серьезно, вероятно, оно показалось вам непростым. Информации довольно много, при этом она кажется довольно противоречивой. Вам пришлось потрудиться, чтобы составить для себя некий связный портрет специалиста, необходимый для вынесения суждения. При этом вы сосредоточили внимание на деталях, которые представлялись вам важными, и, скорее всего, не придали значения остальным. Если вас попросят объяснить свой выбор, вы назовете несколько характерных фактов, но их будет недостаточно для полноценного отчета о вашем решении.

Ваш мыслительный процесс при выполнении этого задания демонстрирует несколько особенностей умственных операций, называемых суждениями:

• Во всем наборе данных (которые могут быть лишь частью необходимой информации) вы посчитали некоторые детали более существенными, не осознавая своего выбора в полной мере. Вы заметили, что Гамбарди – это итальянская фамилия? Вы помните, где он учился? Задание намеренно перегружено информацией для того, чтобы вам непросто было вспомнить все детали. Вероятнее всего, ваше описание информации в задаче будет отличаться от того, что запомнили другие читатели. Избирательное внимание и избирательное припоминание – источники разброса в суждениях.

• Вы также неформально использовали выбранные вами детали в общем прогнозе успеха Гамбарди. «Неформально» – это ключевое слово. Для ответа вам не понадобилось составлять план. Практически незаметно для вас ваш разум составил цельный образ Майкла: его сильные и слабые стороны, трудности, с которыми он сталкивается в работе. Неформальность позволила справиться с задачей быстрее. В то же время она породила разброс. Формальный процесс, например суммирование цифровых показателей, гарантирует идентичные результаты, но при неформальных операциях определенная доля шума неизбежна.

• Наконец, вы преобразовали ваше общее впечатление в цифровой показатель на вероятностной шкале успеха. Сопоставление числа от 0 до 100 с неким впечатлением – это весьма примечательный процесс, к обсуждению которого мы еще вернемся в главе 14. И тут вы снова не можете сказать точно, почему ответили именно так. Скажем, почему вы выбрали 65, а не 61 или 69? Скорее всего, в какой-то момент вам в голову пришло некое число. Вы засомневались в его справедливости и в результате подумали о другом. Эта часть процесса тоже является источником разброса.

Поскольку каждый из этих трех шагов в сложном процессе вынесения суждения влечет за собой возникновение разброса, не следует удивляться, когда ответы на задачу про Майкла Гамбарди окажутся очень шумными. Если вы предложите это упражнение своим друзьям, скорее всего, вы обнаружите огромный разброс в оценках будущего успеха кандидата на должность. Когда мы дали это задание 115 студентам MBA, их оценки вероятности успеха Гамбарди варьировались от 10 до 95. Это очень шумный результат.

Между прочим, возможно, вы заметили, что задачка о Гамбарди и упражнение с секундомером служат примерами двух разных видов шума. Разброс во время нескольких попыток отмерить интервалы с секундомером – это шум в суждениях одного человека (вас). Разброс в задаче о Гамбарди – шум в суждениях разных людей. С точки зрения измерений первая проблема демонстрирует внутриэкспертную надежность, а вторая – межэкспертную.

Цель суждения: внутренний сигнал

Ответ, данный вами на задачу о Гамбарди, – прогнозное суждение в нашем определении этого термина. Однако оно существенно отличается от других суждений, которые мы также называем прогнозными. До какого значения завтра поднимется температура воздуха в Бангкоке? Кто победит сегодня вечером в футбольном матче? Кто станет следующим президентом? Если вы с приятелем расходитесь во мнениях на этот счет, когда-нибудь вы все равно узнаете, кто прав. Но если вы по-разному оцениваете шансы Гамбарди, точного ответа вы не узнаете даже со временем. Причина проста: никакого Гамбарди не существует.

Даже если бы в задаче говорилось о реальном человеке и мы знали ответ, невозможно подтвердить или опровергнуть одно-единственное вероятностное суждение (отличное от 0 или 100 %). Ответ не раскрывает, какой вероятность была изначально. Если событие, вероятность которого оценили в 90 %, не происходит, само суждение о вероятности необязательно считать неудачным. В конце концов, результаты, вероятность которых оценивается в 10 %, в итоге достигаются в 10 % случаев. Задача о Гамбарди – пример вынесения непроверяемого прогнозного суждения. Его нельзя проверить по двум причинам: кандидатура Гамбарди – вымышленная, а ответ на задачу – вероятностный.

Многие профессиональные суждения непроверяемы. За исключением ситуаций с вопиющими ошибками, андеррайтеры, например, так никогда и не узнают, была ли стоимость полиса завышена или, наоборот, занижена. Прогнозы бывают непроверяемыми из-за своей условности. Каким бы важным ни казалось пророчество «если мы ввяжемся в войну, нас просто раздавят», скорее всего, оно (надеемся) так и останется непроверенным. Прогнозы также могут охватывать слишком длительный период, и тогда профессионалов, которые их составили, уже нельзя будет призвать к ответу – к таким прогнозам можно, например, отнести предположения о средних температурах на планете к концу XXI века.

Повлияла ли непроверяемость ответа в задаче о Гамбарди на ваш подход к ее решению? Задались ли вы вопросом о том, существовал ли Гамбарди на самом деле? А о том, будет ли в конце главы информация о его дальнейшей судьбе? Может, вы подумали, что, даже если вы о ней узнаете, это все равно не поможет ответить на вопрос задачи? Вероятно, нет, потому что в процессе выполнения задания все эти соображения казались несущественными.

Проверяемость суждения никак не влияет на сам процесс его вынесения. Возможно, вы чуть серьезнее подойдете к обдумыванию задачи, решение которой вскоре будет дано, поскольку ваш мозг сосредотачивается больше, когда есть риск быть уличенным в неправоте. С другой стороны, вы не станете задумываться над задачей, которая абстрактна до нелепости. («Стал бы Гамбарди хорошим директором, если бы у него было три ноги и способность летать?») В общем же и целом, если гипотетическая задача правдоподобна, вы отнесетесь к ней точно так же, как и к реальной. Это немаловажно для исследований в психологии, где нередко используются вымышленные задания.

Поскольку у задачи нет решения, а вы, вероятно, даже не задумывались, будет ли оно вообще дано, вы не пытались минимизировать погрешность. Вы постарались вынести верное суждение и остановились на значении, которое не побоялись предложить в качестве ответа. Конечно, оно не вселяло в вас столько же уверенности, как утверждение о том, что дважды два четыре. Вы допускали некоторую неопределенность (и, как мы увидим, на самом деле ее больше, чем вы думали). Однако в какой-то момент вы осознали, что дальше двигаться некуда, и сделали свой выбор.

Как вы поняли, что приняли верное или хотя бы вполне допустимое решение? Мы полагаем, вы почувствовали внутренний сигнал о том, что суждение вынесено, никак не связанный c информацией извне. Найденный ответ вполне соответствовал условиям задачи. Ощущения соответствия не возникло бы, будь ваш ответ 0 или 100: такие выводы предполагают уверенность, несовместимую с настолько беспорядочными, неоднозначными и противоречивыми условиями задачи. Однако ваш ответ, каким бы он ни был, показался вам вполне правомерным. Когда вы выносили суждение, вашей целью было найти именно правомерное решение.

Основное свойство такого внутреннего сигнала – то, что ощущение правомерности является неотъемлемой частью процесса вынесения суждения, не зависящей от реального результата. Поэтому внутренний сигнал возникает при вынесении как непроверяемых, так и проверяемых суждений. Вот почему решение задачи о вымышленном человеке вроде Гамбарди ничем не отличается от решения задач с реальными данными.

Как оценивается суждение: результат и процесс

Проверяемость не влияет на процесс вынесения суждения, однако от нее зависит то, как это суждение будет оцениваться впоследствии.

Объективный наблюдатель просто оценит точность проверяемых суждений, сравнив выводы с реальным результатом. Если синоптик дал прогноз, что воздух сегодня прогреется до 70 градусов Фаренгейта, а реальная температура достигла лишь 65, значит, он ошибся на пять градусов. Очевидно, что такой подход не сработает, когда суждения проверить нельзя, как в задаче о Гамбарди, где искомого ответа просто нет. Как же тогда оценить их качество?

Существует еще один способ оценивать как проверяемые, так и непроверяемые суждения. Он заключается в оценивании процесса их вынесения. Называя одни суждения удачными, а другие неудачными, мы подразумеваем либо итоговый ответ (к примеру, число, данное вами при решении задачи о Гамбарди), либо процесс решения – то, как вы к этому ответу пришли.

Чтобы оценить процесс решения, можно понаблюдать, насколько успешно его можно применить к большому количеству задач. Представьте, что политический прогнозист оценил шансы множества кандидатов на победу в местных выборах. Вероятность победы ста из этих кандидатов он оценил в 70 %. Если семьдесят человек из них в итоге будут избраны, у нас появится повод считать, что этот прогнозист действительно неплохо разбирается в деле. Проверяемой является вся совокупность этих суждений, тогда как признать единственное вероятностное суждение верным или неверным просто невозможно. Подобным образом установить наличие предвзятости по отношению к определенной группе людей достовернее всего можно с помощью статистики по значительному количеству случаев.

Процесс вынесения суждения можно также оценить, ответив на вопрос о его соответствии принципам логики или теории вероятностей. Многие исследования когнитивных искажений посвящены именно этому.

Если сосредоточить внимание не на результате, а именно на процессе вынесения суждения, можно оценить непроверяемые выводы, такие как гипотетические задачи или долгосрочные прогнозы. Даже не сравнивая эти выводы с реальным результатом, мы все-таки способны определить, была ли в них допущена ошибка. Когда мы перейдем к вопросу улучшения качества суждений, а не просто их оценки, мы также уделим основное внимание именно процессу. Все процедуры, рекомендованные в этой книге для снижения уровня смещения и шума, нацелены на внедрение процессов вынесения суждений, минимизирующих ошибки в совокупности похожих ситуаций.

Мы противопоставили друг другу два способа оценки суждений: сравнение вывода с реальным результатом и оценку качества процесса, который позволил к этому выводу прийти. Заметьте, что, оценивая проверяемое суждение обоими способами, мы можем прийти к разным заключениям. Квалифицированный и осторожный прогнозист, вооруженный лучшими инструментами и методиками, время от времени ошибается, предсказывая уровень квартальной инфляции. С другой стороны, иногда даже шимпанзе, метающая дротики в дартс⁴, может попасть в точку.

Чтобы разрешить это противоречие, специалисты, изучающие принятие решений, дают четкие рекомендации: сосредоточьте внимание не на результате, полученном в индивидуальном случае, а на процессе принятия решения. Однако мы понимаем, что на практике так обычно не происходит. Профессионалов, как правило, оценивают по тому, насколько близкими их оценки оказываются к проверяемым результатам. При этом и сами они уверены, что стремятся к наиболее точному совпадению.

Итак, обычно люди убеждены, что при вынесении проверяемых суждений стремятся к совпадению прогноза с реальным результатом. На деле же, вне зависимости от степени проверяемости прогноза, они ждут внутреннего сигнала о готовности суждения, а он, в свою очередь, возникает, когда между условиями задачи и сделанным выводом не остается противоречий. Однако гораздо правильнее стремиться к тому, чтобы в процессе вынесения суждений было найдено оптимальное решение для целой совокупности похожих случаев.

Оценочные суждения

До сих пор в этой главе мы подробно рассматривали прогнозные суждения, и большинство примеров, разбираемых в этой книге, относятся именно к этому типу. Однако глава 1, где речь шла о судье Франкеле и шуме в системе вынесения уголовных приговоров, исследует иной тип суждений. Вынесение приговора – это не прогноз, а оценочное суждение, призванное подобрать наказание, соответствующее тяжести преступления. Жюри винных конкурсов и ресторанные критики выносят оценочные суждения. Профессора, читающие сочинения студентов, судьи на соревнованиях по фигурному катанию и комитеты, распределяющие исследовательские гранты, также выносят оценочные суждения.

Несколько другой тип оценочных суждений выносится в ситуациях, где для принятия решения нужно рассмотреть и взвесить множество альтернатив: руководители выбирают самого подходящего кандидата на некую должность, управленцы ищут оптимальную стратегию, президенты решают, как реагировать на эпидемию в Африке. Несомненно, для решения всех этих задач нужно сначала вынести прогнозные суждения, которые послужат исходными данными. Насколько продуктивным окажется выбранный кандидат в первый год работы? Как фондовый рынок отреагирует на новый стратегический ход? Как быстро распространится эпидемия в отсутствие сдерживающих мер? Однако для окончательного решения потребуется взвесить преимущества и недостатки имеющихся вариантов, и вот здесь понадобятся оценочные суждения.

Оценочные суждения, как и прогнозные, допускают лишь ограниченные разногласия. Ни один уважающий себя федеральный судья не скажет: «Я считаю такой приговор самым подходящим, и меня совершенно не волнует, что по этому поводу думают другие судьи». При выборе стратегии компании специалисты ожидают, что коллеги и эксперты, знакомые с ситуацией и преследующие те же цели, с ними согласятся или, по крайней мере, не будут категорически против такого выбора. Оценочные суждения отчасти зависят от ценностей и предпочтений тех, кто их выносит, но их нельзя назвать делом вкуса или личным мнением.

Именно по этой причине граница между прогнозными и оценочными суждениями настолько размыта, что часто о ней даже не подозревают. Судьи, назначающие наказания, и преподаватели, оценивающие сочинения, очень серьезно подходят к своей задаче и стремятся принять «правильное» решение. Постепенно они приобретают уверенность как в верности своих суждений, так и в их мотивах. Нет никаких различий в том, как мыслят, действуют и оправдывают свои действия профессионалы, выносящие прогнозные («Будет ли этот продукт хорошо продаваться?») и оценочные суждения («Насколько продуктивным был мой ассистент в этом году?»).

В чем проблема с шумом

Если мы обнаруживаем шум в прогнозных суждениях, это сигнализирует о проблемах. Когда мнения двух врачей по поводу диагноза отличаются, а два прогнозиста ожидают разные показатели продаж в следующем квартале, по крайней мере один из них ошибается. Ошибку можно объяснить нехваткой квалификации у одного из специалистов или каким-то иным источником шума. Какой бы ни была причина, ошибка в суждении может иметь серьезные последствии для людей, полагающихся на диагнозы и прогнозы этих экспертов.

В оценочных суждениях шум является проблемой по другой причине. В системе, где судьи предположительно взаимозаменяемы и якобы назначаются случайным образом, значительные расхождения в приговорах по одному делу нарушают ожидания справедливости и последовательности. При значительных расхождениях в наказаниях, назначенных одному подсудимому, мы сталкиваемся с «произволом жестокости», который обличал судья Франкел. Даже судьи, которые выступают за индивидуальный подход в вынесении приговоров и имеют разные точки зрения по поводу наказания грабителю, не станут отрицать, что разногласия, превращающие судейство в лотерею, недопустимы. Это утверждение справедливо (хотя, пожалуй, с несколько меньшим накалом драматизма) в отношении огромных расхождений в отметках за одно и то же сочинение, разнобоя в оценках мер безопасности одного и того же ресторана, разброса в баллах после выступления одного и того же фигуриста или даже случаев, когда один пациент, страдающий от депрессии, получает пособие по инвалидности, а другой – с таким же заболеванием – не получает ничего.

Даже если считать, что несправедливость не так уж и страшна, в феномене системного шума кроется другая проблема. Люди, которых коснулись последствия оценочных суждений, полагают, что такие суждения отражают решение, принятое системой, а не мнение отдельно взятого судьи. Должно быть, дела плохи, если один покупатель, пожаловавшись на бракованный ноутбук, получил деньги назад, а другому достались лишь извинения от магазина; если один служащий с пятилетним стажем в компании, попросив о повышении, получил его, тогда как другой, ничем не хуже первого, услышал вежливый отказ. Системный шум – это непоследовательность, а непоследовательность подрывает авторитет системы.