Kitabı oku: «Как оценить риски в кибербезопасности. Лучшие инструменты и практики», sayfa 4

Объект измерений

Хорошо сформулированная проблема – наполовину решенная проблема.

Чарльз Кеттеринг (1876–1958), американский изобретатель, обладатель более 100 патентов, в том числе на электрическую систему зажигания для автомобилей

Нет большего препятствия для продвижения знаний, чем двусмысленность слов.

Томас Рид (1710–1796), шотландский философ

Даже после принятия более удобной формулировки понятия «измерение» (как наблюдения, уменьшающего неопределенность) некоторые вещи кажутся неизмеримыми, из-за того что мы просто не понимаем, что имеем в виду, когда впервые задаемся вопросом об их измерении. То есть мы не можем однозначно определить объект измерения. Если кто-то интересуется, как измерить «ущерб репутации», или «угрозу», или «срыв рабочего процесса», то достаточно спросить: «Что вы имеете в виду?» Любопытно, как часто люди затем уточняют термин, так что он сам по себе уже почти отвечает на вопрос об измерении.

Как только становится ясно, что имеется в виду и почему это важно, проблема начинает казаться гораздо более измеримой. На этом первом уровне анализа один из авторов, Хаббард, обычно проводит так называемые семинары по разъяснению. Они сводятся к тому, что клиенты заявляют конкретный, но изначально двусмысленный предмет, который требуется измерить. А затем им просто задаются вопросы: «Что вы имеете в виду под [указать нужное]?» и «Почему вас это волнует?»

Такой подход применим к широкому спектру проблем измерения, и кибербезопасность не исключение. В 2000 году, когда министерство по делам ветеранов обратилось к Хаббарду за помощью в определении показателей эффективности того, что они называли IT-безопасностью, Хаббард спросил: «Что вы подразумеваете под IT-безопасностью?» В ходе двух или трех семинаров сотрудники министерства дали ему точное определение: выяснилось, что под IT-безопасностью они понимали такие параметры, как снижение числа проникновений и заражений вирусами. Далее они пояснили, что подобные вещи влияют на министерство через мошенничество, потерю производительности или даже потенциальную юридическую ответственность (которой им едва удалось избежать, когда в 2006 году был найден украденный у них ноутбук с хранившимися на нем номерами социального страхования 26,5 млн ветеранов). Все выявленные в итоге воздействия почти в каждом случае оказались явно измеряемыми. Понятие «безопасность» было расплывчатым, пока его не разложили на компоненты, которые на самом деле хотели изучить.

То, что мы называем «цепочкой разъяснений», – всего лишь короткая серия рассуждений, которая должна помочь нам перейти от восприятия объекта как нематериального к восприятию его как осязаемого. Во-первых, следует признать, что если Х – волнующая нас проблема, то по определению X можно каким-то образом выявить. Зачем бы нам волноваться о таких вещах, как «качество», «риск», «безопасность» или «имидж», если бы они никак не проявлялись ни прямо, ни косвенно? Единственная причина переживать из-за какой-то неизвестной величины – уверенность, что она каким-то образом соотносится с желаемым или нежелательным результатом. Во-вторых, если этот объект можно выявить, то выявлен он будет в каком-то объеме. То есть раз объект вообще можно наблюдать, значит, его можно наблюдать в большем или меньшем количестве. Как только мы признаем это, последний шаг, возможно, станет самым простым: если можно наблюдать объект в каком-то количестве, то он должен быть измеримым.

Цепочка разъяснений

1. Если объект имеет значение, то он выявляем/наблюдаем.

2. Если он выявляем, то его можно обнаружить в каком-то количестве (или диапазоне возможных вариантов количества).

3. Если его можно определить как диапазон возможных вариантов количества, то его можно измерить.

Если цепочка разъяснений не сработает, можно попробовать то, что ученые называют «мысленным экспериментом». Представьте, что вы – инопланетный ученый, способный клонировать не только овец или даже людей, но и целые организации. Вы создаете две одинаковые организации, называя одну из них тестовой группой, а другую – контрольной. Теперь представьте, что в тестовой группе вами задается небольшое повышение параметра «ущерб репутации», при этом в контрольной группе он остается неизменным. Как думаете, какие изменения (прямые или косвенные) вы увидите в первой организации? Снизятся ли в ближайшей или долгосрочной перспективе продажи? Станет ли труднее набирать новых сотрудников, стремящихся работать в престижных компаниях? Придется ли проводить дорогостоящие пиар-кампании, чтобы компенсировать последствия? Если вы сможете наблюдать хотя бы одно отличие клонированных организаций друг от друга, то уже будете на пути к выяснению, как его измерить.

Также полезно указать, зачем надо что-то измерить, чтобы понять, что именно измеряется. Цель измерения часто является ключом к пониманию того, каким оно на самом деле должно быть. Измерения всегда должны подкреплять какое-то решение, неважно, принимается ли оно единожды или регулярно. В случае измерения рисков кибербезопасности измерения, скорее всего, проводятся, чтобы лучше распределить ресурсы для снижения рисков. Цель измерения дает подсказки о том, что на самом деле означает измерение и как его проводить. А попутно может обнаружиться еще ряд потенциальных объектов, которые, возможно, также потребуется измерить для подкрепления соответствующего решения.

C определения объекта измерения действительно начинаются почти все научные исследования, включая по-настоящему революционные. Специалистам по кибербезопасности и руководителям следует уяснить, что некоторые вещи кажутся неосязаемыми только потому, что были плохо определены. Чересчур расплывчатые термины, такие как «потенциальная сила угрозы», «ущерб репутации» или «доверие клиентов», выглядят поначалу неизмеримыми, вероятно, лишь из-за того, что их значение не совсем понятно. Такие термины могут, по сути, представлять собой список отдельных и наблюдаемых явлений, для понимания которых каждому из них требуется дать определение. Далее в этой книге (особенно в главе 6) будут предложены способы разложения на подобные списки из более конкретных элементов.

Разъяснение цели измерений следует начать со значений некоторых других терминов, что уже неоднократно здесь использовались. Чтобы измерить кибербезопасность, надо разобраться с вопросами «Что подразумевается под кибербезопасностью?» и «Какие решения зависят от ее измерения?».

Для большинства людей повышение уровня безопасности все же должно означать нечто большее, чем, скажем, увеличение количества сотрудников, прошедших обучение по безопасности, или числа компьютеров с установленным новым защитным программным обеспечением. Если уровень безопасности повышается, то некоторые риски должны понижаться. В таком случае необходимо понять, что подразумевается под риском. Для прояснения этой проблемы требуется уточнить понятия «неопределенность» и «риск». Они не только поддаются измерению, но и являются ключевыми для понимания измерений в целом. Итак, давайте определим значения этих терминов и их измерений.

Значения неопределенности, риска и их измерений

Неопределенность – отсутствие полной уверенности, т. е. существование более чем одной возможности. Истинные итог/состояние/результат/значение не известны.

Измерение неопределенности – набор вероятностей, приписываемых набору возможностей. Например: «Существует 20 %-ная вероятность, что в течение следующих пяти лет у нас произойдет утечка данных».

Риск – состояние неопределенности, когда некоторые из возможностей связаны с убытками, катастрофой или другими нежелательными последствиями.

Измерение риска – набор возможностей, каждая из которых имеет количественную оценку вероятности и количественно выраженные потери. Например: «Существует 10 %-ная вероятность, что утечка данных повлечет за собой судебные иски на более чем 10 млн долл.».

Как задаются подобные вероятности, будет показано далее (сначала на основе техник из главы 7), пока же достаточно того, что мы определились с понятиями, с чего всегда и начинаются измерения. Были выбраны именно эти значения, поскольку они наиболее соответствуют нашему подходу к измерениям в описываемом здесь примере с безопасностью и ее ценностью. Однако, как вы увидите, они также пригодны для рассмотрения любых других проблем, касающихся измерений.

Теперь, когда имеются значения неопределенности и риска, появляется более эффективный инструментарий для определения следующих терминов, таких как «безопасность» (или «сохранность», «надежность» и «качество», но об этом позже). Говоря, что безопасность улучшилась, обычно мы имеем в виду, что конкретные риски снизились. С учетом приведенного выше определения риска его снижение должно означать, что вероятность и/или тяжесть последствий (убытки) снижаются для конкретных событий. Вот это и есть упоминавшийся ранее подход, помогающий измерить некоторые очень крупные вложения в IT-безопасность, включая модернизацию системы информационной безопасности министерства по делам ветеранов, обошедшуюся в 100 млн долл.

В общем, как только вы поймете, что имеете в виду, будете на полпути к измерениям. В главе 6 будут подробнее рассмотрены подходы к определению доступных для наблюдения последствий кибербезопасности, узнаем, как ослабить последствия нарушений кибербезопасности и как выяснить, какое решение необходимо принять (тогда мы снова обратимся к работе Рона Ховарда по анализу решений).

Методы измерения

Нас ведет к беде не то, что мы чего-то не знаем… К беде ведет знание, которое мы считаем истинным, но оно на самом деле ошибочно.

Марк Твен³

В разговоре о методах измерения кто-то может представить довольно буквальный пример с измерением времени простоя системы или количества людей, прошедших обучение по безопасности. То есть когда нет больших «неявных» совокупностей, которые нужно оценить, а имеется прямой доступ ко всем объектам измерения. Если на этом понимание человека о методах измерения заканчивается, то, несомненно, многое будет казаться неизмеримым.

Статистика и наука в целом были бы намного проще, если бы можно было непосредственно видеть все, что когда-либо измерялось. Большинство «трудных» измерений, однако, предполагают косвенные умозаключения и выводы. Это, безусловно, относится и к сфере кибербезопасности, в которой часто приходится на основе увиденного делать выводы о чем-то невидимом. Изучение совокупностей, которые слишком велики или динамичны, чтобы их можно было рассмотреть целиком, – вот в чем на самом деле суть статистики.

Кибербезопасность не является какой-то исключительной областью, не относящейся к сфере статистики. Статистика была создана именно для решения подобных проблем. Специалистам по кибербезопасности, убежденным в обратном, стоит внимательно перечитать высказывание Марка Твена, приведенное выше. Люди вроде них могут считать, что все правильно помнят и понимают достаточно в области статистики и вероятности, чтобы без применения математики с уверенностью заявлять, какие выводы можно сделать из тех или иных данных. К сожалению, их умственные вычисления часто совсем не верны. Наличие ошибочных представлений о методах измерения мешает оценивать риск во многих областях, в том числе и в кибербезопасности.

Статистическая значимость. Что такое значимость?

Часто можно услышать утверждение, что выборка недостаточно велика, чтобы считаться «статистически значимой». Если слышите подобное, точно знайте одно: говорящий неправильно понимает идею статистической значимости. Недавний проведенный авторами опрос, в котором принял участие 171 специалист по кибербезопасности, показал, что такие заблуждения распространены в данной сфере так же, как и в любой другой (более подробно результаты исследования описаны в главе 5). Можно заметить, что некоторые представления о статистике противоречат следующим фактам.

• Не существует единого, универсального размера выборки, необходимого, чтобы считать ее статистически значимой.

• Чтобы правильно рассчитать статистическую значимость, нужно знать, что она зависит не только от размера выборки, но и от дисперсии внутри выборки, и от самой проверяемой гипотезы. Все эти факторы используются для расчета так называемого π-значения («пи-значения»), а затем результат сравнивается с заданным уровнем значимости. Если указанные шаги пропущены, то нельзя доверять заявлениям о том, что является статистически значимым.

• Выяснив, как вычислить статистическую значимость, и поняв, что она означает, вы обнаружите, что хотели узнать совсем не это. Статистическая значимость не означает, что вы узнали что-то новое, а ее отсутствие – что вы ничего не узнали.

Данный вопрос более детально рассматривается с математической точки зрения в первой книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе». А пока, полагаем, вам лучше избегать употребления фразы «статистическая значимость». Что же действительно нужно знать, так это уменьшится ли неопределенность после изучения источника данных и оправдывает ли ее уменьшение определенные изменения в действиях. Статистики знают, что статистическая значимость не дает ответа на этот вопрос, и они сами постоянно поправляют тех, кто считает иначе. Для вопросов о степени снижения неопределенности существуют математические расчеты, и, отвечая на подобные вопросы, можно не ссылаться на статистическую значимость или на то, что под ней подразумевают аналитики из сферы кибербезопасности.

Экспертам по кибербезопасности, как и многим другим специалистам практически во всех областях управления, необходимо избавиться от ошибочных представлений о статистике и изучить новые концепции в ней. Позже мы обсудим, как можно использовать некоторые проверенные методы измерения для решения различных проблем при измерении того, что изначально, возможно, казалось неизмеримым. Здесь же представим несколько примеров, в которых выводы о неявных аспектах могут быть сделаны из вполне очевидных.

• Измерения очень больших совокупностей с помощью очень маленьких случайных выборок. Можно кое-что узнать из небольшой выборки случаев утечки данных и других нарушений, особенно в ситуации высокой степени неопределенности.

• Измерения в условиях со множеством переменных, в том числе неизвестных. Можно оценить, насколько эффективно новые средства контроля системы безопасности снизили риск даже при наличии множества других факторов, влияющих на то, нанесет ли кибератака урон системе.

• Измерение риска редких событий. О вероятности неудачи при запуске ракеты, которую никогда раньше не запускали, или наступления еще одного крупного финансового кризиса можно на практике узнать с помощью наблюдений и логических рассуждений. Эти проблемы не менее сложны, чем оценка риска редко случающегося крупного нарушения кибербезопасности, тем не менее их можно измерить, и измерения проводятся.

• Измерение субъективных предпочтений и ценностей. Можно измерить ценность искусства, свободного времени или уменьшения риска для вашей жизни, установив, сколько люди действительно платят за эти вещи. Опять же, опыт других областей в равной степени применим и к кибербезопасности.

Большинство из этих подходов к измерениям являются лишь вариациями основных методов, к которым относятся различные виды выборки и экспериментального контроля, а иногда и разнообразные типы вопросов, являющиеся косвенными показателями того, что мы пытаемся измерить. К подобным базовым методам наблюдения часто не прибегают в бизнесе при принятии определенных решений, вероятно, потому, что считают такие измерительные процедуры сложными и чрезмерно формализованными. Бытует мнение, что при необходимости эти методы не удастся оперативно применить без особых затрат и подготовки. Однако мы продемонстрируем методы, которые, используя популярное понятие в системной инженерии, можно даже назвать гибкими (agile).

Небольшие выборки более информативны, чем кажутся

Когда специалисты в сфере кибербезопасности или любой другой области говорят: «У нас недостаточно данных, чтобы это измерить», – они, вероятно, не понимают, что произносят вполне конкретное математическое утверждение, не подкрепленное никакими фактическими математическими выкладками. Действительно ли они вычисляли снижение уровня неопределенности, используя имеющийся объем данных? Рассчитывали ли они на самом деле экономическую ценность такого снижения неопределенности? Скорее всего, нет.

Когда дело доходит до вероятностных выводов о данных, наша интуиция превращается в проблему. Однако намного большей проблемой может стать то, что, как кажется, нам известно (ошибочно) о статистике. Поскольку на практике статистика позволяет делать информативные выводы из удивительно маленьких выборок.

Рассмотрим случайную выборку всего лишь из пяти единиц чего-либо. Это может быть время, проведенное сотрудниками на веб-сайтах, опрос компаний в некоторых отраслях, представляющих отчеты о бюджетах, выделенных на кибербезопасность, и т. д. Какова вероятность того, что медиана всей совокупности (точка, в которой половина совокупности находится ниже, а половина выше) окажется между наибольшим и наименьшим значением этой выборки из пяти? Ответ – 93,75 %. В книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе» Хаббард называет это «правилом пяти». При такой маленькой выборке диапазон может быть очень широким, но если он окажется ýже, чем предыдущий, то можно говорить, что было проведено измерение в соответствии с данным ранее определением. Правило пяти простое, оно работает, и можно доказать, что оно является статистически обоснованным для удивительно широкого спектра задач. Если ваша интуиция или познания в статистике подсказывают иное, то проблема тут не в математике.

Может показаться, что нельзя быть уверенными в чем-либо на 93,75 % на основании случайной выборки всего лишь из пяти единиц, но это не так. Если бы случайно были выбраны пять значений, которые все располагались бы выше медианы или ниже ее, то медиана оказалась бы за пределами нашего диапазона. Но какова вероятность этого? Помните, что шанс случайно выбрать значения выше медианы, по сути, составляет 50 %, как шанс, что подброшенная монетка упадет орлом вверх. То есть вероятность, что все выбранные пять значений случайно окажутся выше медианы, сродни вероятности, что выпадет орел пять раз подряд. Шанс выпадения орла пять раз подряд при случайном подбрасывании монетки составляет 1 к 32, или 3,125 %, то же самое касается и выпадения решки пять раз подряд. Тогда шансы, что не выпадут все орлы или все решки, составляет 100 % – (3,125 % × 2), или 93,75 %. Таким образом, вероятность, что хотя бы одно значение в выборке из пяти окажется выше медианы и хотя бы одно будет ниже, составляет 93,75 % (округлите до 93 % или даже до 90 %, если хотите быть сдержанными в оценках). Некоторые читатели, возможно, со времен учебы помнят статистику для очень маленьких выборок. Ее методы были сложнее, чем правило пяти, но ответ, в сущности, мало отличался (и там и там применяются упрощающие допущения, которые очень хорошо работают на практике).

Правило пяти

Существует 93,75 %-ная вероятность того, что медиана совокупности находится между наименьшим и наибольшим значениями любой случайной выборки из этой совокупности.

Это правило можно улучшить, увеличив выборку и применив простые методы для учета ряда погрешностей, которые мы обсудим далее. Тем не менее, даже несмотря на имеющиеся недостатки, правило пяти стоит взять на вооружение тем, кто хочет развить интуицию относительно измерений.

Давайте примем несколько обдуманных и конструктивных предположений вместо расхожих домыслов. Нами предлагается набор предположений, которые (на то они и предположения) не всегда верны в каждом отдельном случае, но все же на практике демонстрируют гораздо бóльшую эффективность, чем противоположные устоявшиеся мнения. Подробнее эти аспекты будут рассмотрены позже, а пока просто назовем их.

1. Независимо от того, насколько сложна или уникальна ваша проблема измерений, следует предполагать, что подобные измерения уже проводились ранее.

2. Если вы изобретательны, то, вероятно, сможете найти больше источников данных, чем предполагали изначально.

3. Возможно, вам нужно меньше данных, чем подсказывает интуиция, и это действительно так, особенно в ситуации с высокой степенью неопределенности.

В некоторых редких случаях только из-за отсутствия самых изощренных методов измерения что-либо кажется неизмеримым. Однако в случаях, касающихся так называемых непостижимых объектов, дело почти всегда вовсе не в нехватке продвинутых и сложных методов. Просто такие объекты, как правило, слишком неопределенные, поэтому даже самые простые методы измерения, скорее всего, позволят уменьшить какую-то часть их неопределенности. Кибербезопасность в настоящее время является настолько важным направлением, что даже небольшое снижение неопределенности может быть чрезвычайно ценным.

В следующей главе будет показано, как наши концепции можно частично применить для оценки рисков кибербезопасности с помощью очень простого количественного метода, и это займет лишь чуть больше времени, чем построение обычной матрицы рисков.

Примечания

1. Гладуэлл Малкольм. Гении и аутсайдеры. Почему одним все, а другим ничего? / Пер. О. Галкина. – М.: Манн, Иванов и Фербер, 2020.

2. C. Shannon, “A Mathematical Theory of Communication,” The Bell System Technical Journal 27 (July/October, 1948): 379–423, 623–656.

3. S. S. Stevens, “On the Theory of Scales and Measurement,” Science 103 (1946): 677–680.

4. Leonard J. Savage, The Foundations of Statistics (New York: John Wiley & Sons, 1954).

5. Рон Ховард, подкаст Harvard Business Review, интервьюер Джастин Фокс, 20 ноября 2014 года.