Много ли вы слышали про научный подход к измерению показателей? А о науках о показателях? Практика использования показателей — это цельная картина или лоскутное одеяло? Если науки о показателях есть, то почему они не так широко распространены? Есть ли в них что-то полезное? Для ответа на эти вопросы представляю на суд читателей достижения науки в области измерения различных показателей.
Лишь древо жизни пышно зеленеет.
И. В. Гёте
Экономисты и менеджеры используют шкалы с незапамятных времен. Чаще всего шкалы и показатели используются для расчёта вознаграждения. Проблему шкалирования (влияния выбора шкал на выводы) изучали математики, а вот экономисты уделяли и уделяют мало внимания этой теме. Менеджеры практически не задумываются о том, какие шкалы и системы показателей они применяют для оценки результатов. Они редко корректно анализируют финансовые и управленческие последствия используемых шкал, не задумываются над математическими свойствами получаемой конструкции. А если и задумываются, то не слишком глубоко, ибо дел и без того хватает. Результат очевиден: получаемые системы показателей и системы управления, в которых они используются, никак не могут претендовать на почётное звание сбалансированных.
Однако практика чаще всего бывает права, поскольку главное в сбалансированной системе показателей — это то, что если показатели, пусть и не очень хорошо шкалированные, стимулируют нужную активность, то этого зачастую бывает достаточно. Да и авторы BSC (Нортон и Каплан) тоже подтверждают это. Потому, наверное, теория показателей — управленческая теория измерений — не вышла на первые роли. Тем не менее, дело это важное. И начинать здесь надо с теории 1.
Современный этап интереса учёных к этой тематике начался в 1960-е годы. Термин «квалиметрия» был предложен в 1968 году группой советских научных работников (экономистов и инженеров) во главе с Азгальдовым Г. Г., выявивших методологическую общность способов количественного оценивания качества совершенно разных объектов. А в Австрии примерно в то же время Йозеф Пфанцагль создал теорию измерений.
Квалиметрия
Квалиметрия (в широком смысле) — это научная дисциплина, в рамках которой изучаются методология и проблематика комплексного количественного оценивания качества объектов любой природы [1]. Цель квалиметрии — получить комплексный, или интегральный, измеритель интересующего объекта или процесса.
Как и многие науки, квалиметрия претендует на всеобщность. Но основных полезных достижений квалиметрии немного. Объяснение этому лежит в том числе и в её широчайшем охвате, а как известно, «нельзя объять необъятное».
Достижение 1. Чёткое деление двух видов величин: измерений и оценок:
- измерение — первичный показатель, естественное, принятое в конкретной предметной области количественное отображение измеряемой величины;
- оценка — вторичный показатель.
Оценка в квалиметрии — это степень соответствия оцениваемых объектов тем правилам или закономерностям, по которым они теоретически должны формироваться в идеальном случае.
Все оценки должны основываться на эталоне.
Достижение 2. Виды оценок.
Оценки в квалиметрии могут быть двух видов:
- дифференциальными, или единичными, — относящимися к одному свойству;
- комплексными — оценивающими совокупность свойств.
Как правило, в качестве дифференциальных оценок показателей используют не абсолютные, а индексные показатели. Они меньше единицы и показывают, что степень достижения цели ещё далека от 100%. Хотя их значение может быть и больше единицы в случае превышения целевого значения.
В квалиметрии существует два вида индексных показателей, которые активно используются:
- индекс полезности типа Х, получаемый делением фактического значения показателя (Х) на его целевое значение (XG);
- индекс полезности типа Y получается делением целевого значения (YG) на фактическое значение показателя (Y).
Комплексная оценка помогает в целом охарактеризовать качество объекта или группу его свойств. Например, коэффициент готовности позволяет одновременно охарактеризовать и безотказность, и ремонтопригодность изделия:
Коэффициент готовности = Среднее время наработки на отказ / (Среднее время наработки на отказ + Среднее время восстановления)
Комплексные показатели бывают групповыми, интегральными и обобщёнными (рис. 1).
Рис. 1. Классификация показателей качества
Интегральный показатель (в квалиметрии) — это комплексный показатель, отражающий отношение суммарного полезного эффекта от использования объекта по назначению к затратам на создание и использование объекта по назначению. Например, для технического устройства часто используют такой интегральный показатель:
Интегральный показатель = Суммарный полезный эффект / (Затраты на создание + Затраты на эксплуатацию)
Надо отметить, что не всегда необходимость измерить суммарный полезный эффект вызывает проблемы. Например, для буровых установок суммарный полезный эффект может быть равен общей глубине проходки в метрах до капитального ремонта.
Обобщенный показатель — это показатель, относящийся к такой совокупности свойств объекта, по которой принято решение оценивать его качество в целом.
Функции полезности в квалиметрии
Классическая комплексная оценка в квалиметрии основана на аддитивных функциях полезности. Аддитивные функции полезности доминируют в квалиметрии. Приведу выдержку из принципов квалиметрии [2].
- При использовании метода комплексной оценки качества продукции все разноразмерные показатели свойств должны быть преобразованы и приведены к одной размерности или выражены в безразмерных единицах измерения. Кстати, в теории полезности это называется единообразным шкалированием [4].
- При определении комплексного показателя качества каждый показатель отдельного свойства должен быть скорректирован коэффициентом его весомости.
- При количественной оценке качества, особенно по комплексному показателю, недопустимо использование взаимообусловленных и, следовательно, дублирующих показателей одного и того же свойства.
Приведём формулы квалиметрии, которые используются в том числе и для того, чтобы сравнить разные теории и подходы. Классическая комплексная оценка в квалиметрии — это U(x), где х — вектор частных измерений качества U, математически представляет собой аддитивную функцию полезности:
где:
-
αi — веса оценок (показателей качества) задают относительную важность i-ого показателя в комплексном показателе качества и выполняются условия αi > 0 и
αi = 1, можно представить комплексную оценку I и в процентах — тогдаαi = 100; - xi — значение i-ого первичного показателя (в терминах квалиметрии это и есть измерение);
- Ii(xi) — классическая квалиметрическая дифференциальная оценка i-ого показателя.
Обратите внимание, что оценка основана на индексах (I), являющихся дифференциальными оценками частных показателей.
Достижение 3. Богатый опыт оценивания, выверенная междисциплинарная терминология.
Алгоритм комплексной оценки уровня качества в технической сфере показан на рис. 2.
Рис. 2. Алгоритм комплексной оценки уровня качества продукции
Теория измерений
Теория измерений пошла другим путём, чисто математическим. Математики выделяют три основные проблемы теории измерений [3].
1. Проблема представления: можно ли для некоторого объекта измерений 2 построить числовую систему, чтобы, оперируя числами, выразить всё, что необходимо для оценки, мотивации и принятия решений? 3 То есть можно ли построить шкалу, полностью описывающую объект для задач управления 4. Так, конечно, в идеале не бывает, хотя бы потому, что оцениваются объекты нечисловой природы. Но стремиться к этому надо.
Проблема представления связана с простым, но единственно важным для практики вопросом: влияет ли выбор шкал на выводы? Конечно, влияет. Например, в легкоатлетическом десятиборье чемпионами могут оказаться разные спортсмены, если использовать сегодняшнюю — довольно сложную — шкалу начисления очков или просто суммировать места по разным спортивным дисциплинам. Более того, последнее спровоцирует оппортунистическое поведение спортсменов. К примеру, если мой товарищ по команде лидирует после пяти видов соревнований и занимает 3-е место в метании диска, а его конкурент — на 7-м месте, можно помочь товарищу, „вклинившись” между ними. Это означает, что нарушено требование независимости измерений от состава и поведения участников.
По той же причине плохо ранжировать, например, конструкторов только на основе их квалификации. В этом случае необходимо строить шкалу, не зависящую от состава коллектива конструкторов. Наверняка она будет многокритериальной и довольно сложной. Но, по возможности, представительной и максимально отражающей представления людей о том, кто является сильнейшим десятиборцем или более квалифицированным инженером. Причём для выполнения разных задач могут быть выбраны разные конструкторы.
Можно ли сделать это с помощью чисел? Вот одна из задач теории измерений.
2. Проблема единственности: сколько вариантов числовой системы можно корректно использовать для описания эмпирической системы отношений? Её решение опирается на понятие допустимых преобразований.
Допустимые преобразования — это такие преобразования рассматриваемой шкалы измерений, которые не меняют соотношений между объектами измерения.
Практически всегда можно обосновать одну шкалу и вывести функцию её допустимых преобразований, тем самым определив массу шкал, удовлетворяющих заданным свойствам. Эта часть теории измерений нашла отражение в узком и не исчерпывающем практические нужды перечне типов шкал.
3. Проблема адекватности или устойчивости шкалирования: можно ли делать адекватные выводы по результатам операций с числами шкал? Например, естественно требовать, чтобы выводы, сделанные на основании средних, зависели только от объекта управления, а не от выбранной шкалы.
Главные вопросы теории измерений. Прикладную суть теории измерений можно описать с помощью трёх вопросов, которые мы сформулируем, используя язык квалиметрии (это первая и самая естественная основа нашей теории управленческих измерений — обобщение и использование достижений предшественников). 5
Измерения.
- Вопрос 1. К какой категории относятся измерения — к качественным или количественным? Измерить что-либо означает выразить числами. А стоит ли вообще это делать? Существуют ли «качественные измерения» или они обязательно должны быть «оцифрованными»?
- Вопрос 2. Какие шкалы использовать? Если выбраны количественные измерения, какие ограничения накладываются на используемые числа? Эти ограничения как раз описываются типами шкал. Какие бывают шкалы и как ими правильно пользоваться, чтобы обеспечить достоверность выводов, сделанных на основе измерений?
Оценки.
- Вопрос 3. Показатели используются для подведения итогов (оценок) на основе измерений. Какие арифметические действия при этом корректны? Как они связаны со шкалами? Какие выводы можно делать?
Коллизия (столкновение) теории и практики
Математики привыкли говорить логически строго, и практики не всегда точно их понимают. Потому полезность теории измерений на практике стремится к нулю — менеджеры её не знают (или не понимают, а потому игнорируют). Формально о шкалах можно прочесть в учебниках. Для математика этого достаточно, а для практика будет непонятно, «куда это засунуть», поэтому он использует не науку о шкалах, а своё представление о них. Получается как у классика: «Хотели как лучше…». Тем не менее, и практик чаще всего бывает прав, ибо главное в сбалансированной системе показателей (ССП) — что это «не проект из мер и весов». И даже если показатели не очень хорошо шкалированы, они могут стимулировать эффективную работу. Область учёных — те в целом не частые случаи, когда неграмотность порождает потери…
* * *
В следующей части статьи я попробую изложить теорию измерений популярно и полезно, не теряя, по возможности, математической строгости. Начну со шкал. При этом всю непривычную для менеджера математику — гомоморфизмы, изоморфизмы и прочее — оставим в стороне, а будем оперировать только минимумом упрощённых понятий и практическими выводами.
Чтобы оставить комментарий пожалуйста Авторизуйтесь