Обработка результатов экспертных оценок

После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений.

Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.

Все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т. е. необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно отличаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго класса может привести к большим ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться не на методах, использующих принципы осреднения, а на методах качественного анализа.

При ранжировании объектов эксперты обычно расходятся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степени согласия экспертов. Получение количественной меры согласованности мнений экспертов позволяет более обоснованно интерпретировать причины в расхождении мнений.

Напомним, что при групповой экспертной оценке каждый i-й эксперт присваивает каждому j-му объекту ранг х^. В результате проведения экспертного оценивания получается матрица рангов ||Ху|| размерности п х т, где т — число экспертов (i = 1, ..., m), an — число объектов (j = 1, ..., и).

Согласованность экспертов при ранжировании объектов оценивается коэффициентом конкордации (согласия) Ко. Он равен единице, когда все эксперты одинаково проранжи-ровали объекты, и равен нулю при одинаковых суммах рангов всех объектов. Согласованность мнений экспертов проверяется с помощью F-критерия Фишера. Коэффициент конкордации Ко вычисляется по формуле:

  • 12
  • *о =------т

m2(n3 - п)-т^1гТ1

f=i

где:

s=^dj;

>1

Ц=1

dj = Xj -0,5m(n + l).

Для расчета коэффициента конкордации следует произвести следующие вычисления.

1. Определяется среднеарифметическое сумм рангов:

~ 1 / v v пг(п + 1)

Х = 1/пХ ~—•

>11=1 2

2. Определяется сумма квадратов отклонений сумм рангов, полученных в ходе экспертного опроса, от среднеарифметического сумм рангов:

ю

  • 5= S(x;-x)2.
  • 7=1
  • 3. Вычисляется значение коэффициента конкордации по формуле (1).

Если матрица рангов не содержит совпавших рангов, то т

  • ?Tf =0. Далее применяется формула (1).
  • 1=1 Затем проверяется значимость коэффициента конкордации. Разработаны приемы проверки значимости коэффициента конкордации, т. е. гипотезы о том, что его истинное значение равно нулю. Эти приемы основаны на рассмотрении распределения некоторой однозначно связанной с Ко статистики X при случайном порядке объектов в ранжировках (при этом все (п!)т вариантов ранжировок равновероятны).

Для проверки значимости коэффициента конкордации Ко следует задать значение уровня значимости ос (вероятности отвергнуть гипотезу о равенстве коэффициента нулю, когда на самом деле она верна, обычно а - 0,05 или ос - 0,01), найти по распределению X при заданных пит критическое значениестатистики Хкр и сравнить его с наблюдаемым значением Хнабл. Если Хнабл > Хкр, то гипотезу о равенстве коэффициента кон-кордации нулю отвергают и мнения экспертов считают согласованными. В противном случае принимается решение о случайном характере ранжировок и, следовательно, об отсутствии согласованности в суждениях экспертов.

Согласно рекомендациям ГОСТ 23554.2—81, при 7 < п < 19 и т > 13 следует использовать статистику Х^бл, распределение которой при этих условиях хорошо аппроксимируется F-распределением Фишера с числами степеней свободы:

v1=n-lи v2 =(m-l)x(n-l).

Для проверки значимости проводятся следующие вычисления. Определяются значения статистик Х^абл и Х^бл:

Х^ = Кот(п-1);

(т-1)Х»>

Находятся числа и v2 степеней свободы:

V1 = п -1,

у2 =(пг-1)х(п-1).

По таблице F-распределения Фишера находится критическое значение FKp при уровне значимости а - 0,05 и полученных числах степеней свободы уг и v2.

Если при сравнении полученное значение Х®бл больше или равно значению FKp, то делается вывод о том, что мнения экспертов можно считать согласованными.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ     След >