Метод экспертных оценок

Метод экспертных оценок
1. Определение метода экспортных оценок.
Метод экспертных оценок, называемый также экспертным опросом, в общем виде представляет собой опрос специалистов, компетентных в какой-либо, нужной исследователю области. Опрос таких лиц называется экспертным, а установленные в его ходе суждения респондентов о свойствах изучаемого явления — экспертными оценками.
Экспертная оценка — компетентное мнение, мнение эксперта по какой-либо из проблем, находящихся в сфере его компетенции.
Основные отличия экспертного опроса от массового состоят в следующем:
— количество респондентов в массовом опросе значительно больше, чем в экспертном;
— экспертный опрос не является анонимным;
— экспертный опрос отличается более сложным инструментарием;
— труд экспертов, в отличие от труда респондентов всегда оплачивается.
2. Отбор экспертов.
При определении конкретного состава экспертов надлежит руководствоваться не только и не столько компетентностью экспертов, сколько валидностью их заключений. Как свидетельствует опыт, нередки случаи, когда компетентность эксперта не дает адекватной валидности. Это объясняется многими обстоятельствами, в разной мере зависимыми от исследователя, организующего экспертный опрос и проводящего экспертизу.
Ряд этих обстоятельств имеет психологическое свойство. Эксперт с задатками лидера стремится к доминированию своих оценок, настаивая на них даже тогда, когда внутренне сомневается в их истинности. Человек конформистского склада ведет себя прямо противоположным образом, а конфликтогенный — склонен к оспариванию даже тех мнений других людей, с которыми по существу согласен. Большинству людей присуще смещать свои оценки в сторону нейтральной середины, а часть экспертов может быть заинтересована в преднамеренном искажении информации. Все это должно учитываться исследователем. ‘
Проведение отбора экспертов, как правило, осуществляется методом самооценки и определением коэффициента компетентности. Кандидатам раздаются карточки с тремя позициями оценки: К1 — высокая оценка- 1балл; К2 — средняя оценка — 0,5 балла; КЗ — низкая оценка — 0 баллов.
С их помощью, кандидаты оценивают свой уровень теоретических знаний, практический опыт и уровень прогностической компетентности. После ответов кандидатов, вычисляют коэффициент компетентности каждого по формуле К= (К1+К2+КЗ)/3 (образец карточки прилагается).
Слабость данного метода состоит в возможной неадекватности оценки.
Для подкрепления метода самооценки используют метод коллективной (взаимной) оценки. Однако следует заметить, что данный метод может применяться только в том случае, если эксперты знают друг друга в качестве специалистов. При использовании этого метода кандидатам предлагается список их «конкурентов» и ставится вопрос: «Кого бы Вы выбрали в качестве эксперта из предложенного списка?». Кроме того, в вопросе задается параметр выбора (Укажите ровно 25 человек).
На основании полученных данных строится таблица взаимных оценок. В случае, если результатов первой таблицы недостаточно для определения экспертов, необходимо построить уточненную таблицу взаимных оценок, (материал прилагается).
На основании метода самооценки и/или метода взаимной оценки отбирается нужное количество экспертов-респондентов, которым и предлагаются анкеты.
3. Интеграция экспертных оценок.
Интеграция экспертных оценок есть по сути дела совокупность приемов перевода количественного анализа этих оценок в качественный. Поэтому он, с одной стороны, невозможен без предварительного выявления количественных признаков мнений экспертов, с другой — принципиально отличен от их традиционно количественной интерпретации.
Интегрирование (согласование, комплексирование) экспертных оценок необходимо тогда, когда нужно:
1) выработать научно обоснованное управленческое решение;
2) сформулировать миниконцепцию, объясняющую новые явления и процессы, происходящие в изучаемом микросоциуме, и дающую основание для последующего теоретизирования.
Реализация интегрирования предполагает выполнение ряда исследовательских операций в следующей последовательности:
1. Установление мнений экспертов по исследуемой проблеме в заочной форме, то есть путем анкетирования, заполнения экспертами специальных документов (карт, бланков), изучение монитором (исследователем) докладных записок и иных материалов экспертного характера.
2. Шкалирование выявленных мнений экспертов, т.е. сопоставление показателей их отношения к предмету экспертизы либо по ранговой, либо по номинальной, либо метрической шкалам, или по некоторой совокупности этих шкал.
3. Согласование мнений экспертов по технике Делъфи, предусматривающей трех-шестикратное повторение заочных опросов экспертов и соответствующее число шкалирования их оценок. На каждом новом этапе опроса (интеграции) монитор информирует экспертов о результатах предыдущего опроса, сообщает им о мнении большинства и просит аргументировать свое мнение, т.е. его совпадение или расхождение с тем, которое претендует на господствующую роль. При этом на каждом этапе эксперту предлагается определить место своего мнения в заранее подготовленной шкале. Каждый этап завершается статистической обработкой полученных от экспертов шкал, исчислением средних арифметических показателей, медианы и квартилей, определением показателей разброса мнений, выявлением крайних мнений, т.е. особо отклоняющихся от оценок большинства. Типичных выразителей крайних мнений и господствующей оценки приглашают для участия в последующих процедурах интегрирования экспертных оценок.
4. Очное выяснение отношений экспертов к предмету экспертизы и разным вариантам решения обсуждаемой проблемы в групповой дискуссии. Она может проводиться как методами фокус-группы и «проблемного колеса», так и на основе иных способов активизации творческого мышления в группе — «мозговой штурм, синектика, ИПИД и т.п.
5. Ранжирование предложенных экспертами вариантов решения исследуемой проблемы, их упорядочивание по трем, как минимум, основаниям:
1) степени популярности, т.е. представленности в коллективном мнении экспертов;
2) мере реализуемости, возможности практического выполнения;
3) последствиям их реализации для тех социальных систем (и подсистем), в которых сложилась исследуемая проблема.
Эта исследовательская операция делается после и по итогам очного сопоставления мнений экспертов. Когда в исследовании применяются не одна, а несколько форм групповых дискуссий, возникает необходимость нескольких туров ранжирования, переплетения этой исследовательской операции с предыдущей. Данное ранжирование необходимо для выработки оптимального решения проблемы и последующего этапа интеграции оценок экспертов.
6. Синтезирование экспертных оценок в форме мини-теории, т.е. непротиворечивого научно доказательного объяснения изученного явления, его причин и тенденций изменения, возможностей влияния на него со стороны различных субъектов социальной жизни. Эта операция требует от исследователя солидной теоретической подготовки (ибо разработка мини-теории предполагает знание теорий более высокого уровня), аналитических навыков и научной достоверности. Она призвана обобщить все оценки экспертов, отразить не только достигнутый уровень их согласия, но и мнения, выпадающие из общей их картины.
Разработка такой мини-концепции необходима в двух отношениях:
во-первых, в качестве одного из «кирпичиков», из которых строятся социологические теории «среднего», а затем и «большего» уровней;
во-вторых, для завершения процедуры интегрирования экспертных оценок.
7. Комплексирование экспертных оценок — последняя исследовательская операция по интеграции мнений экспертов. Ее конечный результат -комплексная программа решения изученной проблемы (или несколько вариантов такой программы). Она должна логично вытекать из выше охарактеризованной мини-теории и содержать перечень мер, реализация которых обеспечит решение исследовательского вопроса.
Предлагаемые меры дифференцируются:
— на стратегические (важные и долговременные) и тактические (детализирующие первые);
— по времени исполнения (первоочередные, второочередные и т.п.);
— по затратам разнообразных ресурсов;
— по ожидаемому эффекту от этих затрат;
— по адресатам (организациям, персонам), могущим реализовать рекомендации;
— по другим основаниям, зависящим от характера проблемы и способов ее решения.
Как правило, экспертный опрос нацелен на уточнение гипотез, разработку прогноза и пополнение интерпретации определенных социальных явлений и процессов. В таких опросах доминируют открытые формулировки, а закрытые вопросы предназначены лишь для оценки уровня уверенности, меры согласия или несогласия с уже высказанными позициями других специалистов.
Выявление экспертных оценок необходимо при анализе наиболее существенных аспектов исследуемой проблемы, особенно в ситуациях дискуссионности их трактовок или фактического отсутствия определенности в их осмыслении наукой. В таких случаях метод экспертных оценок выступает в роли основного метода исследования, программа его проведения отражается в общей программе исследования. Если же данный метод играет вспомогательную роль, добавляя информацию к полученной иными методами, то исследователи обязаны составить особую (самостоятельную) программу его реализации. Главными ее компонентами будут формулировки, четко фиксирующие: а) проблемную ситуацию; б) терминологию экспертных оценок (путем операционализации общих понятий); в) гипотезы, выносимые на экспертизу; г) комплекс требований, на основе которых будет производиться подбор экспертов (критерии их компетентности); д) индикаторы, позволяющие измерять суждения экспертов; е) инструментарий этих замеров и первичной обработки данных; ж) правила проведения и сценарий экспертизы, т.е. процедуры согласования и интегрирования оценок экспертов.

Рассмотрим пример метода экспертных оценок:

1. Сравниваем самолеты Боинг, Туполев, аэробус, бомбардир, альбатрос .

2. Выбираем параметры сравнения.

Параметров желательно выбирать не менее 4 и не более 7, т.к. большее количество параметров влечет расфокусировку и отсутствие четкого понимания результата. То же самое и с количеством сравниваемых объектов — от 4 до 7.

Параметр Вес А (Боинг) Б (Туполев) В (Аэробус) Г (Бомбардир) Д (Альбатрос) Е
1 Магистральная дальность
2 Вместимость
3 Расход топлива V
4 Комфорт
5 Стоимость эксплуатации
Сумма 1

3. Далее распределяем «Вес» между параметрами таким образом, чтобы в сумме он был равен 1. Наиболее приоритетным параметрам мы выделяем большее значение. причем каждый параметр варьируется в диапазоне от 0,015 до 0.3.

Параметр Вес А (Боинг) Б (Туполев) В (Аэробус) Г (Бомбардир) Д (Альбатрос) Е
1 Магистральная дальность 0,2
2 Вместимость 0,15
3 Расход топлива V 0,25
4 Комфорт 0,15
5 Стоимость эксплуатации 0,25
Сумма 1

4. Задаем описательную сравнительную часть для объектов (самолетов):

Объекты сравнения по параметру «Максимальная дальность» сравниваются по 10-тибальной шкале. Максимальное значение 10 баллов присваивается, если (возможные варианты):

а) самолет пролетает без дозаправки более 5 000 км
б) самолет с дозаправкой пролетает более 10 000 км
в) если данный класс самолета имеет максимальную дальность беспосадочного перелета в своем классе.

При уменьшении расстояния перелета по данным параметрам на каждые 500 км снимается 1 балл.

Параметр «Стоимость эксплуатации» (в нашем случае это самый важный параметр, т.к. ему присвоен максимальный вес):

Самолету присваивается 10 баллов, если (возможные варианты):

а) стоимость эксплуатации самолета за квартал не более 100 000 долларов
б) стоимость эксплуатации не превышает 10 % от номинальной стоимости самолета

И так далее по всем параметрам.

В итоге наша таблица выглядит следующим образом:

Параметр Вес А (Боинг) Б (Туполев) В (Аэробус) Г (Бомбардир) Д (Альбатрос) Е
1 Магистральная дальность 0,2 9 6 10 8 7
2 Вместимость 0,15 7 10 10 6 8
3 Расход топлива V 0,25 8 7 9 9 8
4 Максимальная скорость 0,15 10 8 9 8 7
5 Стоимость эксплуатации 0,25 6 8 9 10 8
Сумма 1

Далее необходимо наши баллы умножить на вес данного параметра. В последний столбец «Е» ставится максимальное значение получившихся чисел. В строке «Сумма» складываем сумму «весов» параметров для каждого самолета.

5. Таким образом, самолет «В» оказался самым эффективным. Далее мы уже анализируем, надо ли нам покупать самолет В, оказавшийся самым эффективным, либо , например, склониться в сторону самолета Г с самыми маленькими эксплуатационными расходами, так как именно этот параметр ключевой.

Пример метода экспертных оценок

Точки экспертности следующие:

1. Какие выбираем параметры
2. Как взвешиваем
3. Как задаем характеристики описания

Обычно метод экспертных оценок используется экспертной группой, состоящей из нескольких человек. Первый эксперт независимо от других сравнивает объект А по всем 5-ти критериям. Второй эксперт оценивает объект Б и т.д. Либо возможен вариант, когда один эксперт оценивает все самолеты по одному критерию, второй эксперт оценивает все самолеты по второму параметру и т.д. Затем данные сводят в единую таблицу и подводят итоги.

В статье использовались материалы следующего видео:

74 + видео материалов от лучших бизнес тренеров России вы сможете найти на сайте wikimba.ru

Присоединяйтесь к нам!

Скачивайте бесплатные приложения для прогнозирования и бизнес-анализа:

  • Novo Forecast Lite — автоматический расчет прогноза в Excel.
  • 4analytics — ABC-XYZ-анализ и анализ выбросов в Excel.
  • Qlik Sense Desktop и QlikView Personal Edition — BI-системы для анализа и визуализации данных.

Тестируйте возможности платных решений:

  • Novo Forecast PRO — прогнозирование в Excel для больших массивов данных.

Получите 10 рекомендаций по повышению точности прогнозов до 90% и выше.

Оставить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *