Тема 17. Метод экспертных оценок

Тема 17. Метод экспертных оценок

1 вопрос.

Метод экспертных оценок, называемый также экспертным опросом, в общем виде представляет собой опрос специалистов, компетентных в какой-либо, нужной исследователю области. Опрос таких лиц называется экспертным, а установленные в его ходе суждения респондентов о свойствах изучаемого явления - экспертными оценками.

Эксперт – специалист, делающий заключение при рассмотрении какого-нибудь вопроса.

Экспертная оценка — компетентное мнение, мнение эксперта по какой-либо из проблем, находящихся в сфере его компетенции.
Основные отличия экспертного опроса от массового состоят в следующем:
- количество респондентов в массовом опросе значительно больше, чем в экспертном;
- экспертный опрос не является анонимным;
- экспертный опрос отличается более сложным инструментарием;
- труд экспертов, в отличие от труда респондентов всегда оплачивается.

Основное назначение экспертного опроса: выявление наиболее существенных, важных аспектов исследуемой проблемы, повышение надёжности, достоверности, обоснованности информации, выводов и практических рекомендаций благодаря использованию знаний и опыта экспертов.

Область применения экспертного опроса: может быть использован при изучении всех сфер деятельности; в диагностике, в оценке состояний социального объекта, нормировании, проектировании, прогнозировании, в принятии решений. Разновидности экспертного опроса достаточно эффективно применяются на разных этапах социологического исследования: в определении целей и задач, выявлении проблемных ситуаций, поиске гипотез, ходе интерпретации понятий, обосновании надёжности инструментария и исходной информации, в обосновании выводов, в выработке рекомендаций.

Основные нормативные требования: при опросе экспертов нужно дать чёткое обоснование необходимости применения соответствующей методики экспертного опроса. Тщательность подбора экспертов: обязательная оценка их компетентности. Учёт факторов, влияющих на суждения экспертов. Создание условий для наиболее продуктивного использования экспертов в ходе исследования. Сохранение полученной от экспертов информации без искажения на всех этапах исследования.

Существуют некоторые ограничения в применении выводов для разных методик экспертных опросов. Так, при использовании некоторых методик экспертных оценок полезно помнить, что заключения по их экспертизам имеют тенденцию к усреднению мнений, а потому могут оказаться непригодными для оценки нестандартных я явлений, например новаторских произведений искусства. Не следует также забывать, что данные экспертного опроса носят субъективный характер, а потому желательно их сопоставление с объективной информацией об объекте, полученной другими методами (хотя часто применение экспертного опроса вызвано как раз трудностью получения информации другим способом).

2 вопрос.

Существует широкий диапазон конкретных методик опроса экспертов.
В зависимости от основания классификации их можно разделить на следующие группы:
а) по характеру взаимосвязи экспертов между собой - методы очного и заочного опроса экспертов;
б) по процедуре согласования оценок - одноразовые и итеративные (многоразовые);
в) по численности экспертов - индивидуальные методы и групповые.
Очные методы опроса экспертов направлены на интенсификацию начального этапа исследования - разведки.
Привлечение специалистов, представляющих различные области знания, позволяет расширить подход к изучаемой проблеме, учесть все возможные связи и опосредования. Эти методы дают весьма надежные результаты.
Однако проведение очной экспертизы представляет собой довольно трудоемкий процесс. Кроме того, существенным недостатком этих методов является вероятность нежелательных искажений информации из-за психологического влияния организаторов опроса или авторитета признанных специалистов на участников экспертизы. Для исключения действия этого фактора обычно применяются специальные организационные меры.

К методам заочного опроса относятся: письменный опрос (сбор мнений), анкетирование (формализованный опрос), метод независимых характеристик и дельфийская техника. К методам очного опроса относят: интервью, совещание, исследовательская беседа, «мозговая атака». Число экспертов не должно превышать 10-15 человек.

Наиболее простым видом заочного опроса экспертов является письменный опрос (сбор мнений). Он состоит в том, что экспертам рассылаются (раздаются) специально подготовленные опросные листы, в которых они должны изложить своё мнение по существу поставленных вопросов. При составлении экспертного вопросника используются от 50 до 90% открытых вопросов. Сбор мнений подобен свободному интервью и отличается от него лишь письменной формой опроса, которая даёт возможность привлечь большое число экспертов. Правда, заочный опрос связан с организационными трудностями, обусловленными низким уровнем возврата анкет.

Формализованный опрос экспертов представляет собой обычное анкетирование с вопросами, сформулированными как в открытой, так и в закрытой форме. По целям задачам и содержанию этот метод существенно отличается от письменного сбора мнений. Если последний проводится для выявления эвристических, принципиально новых идей, взглядов на проблему, неожиданных подходов к старой проблеме, то анкетирование направлено на выяснение оценок тех или иных аспектов готового решения. Обычный метод анализа данных в таком случае – статистический.

Метод независимых характеристик позволяет дать обобщённую оценку одного явления, информация о котором поступает из нескольких независимых источников (от разных людей). На первом этапе происходит сравнение и сопоставление разных мнений, на втором – они обрабатываются с помощью математико-статистических процедур, на третьем – формулируются достоверные выводы. Такой метод активно применяется в соц. психологии для изучения деловых и личностных качеств индивида.

Метод «Дельфы» предусматривает опрос экспертов в несколько туров, обработку результатов каждого тура, информирование их об этих результатах и вновь повторение такой же процедуры. В первом туре ответы даются без аргументации. После обработки выделяются крайние и средние суждения и сообщаются экспертам. Во втором туре опрашиваемые вновь обращаются к своим оценкам. Так как они имели достаточно времени на размышление и узнали о существовании других позиций на этот счёт, им предоставляется возможность пересмотреть свои взгляды либо, напротив, аргументировать. После второго тура обрабатываются новые оценки: крайние и средние мнения обобщаются, итоги вновь докладывают экспертам. Так повторяется 3-4 раза. Практика показывает, что после третьего или четвёртого тура мнения экспертов не меняются . в ходе подобной процедуры вырабатывается согласованная оценка, при этом исследователь не должен игнорировать мнение тех, кто после неоднократных опросов остался на своей позиции.

Метод Дельфи весьма трудоемок и организационно сложен. В настоящее время в США некоторые исследователи практикуют его с непосредственным использованием ЭВМ, что позволяет прекратить до минимума время, требуемое на каждую итерацию, и провести опрос в течение нескольких часов.
В общих чертах метод Дельфи характеризуется следующими особенностями:
а) анонимностью экспертов, достигаемой с помощью вопросников или др. способами индивидуального вопроса, напр., с помощью ЭВМ;
б) регулируемой обратной связью, которая осуществляется за счет проведения нескольких туров опроса, причем результаты каждого тура сообщаются экспертам групповым ответом, который получается с помощью статистических методов и отражает обобщенное мнение участников экспертизы.
К недостаткам этого метода относится невозможность столкновения в споре различных мнений и стимулирования возникающего при личном контакте "генерирования" идей, кроме того, он требует значительных затрат времени.

Методы очного экспертного опроса.

Свободное интервью - индивидуальный метод проведения экспертизы, когда исследователь лично обращается к известным ему специалистам за консультацией без какого-либо заранее составленного жесткого плана беседы. Интервью имеет разведывательную цель, помогает более полно представить проблему, уточнить некоторые теоретические моменты, более четко интерпретировать употребляемые понятия и наметить основные направления исследования.
Число экспертов, как правило, невелико (10-15 чел.), поскольку, с одной стороны, узких специалистов по какой-либо проблеме вообще немного, а с другой - ограничены возможности самого исследователя.

"Мозговая атака" - коллективная очная работа экспертов.
Цель этого метода - найти пути решения сложной научной или практической проблемы.
«Мозговая атака» – это коллективная работа экспертов, направленная на нахождение оптимального варианта управленческого действия. Заседания группы экспертов проводятся по определенным правилам.
Правила проведения мозговой атаки.
Выбирается сложная проблема с выделением центрального пункта.
Выдвигаются и обсуждаются предложения по решению данной проблемы.
Запрещается критика любых предложений, вплоть до безумных. Все предложения фиксируются.
Организуется обмен мнениями, в процессе которого ставятся задачи не только определить пути возможного решения проблемы, но и достичь единства взглядов по поводу недостатка идей и выработать коллективное и согласованное предложение.
Стимулирование наблюдения - поставленная задача не решается в общем виде, а переносится на воображаемый объект.
Должен быть составлен сценарий, на котором проигрывается возможное решение управленческой проблемы, согласно общим правилам.
Во главе стоит руководитель, который регулирует весь процесс обсуждения управленческой проблемы.
Во-первых, в качестве объекта прямой "мозговой атаки" выбирается сложная проблема с выделением ее центрального пункта, затем осуществляется выдвижение и обсуждение предложений по решению данной проблемы. В процессе выдвижения идей запрещается их критика, что обеспечивает возможность высказывания самых неожиданных и даже "безумных" идей, связанных с решением поставленной проблемы.
Во-вторых, это "обмен мнениями", в процессе которого ставится задача не только определить возможные пути решения проблемы, но и достичь единства взглядов по поводу достоинств и недостатков выдвинуты идей и выработать коллективные согласованные предложения.
В-третьих, это "стимулирование наблюдения", заключающееся в том, что поставленная задача решается не в общем виде, а переносится на воображаемый или реальный объект, затем составляется "сценарий", на котором и проигрываются возможные варианты решения управленческой проблемы согласно общим правилам "мозговой атаки".
В конечном счете, выбор характеристики центра ряда зависит от особенностей той или иной экспертизы, в т. ч. таких, как численность группы экспертов, процедура получения и согласования информации, суть исследуемой проблемы и возможности представления данных в количественной форме.
Групповая экспертная оценка может считаться надежной только при условии достаточной согласованности ответов опрашиваемых, а этот вопрос еще требует дальнейшей разработки.

По процедуре согласования оценок выделяют одноразовые и итеративные (многоразовые) экспертный опрос. Обычный (одноразовый) экспертный опрос предполагает проведение разового анонимного опроса. В организационном и в экономическом отношении он наиболее лёгкий.

Многоразовый (интерактивный, многоступенчатый) экспертный опрос связан с тенденцией усложнять задачу экспертов. Многоступенчатость вводится для того, чтобы на каждом последующем этапе эксперты решали всё более сложные задачи. Сам по себе многоступенчатый опрос может быть организован по-разному: сначала могут быть поставлены общие вопросы, затем всё более конкретные (метод «воронки») или, наоборот, в конце эксперты делают некие обобщения (метод «пирамиды»).

3 вопрос.

Программа применения экспертного опроса включает в себя основные структурные элементы программы социологического исследования. Ведущими задачами являются: выделение целей опроса, построение критериев подбора, правил организации участия экспертов и критериев оценки данной ими информации. В отличие от массового опроса программа опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней, прежде всего, однозначно формулируется подлежащее оцениванию явление, предусматриваются в виде гипотез возможные варианты его исхода.

Основной инструментарий экспертных опросов – анкета или бланк-интервью, разработанные по специальной программе. В соответствии с этим процедура опроса может заключаться либо в анкетировании, либо в интервьюировании экспертов.

Применение экспертного метода опроса связано с соблюдением определенных правил. При его организации большое внимание уделяют обычно трём методологическим проблемам: подбору экспертов, процедуре их работы, обработке высказанных мнений.

В программе должны быть представлены теоретический и процедурный разделы, а также обоснование выборки.

При подготовке теоретического раздела программы, как правило, применяются очные методы опроса экспертов. Формулировка проблемы, определение целей, задач, предмета и объекта исследования требуют, возможно, более широкого подхода к проблеме. Это достигается, помимо всего прочего, с помощью привлечения специалистов. В.А. Ядов, например, рекомендует на этом этапе работы опрашивать экспертов в форме свободного интервью для проверки полноты библиографии, поиска дополнительной информации, оригинальных идей, используемых, в частности, для набросков первичных гипотез. Поскольку при подготовке теоретического раздела программы помощь специалистов состоит, прежде всего, в выработке продуктивных идей, наиболее эффективным здесь являются методы очного опроса.

Процедурный раздел программы - наиболее сложная и ответственная часть работы. Все теоретические положения на этом этапе должны быть переведены на язык эмпирического исследования. Необходимо подобрать эмпирические референты понятиям, на основе которых строится концептуальная схема объекта, провести их операциональную интерпретацию, сформулировать систему рабочих гипотез, наметить процедуры их проверки, воплотить процедуры в конкретные методики сбора информации, т.е. создать систему показателей, соответствующих основным понятиям теории и, если возможно, построить шкалы для измерения эмпирических величин показателей. Наконец, нужно провести логическую проверку и практическую апробацию подготовленных методических документов (анкет, планов-интервью, бланков наблюдений и т.п.) с тем, чтобы устранить возможные ошибки. Успех работы по этому разделу программы во многом зависит от опыта исследователя, его интуиции. В данном случае обращение к экспертам более чем оправдано. Метод опроса экспертов определяется конкретными задачами каждой операции.

Выдвижение рабочих гипотез - многоступенчатый процесс логического вывода: от теоретических положений концептуальной модели к эмпирически проверяемым суждениям. Безусловно, этот процесс может быть интенсифицирован коллективной работой экспертов. Наибольший эффект достигается применением методов обмена мнениями и стимулированного наблюдения.

Разработка методики сбора информации, предназначенной для проверки гипотез, включает построение системы показателей и шкал, на основе которых затем составляются методические документы (анкеты, карточки наблюдения, планы-интервью, макеты статистических таблиц и т.д.). В этой части процедурного раздела программы наиболее широки возможности применения экспертных методов. Например, в упоминавшемся исследовании по изучению и прогнозированию социальных потребностей молодежи, опросы экспертов применялись для разработки системы показателей и шкал измерения потребностей, а также шкалы, учитывающей прогностический фон - влияние на потребности других социальных процессов.

Обоснование выборки завершает разработку программы. На этом этапе необходимо принять решение о том, каким будет исследование - сплошным или выборочным. Затем, если исследование выборочное, надо определить способ и соответственно ему объем выборки. Что касается последнего, то тут роль экспертов минимальна: для определения объема выборки существуют детально разработанные статистические процедуры. Однако эксперты могут быть полезны для определения способа отбора - операции, требующей учета многих особенностей предмета исследования и связей в нем. Коллективное решение этой задачи, безусловно, поможет избежать ошибок репрезентативности и, следовательно, систематических ошибок в результатах исследования. К сожалению, этот момент учитывается далеко не всегда. Обоснование выборки остается пока одним из слабых звеньев в практике наших социологических исследований.

Когда программа готова, наступает этап полевого исследования, состоящий из двух последовательных частей - отбора единиц наблюдения и сбора информации. Процесс отбора проходит без участия экспертов, которые уже определили наилучший его способ. Что же касается сбора эмпирических данных, то здесь вновь открываются широкие возможности применения экспертных методов. Очень часто оказывается: ту информацию, которая собирается в ходе массового анкетного опроса или интервьюирования, со значительно меньшими затратами средств, сил и энергии можно получить, используя другие методы, в том числе экспертные. Так, при изучении социальной активности в различных ее формах (трудовой, общественно-политической, познавательной, творческой и т.д.), а также дисциплинированности, ответственности экспертные оценки с успехом могут заменить громоздкие анкеты, с помощью которых зачастую получают ненадежную и трудно интерпретируемую информацию.

4 вопрос.

Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. Сейчас мы не будем обсуждать проблему существования различных "партий" среди экспертов и обратим внимание на различные иные стороны процедур подбора экспертов.

В проблеме подбора экспертов можно выделить две составляющие - составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.

Составление списка возможных экспертов облегчается тогда, когда рассматриваемый вид экспертизы проводится многократно. В таких ситуациях обычно ведется реестр возможных экспертов, например, в области государственной экологической экспертизы или судейства фигурного катания, из которого можно выбирать по различным критериям или с помощью датчика (или таблицы) псевдослучайных чисел.

Как быть, если экспертиза проводится впервые, устоявшиеся списки возможных экспертов отсутствуют? Однако и в этом случае у каждого конкретного специалиста есть некоторое представление о том, что требуется от эксперта в подобной ситуации. Для формирования списка есть полезный метод "снежного кома", при котором от каждого специалиста, привлекаемого в качестве эксперта, получают определенное количество (обычно 5 - 10) фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Каждого вновь появившегося опрашивают по той же схеме. Процесс расширения списка останавливается, когда новые фамилии практически перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Метод "снежного кома" имеет и недостатки. Число туров до остановки процесса наращивания кома нельзя заранее предсказать. Кроме того, ясно, что если на первом этапе все эксперты были из одного "клана", придерживались в чем-то близких взглядов или занимались сходной деятельностью, то и метод "снежного кома" даст, скорее всего, лиц из этого же "клана". Мнения и аргументы других "кланов" будут упущены. (Здесь речь идет о том, что сообщество специалистов реально разбито на группы, названные выше "кланами", и общение идет в основном внутри "кланов". Неформальная структура науки, к которой относятся "кланы", достаточно сложна для изучения. Отметим здесь, что "кланы" обычно образуются на основе крупных формальных центров (вузов, научных институтов), научных школ.)

Вопрос об оценке компетентности экспертов не менее сложен. Ясно, что успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций...), очевидно, в современных быстро меняющихся условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять.

Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких - нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность"строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях весьма мало. Бывают уклонения и в другую сторону, излишне критичное отношение к своим возможностям.

При определении конкретного состава экспертов надлежит руководствоваться не только и не столько компетентностью экспертов, сколько валидностью их заключений. Как свидетельствует опыт, нередки случаи, когда компетентность эксперта не дает адекватной валидности. Это объясняется многими обстоятельствами, в разной мере зависимыми от исследователя, организующего экспертный опрос и проводящего экспертизу.
Ряд этих обстоятельств имеет психологическое свойство. Эксперт с задатками лидера стремится к доминированию своих оценок, настаивая на них даже тогда, когда внутренне сомневается в их истинности. Человек конформистского склада ведет себя прямо противоположным образом, а конфликтогенный - склонен к оспариванию даже тех мнений других людей, с которыми по существу согласен. Большинству людей присуще смещать свои оценки в сторону нейтральной середины, а часть экспертов может быть заинтересована в преднамеренном искажении информации. Все это должно учитываться исследователем.

Проведение отбора экспертов, как правило, осуществляется методом самооценки и определением коэффициента компетентности. Кандидатам раздаются карточки с тремя позициями оценки: К1 - высокая оценка- 1балл; К2 - средняя оценка - 0,5 балла; КЗ - низкая оценка - 0 баллов.

С их помощью, кандидаты оценивают свой уровень теоретических знаний, практический опыт и уровень прогностической компетентности. После ответов кандидатов, вычисляют коэффициент компетентности каждого по формуле К= (К1+К2+КЗ)/3 (образец карточки прилагается).

Слабость данного метода состоит в возможной неадекватности оценки.
Для подкрепления метода самооценки используют метод коллективной (взаимной) оценки. Однако следует заметить, что данный метод может применяться только в том случае, если эксперты знают друг друга в качестве специалистов. При использовании этого метода кандидатам предлагается список их «конкурентов» и ставится вопрос: «Кого бы Вы выбрали в качестве эксперта из предложенного списка?». Кроме того, в вопросе задается параметр выбора (Укажите ровно 25 человек).
На основании полученных данных строится таблица взаимных оценок. В случае, если результатов первой таблицы недостаточно для определения экспертов, необходимо построить уточненную таблицу взаимных оценок, (материал прилагается).
На основании метода самооценки и/или метода взаимной оценки отбирается нужное количество экспертов-респондентов, которым и предлагаются анкеты.

При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль малая осведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет (не менее 3-4) работающих совместно, в одной комнате, над одной темой. Именно про такие пары можно сказать, что они "вместе пуд соли съели". Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку их взгляды из-за схожести жизненного пути слишком похожи друг на друга.