Реферат: Метод экспертных оценок. Экспертный метод

После проведения опроса группы экспертов осуществляется обработка результатов. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. В зависимости от целей экспертного оценивания при обработке результатов опроса возникают следующие основные задачи:

Определение компетентности экспертов и обобщенной оценки объектов;

Построение обобщенной ранжировки объектов;

Определение согласованности мнений экспертов;

Определение зависимостей между ранжировками.

2.4.1 Определение компетентности экспертов и обобщенной оценки объектов

Пусть m экспертов произвели оценку n объектов. Результаты оценки представлены в виде вели­чин x ij , где j- номер эксперта, i- номер объекта. Эти величины могут быть зада­ны с использованием баллов либо чисел, принадлежащих некоторому отрезку числовой оси.

Коэффициент компетентности экспертов и обобщенные оценки объектов для тех случаев, когда проводится непосредственное числовое оценивание альтер­натив можно вычислить по апостериорным данным, т.е. по резуль­татам оценки объектов. При этом компетентность экспертов оце­нивается по степени согласованности их оценок с групповой оценкой объектов.

Алгоритм вычисления коэффициентов компетентности экспер­тов и обобщенной оценки объектов сводится к расчетам по следующим рекуррентным формулам:

Вычисления начинаются с t=1. Начальные значения компетентности принимаются одинаковыми и равными

В работе были исследованы вопросы сходимости рассмат­риваемой рекуррентной процедуры. Для этого из уравнений (1) и (3) были исключены переменные k j (t-1) и x i t . Указанные уравнения (после данного преобразования) в векторно-матричной форме примут вид

(4)

где матрицы B и C имеют соответственно размерности (n*n) и (m*m):

Из теоремы Перроны-Фробениуса следует, что если мат­рицы B, C неотрицательны и неразложимы, то при t®¥ векторы сходятся к собственным векторам матриц B и C , соответс­твующим максимальным собственным числам этих матриц. Предель­ные значения векторов вычисляются при решении следующих уравнений:

(5)

(6)

где l B , l C - максимальные собственные числа матриц B, C .

На практике условия неразложимости и неотрицательности B, C практически всегда выполняются.

Что будем делать с полученным материалом:

Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Твитнуть

Все темы данного раздела:

С о д е р ж а н и е
стр. Предисловие……………………………………………….…. 1. Цель р

Цель работы
Целью работы является изучение методов обработки экспертной информации. Выполнение работы предполагает закрепление курсантами знаний по материалу дисциплины “Военная систем

Сущность метода экспертных оценок
Сущность метода экспертных оценок заключается в рациональной организации проведения экспертами анализа проблемы с количественной оценкой суждений и обработкой их результатов. В процессе ре

Подбор экспертов
В зависимости от масштаба решаемой проблемы организацию процедуры проведения экспертного оценива­ния осуществляет лицо, принимающее решение, (ЛПР) или назначаемая им группа управления. Подбор колич

Опрос экспертов
Опрос экспертов представляет собой заслушивание и фиксацию в содержательной и количественной форме суждений экспертов по решаемой проблеме. Основными видами опроса экспертов являются: ан

Построение обобщенной ранжировки объектов
Рассмотрим теперь случай, когда эксперты производят измерение объектов в порядковой шкале методом ранжирования, так что xij есть ран­ги. Задачей обработки является построение обобщенной

Определение согласованности мнений экспертов
При оценке объектов эксперты обычно расходятся во мнениях по решаемому вопросу. В связи с этим возникает необходимость количественной оценки степени согласия экспертов. Оценка согласованности мнени

Определение зависимостей между ранжировками
При обработке результатов ранжирования нередко возникает необходимость определения зависимости между результатами ранжирования, полученны­ми от двух экспертов. Принято меру взаимосвязи оценивать ко

Формула Спирмена верна лишь при отсутствии в ранжироваках связанных (повторяющихся) рангов ообъектов
Пусть ранжировки двух экспертов, тогда оценки взаимного корреляционного момента и дисперсии этих ранжировок вычисляются по формулам:

Произведем расчет коэффициентов компетентности экспертов и коэффициентов обобщенной оценки объектов
Для расчета коэффициентов компетентности экспер­тов и обобщенной оценки объектов воспользуемся формулами (5), (6)

Произведем расчет обобщенной ранжировки объектов
Построим матрицы ранжировок экспертов (y1, y2, y3 ,y4) y1= О1

Произведем расчет дисперсионного коэффициента конкордации экспертов
Матрица ранжировок А имеет связанные ранги, поэтому для определения коэффициента конкордации экспертов воспользуемся формулами (15), (16).

Подготовим исходные данные для расчета ранговой корреляции пар экспертов. По оценкам объектов произведем их ранжировку
Э О О1 О2 О3 О4 Hn hk T

МИНИСТЕРСТВО ОБРАЗОВАНИЯ

РОССИЙСКОЙ ФЕДЕРАЦИИ

АЛТАЙСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

Экономический факультет

Кафедра антикризисного управления, оценки бизнеса и инноваций

МЕТОД ЭКСПЕРТНЫХ ОЦЕНОК

(курсовая работа)

Выполнила студентка

3 курса, группа 277

Стрекалова С.Б.

Работа защищена

Барнаул – 1999

Введение 3

Глава 1. ЭКСПЕРТИЗА В УПРАВЛЕНИИ 5

1.1. Роль экспертов в управлении 5

1.2. Метод экспертных оценок 7

1.3. Организация экспертного оценивания 9

1.4. Подбор экспертов 9

1.5. Опрос экспертов 10

Глава 2. ФОРМАЛИЗАЦИЯ ИНФРОРМАЦИИ

И ШКАЛЫ СРАВНЕНИЙ 12

Глава 3. ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК 16

3.1. Задачи обработки 16

3.2. Групповая оценка объектов 17

3.3. Оценка согласованности мнений экспертов 22

3.4. Обработка парных сравнений объектов 25

3.5. Определение взаимосвязи ранжировок 27

Заключение 31

Список литературы 32

ВВЕДЕНИЕ

Современная экономика предъявляет новые, более высокие требования к управлению. Вопросы совершенствования методов управления приобретают сейчас очень важное значение, поскольку именно в этой сфере имеются еще большие резервы роста эффективности народного хозяйства.

Существенным фактором повышения научного уровня управления является применение при подготовке решений математических методов и моделей. Однако, полная математическая формализация технико-экономических задач часто неосуществима вследствие их качественной новизны и сложности. В связи с этим все шире используются экспертные методы, под которыми понимают комплекс логических и математико-статистических методов и процедур, направленных на получение от специалистов информации, необходимой для подготовки и выбора рациональных решений.

Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании. В последние годы экспертные оценки находят широ­кое применение в социально-политическом и научно-тех­ническом прогнозировании, в планировании народного хозяйства, отраслей, объединений, в разработке крупных научно-технических, экономических и социальных про­грамм, в решении отдельных проблем управления.

В ходе развития общественного производства возрастают не только сложность управления, но и требования к качеству принимаемых решений. Для того, чтобы повысить обоснованность решений и учесть многочисленные факторы, оказывающие влияние на их результаты, необходим разносторонний анализ, основанный как на расчетах, так и на аргументированных суждениях руководителей и специалистов, знакомых с состоянием дел и перспективами развития в различных областях практической деятельности. Применение экспертных методов обеспечивает активное и целенаправленное участие специалистов на всех этапах принятия решений, что позволяет существенно повысить их качество и эффективность.

Целью нашей работы является изучение метода экспертных оценок - одного из важнейших этапов принятия грамотных управленческих решений.

1) изучение роли экспертизы в управлении;

2) рассмотрение порядка организации экспертного оценивания;

3) изучение видов шкал и порядка их использования;

4) подробное рассмотрение заключительного этапа экспертного оценивания – обработки экспертных оценок.

Реферат состоит из введения, трех глав, заключения и списка использованной литературы.

В первой главе рассматривается вопрос о необходимости экспертизы в управлении, рассмотрен метод экспертных оценок, этапы организации экспертного оценивания.

Вторая глава посвящена рассмотрению шкал сравнений, даны характеристики каждому виду шкал и порядок их использования при формализации информации.

В третьей главе рассматривается обработка экспертных оценок: задачи обработки, групповая оценка объектов, оценка согласованности мнений экспертов, обработка парных сравнений объектов и определение взаимосвязи ранжировок.

Так как целью данной работы является рассмотрение экспертного оценивания в теоретическом аспекте, то практическое применение не рассматривается.

В заключении рассматривается роль метода экспертных оценок в принятии управленческих решений.

Глава 1. ЭКСПЕРТИЗА В УПРАВЛЕНИИ

1.1. Роль экспертов в управлении

Современное общество развивается под постоянно усиливающимся воздействием научно-технической революции, которая вызывает коренные преобразования в производстве, глубокие изменения в структуре и экономике народного хозяйства. Происходящая научно-техническая революция по своему влиянию далеко выходит за пределы сферы материального производства, захватывая все стороны жизнедеятельности общества, предопределяя большинство решений, направленных на его рациональное экономическое и социальное развитие.

История развития науки, техники и производства показывает, что одновременно с последовательным замещением функций человека функциями машин увеличивается его роль в сфере управления. Непрерывный рост объема затрат на развитие науки, на создание новой техники и совершенствование производства существенно повышает значимость решений, принимаемых на всех уровнях управления народным хозяйством. Будущее науки. Техники и экономики в значительной мере зависит от качества и своевременности этих решений, а объективные тенденции научно-технического прогресса могут ускоряться или замедляться под их воздействием.

Особое значение в управлении сейчас приобретают методы оптимизации, основанные на применении формальных, чаще всего математических моделей, обеспечивающих экономию времени и средств при решении многих практических задач. Построение моделей помогает привести сложные и подчас неопределенные факторы, связанные с проблемой принятия решений, в логически стройную схему, определить, какие данные необходимы для оценки и выбора альтернатив.

В процессе управления возникает естественное стремление к отысканию решения, которое объективно является наилучшим из всех возможных. В качестве инструмента оптимизации сейчас широко используется математическое программирование. Успехи в применении математического программирования к решению различного рода хозяйственных, научных, технических и военных задач породили методологические воззрения, согласно которым кардинальное решение проблем управления возможно только тогда, когда все его аспекты отображаются в системе взаимосвязанных математических моделей.

Однако, формализация технико-экономических и управленческих решений осложняется рядом особенностей современного этапа научно-технического прогресса. Жизнь общества настолько сложна, что трудно рассчитывать на появление моделей, которые полностью отражали бы природу и количественные взаимосвязи социально-экономических процессов. Реальная действительность всегда сложнее самых тонких математических моделей, а ее развитие часто опережает формальное познание. Задачи управления требуют в качестве неотъемлемого элемента решения участия людей. И, наконец, сам процесс управления всегда предполагает ориентацию не только на числовые данные, но и на обычный здравый смысл. Использование математического программирования и вычислительной техники позволяет принимать решения, основанные на более полной и надежной информации. Но, несомненно и то, что при любых условиях для выбора рационального решения требуется нечто большее, чем хорошая математическая модель.

Принимая решения, мы обычно предполагаем, что информация, используемая для их обоснования, достоверно и надежна. Но для многих экономических и научно-технических задач, являющихся по своему характеру качественно новыми и неповторяющимися, это предположение либо заведомо не реализуется, либо в момент принятия решения его не удается доказать.

Наличие информации и правильность ее использования в значительной степени предопределяют оптимальность выбранного решения. Кроме данных, состоящих из числовых статистических величин, информация включает в себя другие, не поддающиеся непосредственному измерению величины, например, предположения о возможных решениях и их результатах. Практика показывает, что основные трудности, возникающие при поиске и выборе деловых решений, обусловлены прежде всего недостаточно высоким качеством и неполнотой имеющейся информации.

Основные трудности, связанные с информацией, возникающие при выработке сложных решений, можно подразделить на следующие группы.

Во-первых, исходная статистическая информация зачастую бывает недостаточно достоверной.

Во-вторых, некоторая часть информации имеет качественный характер и не поддается количественной оценке. Так, нельзя точно рассчитать степень влияния социальных и политических факторов на реализацию планов, оценить экономический эффект будущих изобретений и т.д. Но, поскольку эти факторы и явления оказывают существенное влияние на результаты решений, их нельзя не учитывать.

В-третьих, в процессе подготовки решений часто возникают ситуации, когда в принципе необходимую информацию получить можно, однако в момент принятия решения она отсутствует, поскольку это связано с большими затратами времени или средств.

В-четвертых, существует большая группа факторов, которые могут повлиять на реализацию решения в будущем, но их нельзя точно предсказать.

В-пятых, одна из наиболее существенных трудностей при выборе решений состоит в том, что любая научная или техническая идея содержит в себе потенциальную возможность различных схем ее реализации, а любое экономическое действие может приводить к многочисленным исходам. Проблема выбора наилучшего варианта решения может возникнуть и потому, что обычно существуют ограничения в ресурсах, а следовательно, принятие одного варианта всегда связано с отказом от других решений.

В-шестых, при выборе наилучшего решения мы нередко сталкиваемся с многозначностью обобщенного критерия, на основе которого можно произвести сравнение возможных исходов. Многозначность, многомерность и качественное различие показателей являются серьезным препятствием для получения обобщенной оценки относительной эффективности, важности, ценности или полезности каждого из возможных решений.

В связи с этим одна из главных особенностей решения сложных проблем состоит в том, что применение расчетов здесь всегда переплетается с использованием суждений руководителей, ученых, специалистов. Эти суждения позволяют хотя бы частично компенсировать недостаток информации, полнее использовать индивидуальный и коллективный опыт, учесть предположения специалистов о будущих состояниях объектов. Закономерность развития науки и техники состоит в том, что новые знания, научно-техническая информация накапливаются в течение длительного периода времени. Нередко это накопление идет в скрытой форме в сознании ученых и разработчиков. Они, как никто другой, способны оценить перспективы той области, в которой работают, и предвидеть характеристики тех систем, в создании которых непосредственно участвуют.

Опыт показывает, что использование несистематизированных суждений отдельных специалистов оказывается при решении многих сложных научных и технических проблем недостаточно эффективным вследствие многообразия взаимосвязей между основными элементами таких проблем и невозможности охвата их всех. При использовании традиционных процедур подготовки решений нередко не удается рассмотреть широкий диапазон факторов, учесть весь спектр альтернативных путей решения проблем.

Все это заставляет прибегать к комплектованию групп специалистов, представляющих в качестве экспертов различные области знаний. Применение групповой экспертизы позволяет не только рассмотреть множество аспектов и факторов, но и объединить различные подходы, с помощью которых руководитель находит наилучшее решение.

1.2. Метод экспертных оценок

Сущность метода экспертных оценок заключается в про­ведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и фор­мальной обработкой результатов. Получаемое в резуль­тате обработки обобщенное мнение экспертов принима­ется как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мыш­ления и количественных оценок с их формальной обра­боткой позволяет получить эффективное решение проб­лемы.

При выполнении своей роли в процессе управления эксперты производят две основные функции: формируют объекты (альтернативные ситуации, цели, решения и т. п.) и производят измерение их характеристик (ве­роятности свершения событий, коэффициенты значимо­сти целей, предпочтения решений и т. п.). Формирование объектов осуществляется экспертами на основе логиче­ского мышления и интуиции. При этом большую роль играют знания и опыт эксперта. Измерение характери­стик объектов требует от экспертов знания теории изме­рений.

Характерными особенностями метода экспертных оце­нок как научного инструмента решения сложных нефор­мализуемых проблем являются, во-первых, научно обо­снованная организация проведения всех этапов экспер­тизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение ко­личественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно из­вестной экспертизы, широко применяемой в различных сферах человеческой деятельности.

Экспертные коллективные оценки широко использо­вались в государственном масштабе для решения слож­ных проблем управления народным хозяйством уже в первые годы Советской власти. В 1918 году при Высшем совете народного хозяйства был создан Совет экспертов, задачей которого являлось решение наиболее сложных проблем реоргани­зации народного хозяйства страны. При составлении пятилетних планов развития народного хозяйства страны систематически использовались экспертные оценки ши­рокого круга специалистов.

В настоящее время в нашей стране и за рубежом ме­тод экспертных оценок широко применяется для решения важных проблем различного характера. В различных отраслях, объединениях и на предприятиях действуют постоянные или временные экспертные ко­миссии, формирующие решения по различным сложным неформализуемым проблемам.

Все множество плохо формализуемых проблем услов­но можно разделить на два класса. К первому классу относятся проблемы, вотношении которых имеется до­статочный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информаци­онного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом методы опроса и обработки основываются на использовании принципа «хорошего» измерителя. Данный принцип означает, что выполняются следующие гипотезы:

1) эксперт является хранилищем большого объема ра­ционально обработанной информации, и поэтому он мо­жет рассматриваться как качественный источник инфор­мации;

2) групповое мнение экспертов близко к истинному ре­шению проблемы.

Если эти гипотезы верны, то для построения проце­дур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической стати­стики.

Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез. При решении проблем из этого класса экспертов уже нельзя рассматривать как «хороших измерителей». Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающее­ся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработ­ка.

Область применения метода экспертных оценок весь­ма широка. Перечислим типовые задачи, решаемые ме­тодом экспертных оценок:

1) составление перечня возможных событий в различ­ных областях за определенный промежуток времени;

2) определение наиболее вероятных интервалов време­ни свершения совокупности событий;

3) определение целей и задач управления с упорядоче­нием их по степени важности;

4) определение альтернативных (вариантов решения за­дачи с оценкой их предпочтения;

5) альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;

6) альтернативные варианты принятия решений в опре­деленной ситуации с оценкой их предпочтительности.

Для решения перечисленных типовых задач в настоя­щее время применяются различные разновидности мето­да экспертных оценок. К основным видам относятся: ан­кетирование и интервьюирование; мозговой штурм; дис­куссия; совещание; оперативная игра; сценарий.

Каждый из этих видов экспертного оценивания обла­дает своими преимуществами и недостатками, определя­ющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное примене­ние нескольких видов экспертизы.

Анкетирование и сценарий предполагают индивиду­альную работу эксперта. Интервьюирование может осу­ществляться как индивидуально, так и с группой экспер­тов. Остальные виды экспертизы предполагают коллек­тивное участие экспертов, в работе. Независимо от индивидуального или группового участия экспертов в ра­боте целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов.

При использовании метода экспертных оценок воз­никают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обра­ботка результатов опроса, организация процедур экспер­тизы.

1.3. Организация экспертного оценивания

Первым этапом организации работ по применению экс­пертного оценивания является подготовка и издание ру­ководящего документа, в котором формулируется цель работы и основные положения по ее выполнению. В этом документе должны быть отражены следующие вопросы:постановка задачи-эксперимента; цели эксперимента; обоснование необходимости эксперимента; сроки выполнения работ; задачи и состав группы управления; обязанности и права группы; финансовое и материальное обеспечение работ.

Для подготовки этого документа, а также для руко­водства всей работой назначается руководитель экспертизы. На него возлагается формирование группы управ­ления и ответственность за организацию ее работы.

После формирования группа управления осуществля­ет работу по подбору экспертной группы примерно в та­кой последовательности: уяснение решаемой проблемы; определение круга областей деятельности, связанных с проблемой; определение долевого состава экспертов по каждой области деятельности; определение количества экспертов в группе; составление предварительного спи­ска экспертов с учетом их местонахождения; анализ ка­честв экспертов и уточнение списка экспертов в группе; получение согласия экспертов на участие в работе; составление окончательного списка экспертной группы.

Параллельно с процессом формирования группы экспертов группа управления проводит разработку организации и методики проведения опроса экспертов. При этом решаются следующие вопросы: место и время проведения опроса; количество и задачи туров опроса; форма проведения опроса; порядок фиксации и сбора результатов опроса; состав необходимых документов.

Следующим этапом работы группы управления является определение организации и методики обработки данных опроса. На данном этапе необходимо определить задачи и сроки обработки, процедуры и алгоритмы об­работки, силы и средства для проведения обработки.

В процессе непосредственного проведения опроса экс­пертов и обработки его результатов группа управления осуществляет выполнение комплекса работ в соответст­вии с разработанным планом, корректируя его по мере необходимости по содержанию, срокам и обеспечению ресурсами.

Последним этапом работ для группы управления яв­ляется оформление результатов работы. На этом этапе производится анализ результатов экспертного оценива­ния; составление отчета; обсуждение и одобрение ре­зультатов; представление итогов работы на утвержде­ние; ознакомление с результатами экспертизы организа­ций и лиц.

1.4. Подбор экспертов

Для реализации процедуры экспертного оценивания не­обходимо сформировать группу экспертов. Общим тре­бованием при формировании группы экспертов является эффективное решение проблемы экспертизы. Эффектив­ность решения проблемы определяется характеристика­ми достоверности экспертизы и затрат на нее.

Достоверность экспертного оценивания может быть определена только на основе практического решения проблемы и анализа ее результатов. Использование экс­пертов как раз и обусловлено тем, что отсутствуют ка­кие-либо другие способы получения информации. Поэто­му оценка достоверности экспертизы может осуществ­ляться, как правило, только по апостериорным (послеопытным) данным. Если экспертиза проводится систематически с примерно одним и тем же составам экспертов, то появляется возможность накопления ста­тистических данных по достоверности работы группы экспертов и получения устойчивой числовой оценки до­стоверности. Эту оценку можно использовать в качестве априорных данных о достоверности группы экспертов для последующих экспертиз.

Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характе­ристик экспертов.

Определение характера зависимости достоверности от перечисленных факторов является еще одной пробле­мой процедуры подбора экспертов.

Сложной проблемой процедуры подбора является формирование системы характеристик эксперта, сущест­венно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свой­ства специалиста и возможные отношения между людь­ми, влияющие на экспертизу. Важным требованием к характеристикам эксперта является измеримость этих характеристик.

Еще одной проблемой является организация процеду­ры подбора экспертов, т.е. определение четкой последо­вательности работ, выполняемых в процессе подбора экс­пертов и необходимых ресурсов для их реализации.

Максимальное число экспертов в группе проверяется на ограничение по финансовым ресурсам. Определив за­висимость между достоверностью, количеством экспер­тов и расходами на оплату, группа управления представ­ляет руководству эту информацию и формулирует воз­можные альтернативы решений. Такими альтернативами могут быть либо снижение достоверности результатов экспертного оценивания до уровня, обеспечивающего вы­полнение ограничения по расходам на оплату экспертов, либо сохранение исходного требования на достоверность экспертизы и увеличение расходов на оплату экспертов.

Следующим этапом работы по подбору экспертов яв­ляется составление предварительного списка экспертов. При составлении этого списка проводится анализ ка­честв экспертов. Кроме учета качеств экспертов, опреде­ляются их местонахождение и возможности участия вы­бранных специалистов в экспертизе. При оценке качеств учитывается мнение людей, хорошо знающих кандида­тов в эксперты.

После составления списка экспертов им направляют­ся письма с приглашением участвовать в экспертизе. В письмах объясняется цель проведения экспертизы, ее сроки, порядок проведения, объем работы и условия вознаграждения. К письмам прилагаются анкеты данных эксперта и самооценки компетентности. Получив ответы экспертов, группа управления состав­ляет окончательный список группы экспертов.

После составления и утверждения списка экспертам посылается сообщение о включении их в состав эксперт­ной группы. Если экспертное оценивание производится методом анкетирования, то одновременно с уведомлением о включении в экспертную группу всем экспертам высы­лается анкета с необходимыми инструкциями для их за­полнения. Сообщением экспертам о включении их вэкс­пертизу заканчивается работа по подбору экспертов.

1.5. Опрос экспертов

Опрос – главный этап совместной работы группы управ­ления и экспертов. Основным содержанием опроса явля­ется:

Постановка задачи и предъявление вопросов экспер­там;

Информационное обеспечение работы экспертов;

Выработка экспертами суждений, оценок, предложе­ний;

Сбор результатов работы экспертов.

Можно назвать три типа задач, которые решаются в процессе опроса:

Оценка качественная или количественная заданных объектов;

Построение новых объектов;

Построение и оценка новых объектов.

При коллективной экспертизе используются следую­щие основные виды опроса: дискуссия, анкетирование и интервьюирование, метод коллективной генерации идей, или мозговой штурм.

Анкетирование может проводиться с обратной связью или без нее. При анкетировании с обратной связью опрос экспер­тов производится в несколько этапов с доведением до сведения экспертов некоторых результатов опроса на предыдущем этапе, включая оценки отдельных экспертов и их аргументацию.

Главным в организации опроса является обеспечение максимума информации и максимума творческой актив­ности, самостоятельности эксперта. Необходимо стре­миться довести до каждого эксперта по возможности всю информацию, относящуюся к анализируемому яв­лению, которой располагают как эксперты, так и орга­низаторы опроса, не лишая в то же время эксперта твор­ческой самостоятельности и активности.

Однако возможности эксперта по переработке инфор­мации ограниченны. В результате эксперт может принять решение, не используя всей информации, имеющейся в его распоряжении. Кроме того, новая информация воспринимается чело­веком с определенным внутренним сопротивлением и не сразу влияет на уже сложившиеся субъективные оценки. Отношение к новой информации благожелательнее, а восприятие и использование ее полнее, если она пред­ставляется в доходчивой, яркой и компактной форме.

Из этих психологических особенностей следует необ­ходимость предоставления экспертам возможностей для фиксации поступающей информации путем ведения за­писей, использования технических средств, а также не­обходимость предварительной обработки информации и представления ее экспертам в наиболее воспринимаемой форме.

Необходимо подчеркнуть противоречивость значения обмена экспертами информацией, так как получение такой информации таит опасность потери творческой не­зависимости в построении модели объекта экспертом. Разрешение этого противоречия в полной мере невоз­можно, и при каждой экспертизе ее организаторы долж­ны находить разумный компромисс, прежде всего, путем выбора вида опроса, формы и степени общения экспер­тов.

Каждый из видов опроса имеет свои достоинства и недостатки в построении обмена информацией между экспертами и в организации их независимого творчества. Выбор того или иного вида опроса определяется многи­ми факторами, из которых основными являются:

Цель и задачи экспертизы;

Существо и сложность анализируемой проблемы;

Полнота и достоверность исходной информации;

Требуемые объем и достоверность информации, полу­чаемой в результате опроса;

Время, отведенное на опрос и экспертизу в целом;

Допустимая стоимость опроса, и экспертизы в целом;

Количество экспертов и членов группы управления, их характеристики.

Анкетирование является наиболее эффективным и самым распространенным видом опроса, ибо позволяет наилучшим образом сочетать информационное обеспече­ние экспертов с их самостоятельным творчеством.

Глава 2. ФОРМАЛИЗАЦИЯ ИНФОРМАЦИИ И ШКАЛЫ СРАВНЕНИЙ

Рациональное использование информации, полученной от экспертов, возможно при условии образования ее в форму, удобную для дальнейшего анализа, направленного на подготовку и принятие решений.

Возможности формализации информации зависят от специфических особенностей исследуемого объекта, надежности и полноты имеющихся данных, уровня принятия решения. Форма представления экспертных данных зависит и от принятого критерия, на выбор которого, в свою очередь, существенное влияние оказывает специфика исследуемой проблемы.

Формализация информации, полученной от экспертов, должна быть направлена на подготовку решения таких технико-экономических и хозяйственных задач, которые не могут быть в полной мере описаны математически, поскольку являются «слабоструктуризованными», т.е. содержат неопределенности, связанные не только с измерением, но и самим характером исследуемых целей, средств их достижения и внешних условий.

При анализе перспектив необходимо не только представить в виде косвенных оценок часть информации, не поддающуюся количественному измерению, и не только выразить с помощью таких оценок количественно измеримую информацию, о которой в момент подготовки решения нет достаточно надежных данных. Самое важное – формализовать эту информацию так, чтобы помочь принимающему решение выбрать из множества действий одно или несколько, наиболее предпочтительные в отношении некоторого критерия.

Если эксперт в состоянии сравнить и оценить возможные варианты действий, приписав каждому из них определенное число, значит, он обладает определенной системой предпочтений. В зависимости от того, по какой шкале могут быть заданы эти предпочтения, экспертные оценки содержат больший или меньший объем информации и обладают различной способностью к формализации.

Исследуемые объекты или явления можно опознавать или различать на основе признаков или факторов. Фактор – это множество, состоящее, по крайней мере, из двух элементов, отражающих различные уровни некоторых подлежащих рассмотрению величин. Уровень одних факторов может быть выражен количественно (в рублях, процентах, килограммах и т.д.) – такие факторы называются количественными. Уровень других нельзя выразить с помощью числа, их называют качественными.

Факторы условно разделяют на дискретные и непрерывные. Дискретными являются факторы с определенным, обычно небольшим, числом уровней. Факторы, уровни которых рассматриваются как образующие непрерывное множество, называют непрерывными. В зависимости от целей и возможностей анализа одни и те же факторы могут трактоваться или как дискретные, или как непрерывные.

Рассмотрим основные логические аксиомы, которые используются в эксперных методах при формализации информации с помощью различных шкал.

При использовании номинальных шкал исследуемые объекты можно опознавать и различать на основе трех аксиом идентификации :

1) i либо есть j , либо есть не j ;

2) если i естьj , то j есть i ;

3) если i естьj и j есть k , то i есть k .

Факторы в данном случае выступают как ассоциативные показатели, обладающие информацией, которая может быть формализована в виде бинарных оценок двух уровней: 1 (идентичен) или 0 (различен).

В случаях, когда исследуемые объекты можно в результате сравнения расположить в определенной последовательности с учетом какого-либо существенного фактора (факторов), используются порядковые шкалы , позволяющие устанавливать равноценность или доминирование.

Предположим, что необходимо расположить в определенной последовательности n объектов по какому-либо фактору (критерию). Представим это упорядочение в виде матрицы где i, j = 1,2,…, n .

Величины устанавливают соотношения между объектами и могут быть определены следующим образом :

Установим основные аксиомы, необходимые для соблюдения условий упорядочения. Соотношение означающее, что i предпочтительнее j , должно быть ассиметричным, т.е., если то и транзитивным, т.е., если то

Соотношение означающее, что i и j равноценны, называется соотношением эквивалентности. Такое соотношение должно быть

рефлексивным, т.е.

симметричным, т.е., если то

транзитивным, т.е., если и то

Кроме того, эти два соотношения должны быть совместимы, т.е., если и то а также, если и то

И, наконец, упорядочение должно быть связным, т.е. для любых i и j или или или

Использование порядковых шкал позволяет различать объекты и в тех случаях, когда фактор (критерий) не задан в явном виде, т.е. когда мы не знаем признака сравнения, но можем частично или полностью упорядочить объекты на основе системы предпочтений, которой обладает эксперт.

Любое множество A будем называть упорядоченным, если для любых двух его элементов X и Y установлено, что, либо X предшествует Y , либо Y предшествует X . Иногда не удается установить строгое предшествование для всех элементов множества, но можно произвести «групповое» упорядочение, когда упорядочиваются подмножества равноценных элементов. Далее можно поставить задачу сравнения и упорядочения этих подмножеств.

Использование порядковых шкал позволяет производить преобразования полученных от экспертов оценок, соответствующих всем монотонно возрастающим функциям. Так, например, положительные оценки могут либо быть заменены их квадратами, или логарифмами, или любой другой монотонно возрастающей функцией.

Для формализации оценок, полученных от экспертов, часто используют интервальные шкалы . При использовании таких шкал для этих целей можно брать почти все обычные статистические меры. Исключением являются те меры, которые предполагают знание «истинно» нулевой точки шкалы, которая вводится здесь условно.

Интервальные шкалы предполагают возможность трансформации оценок, полученных на одной шкале, в оценки на другой шкале при помощи уравнения

Разности между значениями на шкале интервалов становятся мерами на шкале отношений, т.е. на обычной числовой шкале, т.к. в результате вычитания можно избавиться от постоянного слагаемого b .

В ряде случаев при формализации экспертных оценок используется свойство аддитивности, которое присуще только шкале отношений. Наличие аддитивности выражается следующими аксиомами :

1) если j = a и i > 0, то i + j > a ;

2) i + j = j + i ;

3) если i = a и j = b , то i + j = a + b ;

4) (i + j ) + k = i + (j + k ).

Обычная ситуация, когда необходимо принять решение с учетом аддитивности, заключается в том, что имеется несколько (по крайней мере, два) качественных факторов. При наличии нескольких факторов, характеризующих конкретные объекты, существует множество реальных свойств и типов связей объектов.

Так, например, факторы (показатели), характеризующие эффективность создания и внедрения новой техники, по их объективному содержанию можно подразделить на технические, экономические и социальные. С другой стороны, эти факторы можно сгруппировать в соответствии с их ролью в процессе создания и внедрения новой техники, выделив, например, показатели, характеризующие затраты, качество, экономическую эффективность и т.д.

В зависимости от характера и цели исследуемой проблемы факторы, по которым различаются объекты, могут быть количественно сравнимы или несравнимы между собой, частично сравнимы (т.е. не любой с любым, а лишь некоторые из них), упорядочены по степени их важности и т.д. Несоизмеримость различных факторов обусловлена не только необходимостью применения разных единиц измерения, но и тем, что каждый фактор, выражая определенное свойство, одновременно является оценкой отношения к данному свойству со стороны принимающего решение.

В практике управления во всех его уровнях часто возникают ситуации, когда необходимо принять решение с учетом многих факторов. Вопрос о том, какие именно факторы следует считать наиболее важными, зависит от качественных особенностей объекта решения и целей, которым должно отвечать это решение.

Например, при рассмотрении нескольких вариантов плана или вариантов организационно-технических мероприятий следует принимать во внимание факторы времени, затрат, технических и социальных результатов, экономической эффективности и т.д. Обычно все разнообразие факторов пытаются привести к однозначной комплексной оценке, причем наиболее удобной и распространенной такой оценкой является денежная.

Однако, поскольку последствия любого решения, особенно решений, связанных с научно-техническим прогрессом, выходят за рамки стоимостных показателей, необходимы измерители, характеризующие значимость, полезность того или иного фактора (или их комплекса). Такие комплексные измерители широко применяются при оценке качества продукции, технико-экономического уровня производства, при оценке результатов деятельности научных организаций и в ряде других задач. Хотя вопрос о создании достаточно обоснованной формализованной системы таких измерителей еще далек от окончательного решения, можно указать некоторые общие черты, обеспечивающие подход к формализации этого процесса и к использованию того или иного логико-математического аппарата.

В случае, когда все факторы задаются по номинальной шкале, т.е. задаются по этой шкале некоторый признак a и исходное множество элементов M, цель состоит в выборе подмножества элементов M(a), обладающих этим признаком. В таких случаях производится сравнение элементов, точнее их свойств, с признаком – эталоном, а результат – разбиение множества – можно рассматривать как упорядочение по двухэлементной шкале, по которой каждому из элементов присваивается балл, равный либо нулю, либо единице.

В случае, когда факторы заданы по порядковой шкале или по нескольким порядковым шкалам, цель состоит в упорядочении элементов исходного множества, в выявлении с помощью экспертов скрытой упорядоченности, которая, по предположению, присуща этому множеству. Необходимым условием решения этой задачи является допущение о транзитивности. Чем полнее упорядочены элементы, тем легче применить логико-математические и комбинаторные методы к решению таких задач.

В зависимости от существа или важности того или иного фактора на этапе подготовки и принятия решений могут быть использованы различные шкалы. Такие факторы, как затраты, прибыль, время, могут быть оценены по порядковой или интервальной шкале (в рублях, днях или условных единицах). Для оценки же таких факторов, как срок окупаемости или сравнительная эффективность вариантов, может быть использована интервальная шкала; качественные или социальные факторы могут оцениваться по порядковым или номинальным шкалам.

Глава 3. ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

3.1. Задачи обработки

После проведения опроса группы экспертов осуществля­ется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получе­ние обобщенных данных и новой информации, содержа­щейся в скрытой форме в экспертных оценках. На осно­ве результатов обработки формируется решение проб­лемы.

Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости при­менения качественных и количественных методов обра­ботки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от клас­са проблем, решаемых экспертным оцениванием.

Все множество проб­лем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется до­статочный уровень знаний и опыта, т. е. имеется необ­ходимый информационный потенциал. При решении про­блем, относящихся к этому классу, эксперты рассмат­риваются как хорошие в среднем измерители. Под тер­мином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для об­работки результатов группового экспертного оценивания проблем первого класса можно успешно применять ме­тоды математической статистики, основанные на осред­нении данных.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевид­но, что применение методов осреднения результатов групповой экспертной оценки при решении проблем вто­рого класса может привести к большим ошибкам. По­этому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использую­щих принципы осреднения, а на методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результа­тов опроса возникают следующие основные задачи:

1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;

2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;

3) определение относительных весов объектов;

4) определение согласованности мнений экспертов;

5) определение зависимостей между ранжировками;

6) оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при груп­повом экспертном оценивании. Решение этой задачи за­висит от использованного экспертами метода измерения.

При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или неко­торой совокупности показателей. Желательно иметь чис­ленные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необхо­димо иметь оценки объектов, которые не только осуще­ствляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед дру­гим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных усло­виях можно решить путем обработки оценок экспертов.

Определение согласованности мнений экспертов про­изводится путем вычисления числовой меры, характери­зующей степень близости индивидуальных мнений. Ана­лиз значения меры согласованности способствует выра­ботке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мне­ний экспертов. Качественный анализ причин группиров­ки мнений позволяет установить существование различ­ных взглядов, концепций, выявить научные школы, опре­делить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать един­ство и различие в мнениях экспертов. Важную роль иг­рает также установление зависимости между ранжиров­ками, построенными по различным показателям сравне­ния объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевид­на. Например, если показателями сравнения являются различные цели, а объектами - средства достижения це­лей, то установление взаимосвязи между ранжировка­ми, упорядочивающими средства с точки зрения дости­жения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.

Оценки, получаемые на основе обработки, представ­ляют собой случайные объекты, поэтому одной из важ­ных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

Обработка результатов экспертизы представляет со­бой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную свя­зано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгорит­мы обработки результатов экспертного оценивания.

3.2. Групповая оценка объектов

В данном параграфе рассмотрим алгоритмы обра­ботки результатов экспертного оценивания множества объектов. Пусть m экспертов произвели оценку n объек­тов по l показателям. Результаты оценки представлены в виде величин , где j – номер эксперта, i - номер объекта,h – номер показателя (признака) сравнения. Если оценка объектов произведена методом ранжирова­ния, то величиныпредставляют собой ранги. Если оценка объектов выполнена методом непосредственной оценки или методом последовательного сравнения, то величины представляют собой числа из некоторого отрезка числовой оси, или баллы. Обработка результа­тов оценки существенно зависит от рассмотренных мето­дов измерения.

Рассмотрим случай, когда величиныполучены мето­дами непосредственной оценки или последовательного сравнения, т. е. являются числами, или баллами. Для получения групповой оценки объектов в этом случае можно (воспользоваться средним значением оценки для каждого объекта

(5.1)

где - коэффициенты весов показателей сравнения объектов, - коэффициенты компетентности экспертов. Коэффициенты весов показателей и компетентности объ­ектов являются нормированными величинами

(5.2)

Коэффициенты весов показателей могут быть опреде­лены экспертным путем. Если - коэффициент веса h -го показателя, даваемый j -м экспертом, то средний ко­эффициент веса h -го показателя по всем экспертам ра­вен

(5.3)

Получение групповой экспертной оценки путем сум­мирования индивидуальных оценок с весами компетент­ности и важности показателей при измерении свойств объектов в кардинальных шкалах основывается на пред­положении о выполнении аксиом теории полезности фон Неймана-Моргенштерна как для индивидуальных, так и для групповой оценки и условий неразличимости объектов в групповом отношении, если они неразличимы во всех индивидуальных оценках (частичный принцип Парето). В реальных задачах эти условия, как пра­вило, выполняются, поэтому получение групповой оцен­ки объектов путем суммирования с весами индивидуаль­ных оценок экспертов широко применяется на практике.

Коэффициенты компетентности экспертов можно вы­числить по апостериорным данным, т. е. по результатам оценки объектов. Основной идеей этого вычисления яв­ляется предположение о том, что компетентность экспер­тов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов.

Алгоритм вычисления коэффициентов компетентно­сти экспертов имеет вид рекуррентной процедуры :

(5.4)

(5.5)

(5.6)

Вычисления начинаются сt =1. В формуле (5.4) началь­ные значения коэффициентов компетентности принима­ются одинаковыми и равнымиТогда по фор­муле (5.4) групповые оценки объектов первого приближе­ния равны средним арифметическим значениям оценок экспертов

(5.7)

(5.8)

и значение коэффициентов компетентности первого при­ближения по формуле (5.6) :

(5.9)

Используя коэффициенты компетентности первого приближения, можно повторить весь процесс вычисле­ния по формулам (5.4), (5.5), (5.6) и получить вторые приближения величин

Повторение рекуррентной процедуры вычислений оце­нок объектов и коэффициентов компетентности естест­венно ставит вопрос о ее сходимости. Для рассмотрения этого вопроса исключим из уравнений (5.4), (5.6) пере­менныеии представим эти уравнения в вектор­ной форме

где матрицыВ размерности и С размерностиравны

Величина в уравнениях (5.10) определяется по фор­муле (5.5).

Если матрицы В и С неотрицательны и неразложи­мы, то, как это следует из теоремы Перрона – Фробениуса, привекторы и - сходятся к собственным векторам матриц В и С , соответствующим макси­мальным собственным числам этих матриц

(5.12)

Предельные значения векторов х иk можно вычислить из уравнений :

(5.13)

гдемаксимальные собственные числа матриц В и С .

Условие неотрицательности матриц В и С легко вы­полняется выбором неотрицательных элементовмат­рицы Х оценок объектов экспертами.

Условие неразложимости матриц В и С практически выполняется, поскольку, если эти матрицы разложимы, то это означает, что эксперты и объекты распадаются на независимые группы. При этом каждая группа экс­пертов оценивает только объекты своей группы. Естест­венно, что получать групповую оценку в этом случае нет смысла. Таким образом, условия неотрицательности и неразложимости матриц В и С , а следовательно, и условия сходимости процедур (5.4), (5.5), (5.6) в практи­ческих условиях выполняются.

Следует заметить, что практическое вычисление век­торов групповой оценки объектов и коэффициентов ком­петентности проще выполнять по рекуррентным форму­лам (5.4), (5.5), (5.6). Определение предельных значе­ний этих векторов по уравнению (5.13) требует примене­ния вычислительной техники.

Рассмотрим теперь случай, когда эксперты произво­дят оценку множества объектов методом ранжирования так, что величины есть ранги. Обработка результа­тов ранжирования заключается в построении обобщен­ной ранжировки. Для построения такой ранжировки введем конечномерное дискретное пространство ранжи­ровок и метрикув этом пространстве. Каждая ранжи­ровка множества объектов j -м экспертом есть точка в пространстве ранжировок.

Ранжировку можно представить в виде матрицы парных сравнений, элементы которой определим следу­ющим образом :

Очевидно, что, поскольку каждый объект эквива­лентен самому себе. Элементы матрицыантисим­метричны.

Если все ранжируемые объекты эквивалентны, то все элементы матрицы парных сравнений равны нулю. Та­кую матрицу будем обозначатьи считать, что точка в пространстве ранжировок, соответствующая матрице, является началом отсчета.

Обращение порядка ранжируемых объектов приводит к транспонированию матрицы парных сравнений.

Метрикакак расстояние между i -й и j -й ранжировками определяется единственным образом фор­мулой

если выполнены следующие 6 аксиом :

1. причем равенство достигается, если ранжировки и тождественны;

2.

причем равенство достигается, если ранжировка «лежит между» ранжировками и. Понятие «лежит между» означает, что суждение о некоторой пареобъектов в ранжировке совпадает с суждением об этой паре либо в, либо в или же вва в

4.

где получается изнекоторой перестановкой объ­ектов, а из той же самой перестановкой. Эта ак­сиома утверждает независимость расстояния от перену­мерации объектов.

5. Если две ранжировки , одинаковы всюду, за исключением n -элементного множества элементов, явля­ющегося одновременно сегментом обеих ранжировок, то можно вычислить, как если бы рассматрива­лась ранжировка только этих n -объектов. Сегментом ранжировки называется множество, дополнение которо­го непусто и все элементы этого дополнения находятсялибо впереди, либо позади каждою элемента сегмента. Смысл этой аксиомы состоит в том, что если две ранжи­ровки полностью согласуются в начале и конце сегмента, а отличие состоит в упорядочении средних n -объектов, то естественно принять, что расстояние между ранжиров­ками должно равняться расстоянию, соответствующему ранжировкам средних n -объектов.

6. Минимальное расстояние равно единице.

Пространство ранжиро­вок при двух объектах можно изобразить в виде трех точек, лежащих на одной прямой. Расстояния между точками равны При трех объектах про­странство всех возможных ранжировок состоит из 13 то­чек.

Используя введенную метрику, определим обобщен­ную ранжировку как такую точку, которая наилучшим образом согласуется с точками, представляющими собой ранжировки экспертов. Понятие наилучшего согласова­ния на практике чаще всего определяют как медиану и среднюю ранжировку.

Медиана есть такая точка в пространстве ранжиро­вок, сумма расстояний от которой до всех точек - ран­жировок экспертов является минимальной. В соответст­вии с определением медиана вычисляется из условия

Средняя ранжировка есть такая точка, сумма квад­ратов расстояний от которой до всех точек – ранжиро­вок экспертов является минимальной. Средняя ранжи­ровка определяется из условия

Пространство ранжировок конечно и дискретно, по­этому медиана и средняя ранжировка могут быть только какими-либо точками этого пространства. В общем слу­чае медиана и средняя ранжировка могут не совпадать ни с одной из ранжировок экспертов.

Если учитывается компетентность экспертов, то ме­диана и средняя ранжировка определяются из условий :

где - коэффициенты компетентности экспертов.

Если ранжировка объектов производится по несколь­ким показателям, то определение медианы вначале про­изводится для каждого эксперта по всем показателям, а затем вычисляется медиана по множеству экспертов :

(j =1,2,…,m );

где - коэффициенты весов показателей.

Основным недостатком определения обобщенной ран­жировки в виде медианы или средней ранжировки яв­ляется трудоемкость расчетов. Естественный способ отыскания или в виде перебора всех точек простран­ства ранжировок неприемлем вследствие очень быстро­го роста равномерности пространства при увеличении количества объектов и, следовательно, роста трудоемко­сти вычислений. Можно свести задачу отыскания илик специфической задаче целочисленного программи­рования. Однако это не очень эффективно уменьшает вы­числительные трудности.

Расхождение обобщенных ранжировок при различ­ных критериях возникает при малом числе экспертов и несогласованности их оценок. Если мнения экспертов близки, то обобщенные ранжировки, построенные по критериям медианы и среднего значения, будут совпа­дать.

Сложность вычисления медианы или средней ран­жировки привела к необходимости применения более простых способов построения обобщенной ранжировки.

К числу таких способов относится способ сумм рангов.

Этот способ заключается в ранжировании объектов по величинам сумм рангов, полученных каждым объек­том от всех экспертов. Для матрицы ранжировок составляются суммы

Для учета компетентности экспертов достаточно умножить каждую i -ю ранжировку на коэффициент ком­петентности j -го эксперта В этом случае вы­числение суммы рангов для i -го объекта производится по следующей формуле :

(i =1,2,…,n ).

Обобщенная ранжировка с учетом компетентности экс­пертов строится на основе упорядочения сумм рангов для всех объектов.

Следует отметить, что построение обобщенной ранжи­ровки по суммам рангов является корректной процеду­рой, если ранги назначаются как места объектов в виде натуральных чисел 1, 2, ..., n . Если назначать ранги произвольным образом, как числа в шкале порядка, то сумма рангов, вообще говоря, не сохраняет условие мо­нотонности преобразования и, следовательно, можно по­лучать различные обобщенные ранжировки при различ­ных отображениях объектов на числовую систему. Нуме­рация мест объектов может быть произведена единст­венным образом с помощью натуральных чисел. Поэтому при хорошей согласованности экспертов построение обобщенной ранжировки по методу сумм рангов дает результаты, согласующиеся с результатами вычисления медианы.

Еще одним более обоснованным в теоретическом от­ношении подходом к построению обобщенной ранжиров­ки является переход от матрицы ранжировок к матрице парных сравнений и вычисление собственного вектора,соответствующего максимальному собственному числу этой матрицы. Упорядочение объектов производится по величине компонент собственного вектора.

3.3. Оценка согласованности мнений экспертов

При ранжировании объектов эксперты обычно расходят­ся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степе­ни согласия экспертов. Получение количественной ме­ры согласованности мнений экспертов позволяет более обоснованно интерпретировать причины в расхождении мнений.

В настоящее время известны две меры согласованно­сти мнений группы экспертов: дисперсионный и энтро­пийный коэффициенты конкордации.

Дисперсионный коэффициент конкордации . Рас­смотрим матрицу результатов ранжировки n объектов группой изm экспертов (j =1,…,m ; i =1,…,n ), где - ранг, присваиваемый j -м экспертом i -му объекту. Составим суммы рангов по каждому столбцу. В резуль­тате получим вектор с компонентами

(i =1,2,…,n). (5.14)

Величины рассмотрим как реализации случайной величины и найдем оценку дисперсии. Как известно, оп­тимальная по критерию минимума среднего квадрата ошибки оценка дисперсии определяется формулой :

, (5.15)

где - оценка математического ожидания, равная

Дисперсионный коэффициент конкордации определя­ется как отношение оценки дисперсии (5.15) к макси­мальному значению этой оценки

Коэффициент конкордации изменяется от нуля до еди­ницы, поскольку.

Вычислим максимальное значение оценки дисперсии для случая отсутствия связанных рангов (все объекты различны). Предварительно покажем, что оценка мате­матического ожидания зависит только от числа объек­тов и количества экспертов. Подставляя в (5.16) зна­чение из (5.14), получаем

Рассмотрим вначале суммированные поi при фиксиро­ванном j . Это есть сумма рангов для j -го эксперта. По­скольку эксперт использует для ранжировки натураль­ные числа от 1 до n , то, как известно, сумма натураль­ных чисел от 1 до n равна

(5.19)

Подставляя (5.19) в (5.18), получаем

(5.20)

Таким образом, среднее значение зависит только от числа экспертов m и числа объектов n .

Для вычисления максимального значения оценки дис­персии подставим в (5.15) значение из (5.14) и воз­ведем в квадрат двучлен в круглой скобке. В результате получаем

(5.21)

Учитывая, что из (5.18) следует

получаем

(5.22)

Максимальное значение дисперсии достигается при наибольшем значении первого члена в квадратных скоб­ках. Величина этого члена существенно зависит от рас­положения рангов - натуральных чисел в каждой стро­кеi . Пусть, например, все m экспертов дали одинаковую ранжировку для всех n объектов. Тогда в каждой строке матрицыбудут расположены одинаковые числа. Следовательно, суммирование рангов в каждойi -u стро­ке дает m -кратное повторениеi -ro числа :

Возводя в квадрат и суммируя по i , получаем значение первого члена в (5.22) :

(5.23)

Теперь предположим, что эксперты дают несовпадающие ранжировки, например, для случая n =m все эксперты присваивают разные ранги одному объекту. Тогда

Сравнивая это выражение с приm =n , убеждаемся, что первый член в квадратных скобках формулы (9) ра­вен второму члену и, следовательно, оценка дисперсии равна нулю.

Таким образом, случай полного совпадения ранжиро­вок экспертов соответствует максимальному значению оценки дисперсии. Подставляя (5.23) в (5.22) и выпол­няя преобразования, получаем

(5.24)

Введем обозначение

(5.25)

Используя (5.25), запишем оценку дисперсии (5.15) в виде

Подставляя (5.24), (5.25), (5.26) в (5.17) и сокращая на множитель (n -1), запишем окончательное выражение для коэффициента конкордации

(5.27)

Данная формула определяет коэффициент конкордации для случая отсутствия связанных рангов.

Если в ранжировках имеются связанные ранги, то максимальное значение дисперсии в знаменателе форму­лы (5.17) становится меньше, чем при отсутствии свя­занных рангов. Можно показать, что при наличии свя­занных рангов коэффициент конкордации вычисляется по формуле :

(5.28)

(5.29)

В формуле (5.28) - показатель связанных рангов в j -й ранжировке, - число групп равных рангов в j -й ран­жировке, - число равных рангов в k -й группе связан­ных рангов при ранжировке j -м экспертом. Если совпа­дающих рангов нет, то =0,=0 и, следовательно, =0. В этом случае формула (5.28) совпадает с форму­лой (5.27).

Коэффициент конкордации равен 1, если все ранжи­ровки экспертов одинаковы. Коэффициент конкордации равен нулю, если все ранжировки различны, т. е. со­вершенно нет совпадения.

Коэффициент конкордации, вычисляемый по формуле (5.27) или (5.28), является оценкой истинного значения коэффициента и, следовательно, представляет собой случайную величину. Для определения значимости оценки коэффициента конкордации необходимо знать распреде­ление частот для различных значений числа экспертов m и количества объектов n . Распределение частот для W при и вычислено в . Для боль­ших значений m и n можно использовать известные ста­тистики. При числе объектов n >7 оценка значимости коэффициента конкордации может быть произведена по критерию. ВеличинаWm (n -1 ) имеет распределе­ние сv=n –1 степенями свободы.

При наличии связанных рангов распределение с v=n -1 степенями свободы имеет величина :

(5.30)

Энтропийный коэффициент конкордации определяет­ся формулой (коэффициент согласия) :

где Н – энтропия, вычисляемая по формуле

(5.32)

а - максимальное значение энтропии. В формуле для энтропии - оценки вероятностей j -го ранга, при­сваиваемого i -му объекту. Эти оценки вероятностей вы­числяются в виде отношения количества экспертов , приписавших объекту рангj к общему числу экспер­тов .

Максимальное значение энтропии достигается при равновероятном распределении рангов, т. е. когда. Тогда

Подставляя это соотношение в формулу (5.32), получаем

(5.35)

Коэффициент согласия изменяется от нуля до едини­цы. При расположение объектов по рангам рав­новероятно, поскольку в этом случае . Данный случай может быть обусловлен либо невозможностью ранжировки объектов по сформулированной совокупно­сти показателей, либо полной несогласованностью мне­ний экспертов. При , что достигается при нулевой энтропии (H =0), все эксперты дают одинаковую ранжи­ровку. Действительно, в этом случае для каждого фик­сированного объекта все эксперты присваивают ему один и тот же ранг j , следовательно, , a Поэтому и H =0.

Сравнительная оценка дисперсионного и энтропийно­го коэффициентов конкордации показывает, что эти ко­эффициенты дают примерно одинаковую оценку согла­сованности экспертов при близких ранжировках. Одна­ко если, например, вся группа экспертов разделилась в мнениях на две подгруппы, причем ранжировки в этих подгруппах противоположные (прямая и обратная), то дисперсионный коэффициент конкордации будет равен нулю, а энтропийный коэффициент конкордации будет равен 0,7. Таким образом, энтропийный коэффициент конкордации позволяет зафиксировать факт разделениямнений на две противоположные группы. Объем вычис­лений для энтропийного коэффициента конкордации не­сколько больше, чем для дисперсионного коэффициента конкордации.

3.4. Обработка парных сравнений объектов

При решении задачи оценки большого числа объектов (ранжирование, определение относительных весов, бал­льная оценка) возникают трудности психологического характера, обусловленные восприятием экспертами мно­жества свойств объектов. Эксперты сравнительно легко решают задачу парного сравнения объектов. Возникает вопрос, каким образом получить оценку всей совокуп­ности объектов на основе результатов парного сравнения, не накладывая условия транзитивности? Рассмотрим алгоритм решения этой задачи. Пусть m экспертов про­изводят оценку всех пар объектов, давая числовую оценку

(5.36)

Если при оценке пары экспертов высказались в пользу предпочтения экспертов высказались наобороти экспертов считают эти объекты равноценными, то оценка математического ожидания случайной величины равна

(5.37)

Общее количество экспертов равно сумме

(5.38)

Определяя отсюда и подставляя его в (5.37), полу­чаем

(5.39)

Очевидно, чтоСовокупность величин образует матрицу на основе которой можно по­строить ранжировку всех объектов и определить коэф­фициенты относительной важности объектов.

Введем вектор коэффициентов относительной важно­сти объектов порядкаt следующей формулой :

где - матрица математических ожиданий оценок пар объектов, - вектор коэф­фициентов относительной важности объектов порядка t . Величина равна

(5.41)

Коэффициенты относительной важности первого по­рядка есть относительные суммы элементов строк мат­рицы X . Действительно, полагая t =1, из (5.40) получаем

(5.42)

Коэффициенты относительной важности второго по­рядка (t =2} есть относительные суммы элементов строк матрицы X 2 .

(5.43)

Если матрица Х неотрицательна и неразложима, то при увеличении порядка величина сходится к максимальному собственному числу матрицы Х

а вектор коэффициентов относительной важности объек­тов стремится к собственному вектору матрицы X , соот­ветствующему максимальному собственному числу

Определение собственных чисел и собственных век­торов матрицы производится решением алгебраического уравнения

где Е-единичная матрица, и системы линейных урав­нений

гдеk – собственный вектор матрицы X , соответствующий максимальному собственному числу . Компоненты соб­ственного вектора есть коэффициенты относительной важности объектов, измеренные в шкале отношений.

С практической точки зрения вычисление коэффици­ентов относительной важности объектов проще произво­дить последовательной процедурой по формуле (5.40) при t =1, 2, … Как показывает опыт, 3-4 последователь­ных вычислений достаточно, чтобы получить значения и k , близкие к предельным значениям, определяемым уравнениями (5.46), (5.47).

Матрица неотрицательная, поскольку все ее элементы (5.39) неотрицательны. Матрица называется неразложимой, если перестановкой рядов (строк и одно­именных столбцов) ее нельзя привести к треугольному виду

(5.48)

где - неразложимые подматрицы матрицы X . Пред­ставление матрицы Х в виде (5.48) означает разбиение объектов на l доминирующих множеств

При 1 =n матрица Х неразложима, т. е. существует толь­ко одно доминирующее множество, совпадающее с ис­ходным множеством объектов. Разложимость матрицы Х означает, что среди экспертов имеются большие раз­ногласия в оценке объектов.

Если матрица Х неразложима, то вычисление коэф­фициентов относительной важностипо­зволяет определить, во сколько раз один объект превос­ходит другой объект по сравниваемым показателям. Вычисление коэффициентов относительной важности объектов позволяет одновременно построить ранжиров­ку объектов. Объекты ранжируются так, что первым объ­ектом считается объект, у которого коэффициент относи­тельной важности наибольший. Полная ранжировка определяется цепочкой неравенств

из которой следует

Если матрица Х является разложимой, то определить коэффициенты относительной важности можно только для каждого множества. Для каждой матрицы определяется максимальное собственное число и соответ­ствующий этому числу собственный вектор. Компоненты собственного вектора и есть коэффициенты относитель­ной важности объектов, входящих в множество. По этим коэффициентам осуществляется ранжировка объ­ектов данного множества. Общая ранжировка объектов дается соотношением

Таким образом, если матрица Х неразложима, то по результатам парного сравнения объектов возможно какизмерение предпочтительности объектов в шкале отно­шений, так и в шкале порядка (ранжирование). Если же матрица Х разложима, то возможно только ранжиро­вание объектов.

Следует отметить, что отношение предпочтения может быть выражено любым положительным числом С . При этом должно выполняться условие В частности, можно выбрать С =2 так, что если , то если то и если , то .

3.5. Определение взаимосвязи ранжировок

При обработке результатов ранжирования могут возник­нуть задачи определения зависимости между ранжиров­ками двух экспертов, связи между достижением двух различных целей при решении одной и той же совокуп­ности проблем или взаимосвязи между двумя призна­ками.

В этих случаях мерой взаимосвязи может служить коэффициент ранговой корреляции . Характеристикой взаимосвязи множества ранжировок или целей будет яв­ляться матрица коэффициентов ранговой корреляции. Известны коэффициенты ранговой корреляции Спирмена и Кендалла.

Коэффициент ранговой корреляции Спирмена опре­деляется формулой :

где - взаимный корреляционный момент первой и второй ранжировок, - дисперсии этих ранжиро­вок. По данным двум ранжировкам оценки взаимного корреляционного момента и дисперсии вычисляются по формулам :

(5.51)

(5.52)

где n – число ранжируемых объектов, - ранги в первой и второй ранжировках соответственно, - средние ранги в первой и второй ранжировках. Оценки средних рангов определяются формулами :

(5.53)

Вычислим оценки средних рангов и дисперсий в пред­положении, что в ранжировках отсутствуют связанные ранги, т. е. обе ранжировки дают строгое упорядочение объектов. В этом случае средние ранги (5.53) представ­ляют собой суммы натуральных чисел от единицы доn , поделенные на n . Следовательно, средние ранги для обе­их ранжировок одинаковы и равны

(5.54)

При вычислении оценок дисперсий заметим, что если раскрыть круглые скобки в формулах (5.52), то под зна­ком сумм будут находиться натуральные числа и их квадраты. Две ранжировки могут отличаться друг от друга только перестановкой рангов, но сумма натураль­ных чисел и их квадратов не зависит от порядка (пере­становки) слагаемых. Следовательно, дисперсии (5.52) для двух любых ранжировок (при отсутствии связанных рангов) будут одинаковы и равны

(i=1,2). (5.55)

Подставляя значение из (5.51) ииз (5.55) в формулу (5.50), получим оценку коэффициента ранго­вой корреляции Спирмена

(5.56)

Для проведения практических расчетов удобнее поль­зоваться другой формулой для коэффициента корреля­ции Спирмена. Ее можно получить из (5.56), если вос­пользоваться тождеством

В равенстве (5.57) первые две суммы в правой части, как это следует из выражения (5.55), одинаковы и рав­ны

Подставляя в формулу (5.56) значение суммы из (5.57) и используя равенство (5.58), получаем следу­ющую удобную для расчетов формулу коэффициента ранговой корреляции Спирмена :

(5.59)

Коэффициент корреляции Спирмена изменяется от –1 до +1. Равенство единице достигается, как это сле­дует из формулы (5.59), при одинаковых ранжировках, т. е. когда Значение имеет место при про­тивоположных ранжировках (прямая и обратная ран­жировки). При равенстве коэффициента корреляции ну­лю ранжировки считаются линейно независимыми.

Оценка коэффициента корреляции, вычисляемая по формуле (5.59), является случайной величиной. Для определения значимости этой оценки необходимо задать­ся величиной вероятности , принять решение о значи­мости коэффициента корреляции и определить значение порога по приближенной формуле

(5.60)

где n – количество объектов, - функция, обратная функции

для которой имеются таблицы . После вычисления порогового значения оценка коэффициента корреляции считается значимой, если.

Для определения значимости оценки коэффициента Спирмена можно воспользоваться критерием Стьюдента, поскольку величина

приближенно распределена по закону Стьюдента с n – 2 степенями свободы.

Если в ранжировках имеются связанные ранги, то коэффициент Спирмена вычисляется по следующей фор­муле :

(5.62)

где - оценка коэффициента ранговой корреляции Спирмена, вычисляемая по формуле (5.59), а величины равны

(5.63)

В этих формулахи - количество различных связан­ных рангов в первой и второй ранжировках соответст­венно.

Коэффициент ранговой корреляции Кендалла при от­сутствии связанных рангов определяется формулой :

гдеn – количество объектов, - ранги объектов, sign x – функция, равная

Сравнительная оценка коэффициентов ранговой кор­реляции Спирмена и Кендалла показывает, что вычис­ление коэффициентов Спирмена производится по более простой формуле. Кроме того, коэффициент Спирмена дает более точный результат, поскольку он является оп­тимальной по критерию минимума средней квадрата ошибки оценкой коэффициента корреляции.

Отсюда следует, что при практических расчетах кор­реляционной зависимости ранжировок предпочтитель­нее использовать коэффициент ранговой корреляции Спирмена.

ЗАКЛЮЧЕНИЕ

Динамизм и новизна современных народнохозяйственных задач, возможность возникновения разнообразных факторов, влияющих на эффективность решений, требуют, чтобы эти решения принимались быстро и в то же время были хорошо обоснованы. Опыт, интуиция, чувство перспективы в сочетании с информацией помогают специалистам точнее выбирать наиболее важные цели и направления развития, находить наилучшие варианты решения сложных научно-технических и социально-экономических задач в условиях, когда нет информации о решении аналогичных проблем в прошлом.

Использование метода экспертных оценок помогает формализовать процедуры сбора, обобщения и анализа мнений специалистов с целью преобразования их в форму, наиболее удобную для принятия обоснованного решения.

Но, следует заметить, что метод экспертных оценок не может заменить ни административных, ни плановых решений, он лишь позволяет пополнить информацию, необходимую для подготовки и принятия таких решений. Широкое использование экспертных оценок правомерно только там, где для анализа будущего невозможно применить более точные методы.

Экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков.

Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок.

Однако, уже и сегодня экспертные оценки в сочетании с другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.

СПИСОК ЛИТЕРАТУРЫ:

2. Беклешев В.К., Завлин П.Н. Нормирование труда в НИИ и КБ. М.: Экономика, 1973. 203 с.

10. Добров Г.М., Ершов Ю.В., Левин Е.И., Смир­нов Л.П. Экспертные оценки в научно-техническом прогнози­ровании. Киев: Наукова думка, 1974. 263 с.

11. Евланов Л.Г. Принятие решений в условиях неопределен­ности. М.: ИУНХ, 1976. 196 с.

12. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. М.: Экономика, 1978. 133 с.

13. Карданская Н. Принятие управленческого решения. М.: ЮНИТИ, 1999. 407 с.

14. Кемени Д., Снелл Д. Кибернетическое моделирование. М.: Советское радио, 1972. 234 с.

15. Кравченко Т.К. Процесс принятия плановых решений. М.: Экономика, 1974. 183 с.

16. Миркин Б.Г. Проблема группового выбора. М.: Наука, 1974. 256 с. . 17. Михеев В.И. Социально-психологические аспекты управле­ния. Стиль и методы работы руководителя. М.: Молодая гвар­дия, 1975. 181 с.

18. Пфанцагль И. Теория измерений. М.: Мир, 1976. 278 с.

19. Тихомиров Ю.А. Управленческое решение. М.: Наука, 1996. 278 с.

20. Федоренко Н.П. Оптимизация экономики. М.: Наука, 1977. 236 с.

21. Ямпольский С.М., Лисичкин В.А. Прогнозирование научно-технического прогресса. М.: Экономика, 1974. 302 с.

Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что в настоящее время и в обозримом будущем не будет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. Сейчас мы не будем возвращаться к обсуждению проблемы существования различных "партий" среди экспертов и обратим внимание на иные стороны процедур подбора экспертов.

В проблеме подбора экспертов можно выделить две составляющие - 1)составление списка возможных экспертов и 2) выбор из них экспертной комиссии в соответствии с компетентностью кандидатов .

Составление списка возможных экспертов облегчается тогда, когда рассматриваемый вид экспертизы проводится многократно. В таких ситуациях обычно ведется реестр возможных экспертов, например, в области государственной экологической экспертизы или судейства фигурного катания. Из обширного реестра можно выбирать по различным критериям или с помощью датчика псевдослучайных чисел .

Как быть, если экспертиза проводится впервые, а потому устоявшиеся списки возможных экспертов отсутствуют? Однако и в этом случае у каждого конкретного специалиста есть некоторое представление о том, что требуется от эксперта в подобной ситуации. Для формирования списка есть полезный метод "снежного кома", при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько (например, пять) фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее и зафиксированы в списках РГ, а некоторые - новые. Каждого вновь появившегося опрашивают по той же схеме. Процесс расширения списка останавливается, когда список экспертов расширяется до нужных размеров или когда новые фамилии практически перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Метод "снежного кома" имеет и недостатки. Число туров до остановки процесса наращивания "снежного кома" нельзя заранее предсказать, а потому нельзя предварительно установить продолжительность и стоимость этой работы. Кроме того, ясно, что если на первом этапе все эксперты были из одного "клана", придерживались в чем-то близких взглядов или занимались сходной деятельностью, то и метод "снежного кома" даст, скорее всего, прежде всего лиц из этого "клана". Мнения и аргументы других "кланов" будут упущены.

Вопрос об оценке компетентности экспертов не менее сложен. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций, награды, ...), очевидно, в современных условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять при формировании экспертной комиссии.

Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких - нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях не так уж много, особено в сравнении с претензиями профанов. Бывают уклонения и в другую сторону, излишне критичное отношение к своим возможностям. При этом специалист вполне сознательно искусственно сужает зону своей компетенции. Так, научный работник может заявить, что он компетентен только в том, чему посвящены его последние публикации.

При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль малая осведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет (не менее 3-4) работающих совместно, в одной комнате, над одной темой. Именно про такие пары можно сказать, что они "пуд соли вместе съели". Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку их взгляды из-за схожести жизненного пути слишком похожи друг на друга. Малая осведомленность экспертов о возможностях друг друга приводит к взаимооценкам на основе недостаточных, а иногда и не вполне достоверных сведений, или на базе ранее описанных формальных показателей.

Если процедура экспертного опроса предполагает непосредственное общение экспертов, необходимо учитывать еще ряд обстоятельств. Большое значение имеют их личностные (социально-психологические) качества. Так, один-единственный "говорун" может парализовать деятельность всей комиссии на совместном заседании. К срыву могут привести и неприязненные отношения членов комиссии, и сильно различающийся научный и должностной статус членов комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.

Необходимо подчеркнуть, что подбор экспертов в конечном счете - функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов. При этом ЛПР может как добавить в комиссию отдельных экспертов, так и вычеркнуть некоторых из них - по собственным соображениям, с которыми членам РГ и ЭК знакомиться нет необходимости.

Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995 г., в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде.

О разработке регламента проведения сбора и анализа экспертных мнений

Как уже отмечалось, существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов, "кланов" и отдельных коллег. В других экспертов собирают вместе для подготовки материалов для ЛПР , при этом эксперты обсуждают проблему друг с другом, принимают или отвергают аргументы друг друга, учатся друг у друга, и неверные или недостаточно обоснованные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем (в случае достаточно хорошей согласованности мнений) их усреднения позволяли принимать обоснованные решения с точки зрения эконометрики. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" для формирования команды экспертов.

В настоящее время не существует общепринятой научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению. Попытка силой (приняв какой-либо нормативно-правовой документ) утвердить одну из возможных точек зрения может принести лишь вред.

Однако для рассказа о многообразии экспертных оценок необходима какая-либо рабочая классификация методов. Одну из таких возможных классификаций мы даем ниже, перечисляя основания, по которым мы делим экспертные оценки .

Какова цель работы комиссии ? Один из основных вопросов - что именно должна представить экспертная комиссия в результате своей работы - информацию для принятия решения ЛПР или проект самого решения? От ответа на этот методологический вопрос зависит организация работы экспертной комиссии, и он служит первым основанием для разбиения методов на группы с целью их классификации.

ЦЕЛЬ - СБОР ИНФОРМАЦИИ ДЛЯ ЛПР . Тогда Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов "за" и "против" определенных вариантов решений. Полезен следующий метод постепенного увеличения числа экспертов. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему - третьему - эксперту... Процедура заканчивается, когда иссякает поток новых соображений.

Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового. Таких обычно называют диссидентами (т.е. инакомыслящими). Именно от них следует ожидать наиболее оригинальных аргументов.

ЦЕЛЬ - ПОДГОТОВКА ПРОЕКТА РЕШЕНИЯ ДЛЯ ЛПР . Эконометрические методы в экспертных оценках применяются обычно именно для решения задач, связанных с подготовкой проекта решения, основанного на итоговом коллективном мнении комиссии экспертов. При этом зачастую некритически принимают догмы согласованности и одномерности. Эти догмы "кочуют" из одной публикации в другую, поэтому целесообразно их обсудить.

ДОГМА СОГЛАСОВАННОСТИ . Часто без всяких оснований считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. (В лучшем случае им разрешает составить документ под названием: "Особое мнение".) При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их компетентности и профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают.

Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Так, хорошо известны примеры деления специалистов при оценке результатов научно-исследовательских работ (НИР) на две группы: "теоретиков", явно предпочитающих НИР, в которых получены теоретические результаты, и "практиков", выбирающих те НИР, которые позволяют получать непосредственные прикладные результаты (речь идет, например, об истории конкурсов НИР в академическом Институте проблем управления (автоматики и телемеханики)).

Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так! Цель достигнута - установлено, что единого мнения нет . Это весьма важно. И ЛПР при принятии решений должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся Рабочей группе (или даже "подсказанной" ЛПР ).

Часто не учитывают еще одного чисто эконометрического обстоятельства. Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением экспертов на группы, что делает дальнейшие расчеты не имеющими отношения к действительности, а потому не имеющими практического смысла. Для примера обратимся к конкретным методам расчетов с помощью коэффициентов конкордации на основе коэффициентов ранговой корреляции Кендалла или Спирмена. Необходимо напомнить, что согласно эконометрической теории положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение конкретной статистической гипотезы , а именно, гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Таким образом, проверяется нулевая гипотеза , согласно которой ранжировки, описывающие мнения экспертов, являются независимыми случайными бинарными отношениями , равномерно распределенными на множестве всех ранжировок . Отклонение этой нулевой гипотезы толкуется как принятие альтернативной гипотезы согласованности ответов экспертов. Другими словами, мы падаем жертвой заблуждений, вытекающих из различного толкования одних и тех же слов в не вполне связанных друг с другом научных дисциплинах: принятие статистической гипотезы согласованности в указанном математико-статистическом смысле вовсе не является обоснованием согласованности мнений экспертов в смысле практики экспертных оценок. (Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела группу специалистов к разработке нового эконометрического аппарата для проверки согласованности - непараметрических методов, основанных на т.н. люсианах и входящих в современный раздел эконометрики - статистику нечисловых данных ). Группы экспертов с близкими взглядами можно выделить эконометрическими методами кластер -анализа.

МНЕНИЯ ДИССИДЕНТОВ . С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов- диссидентов , т.е. инакомыслящих по сравнению с большинством. Жесткий способ борьбы с диссидентами состоит в игнорировании их мнений, т.е. фактически в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений (выбросов), приводит к процедурам, имеющим плохие или неизвестные статистические свойства. Так, известна крайняя неустойчивость классических методов отбраковки выбросов по отношению к отклонениям от предпосылок модели.

Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур . Простейший пример: если ответ эксперта - действительное число , то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР ) аргументы диссидентов.

В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое впоследствии приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает эти ответственность и труд на плечи ЛПР .

ДОГМА ОДНОМЕРНОСТИ . Среди менеджеров и инженеров распространен довольно примитивный подход так называемой "квалиметрии", согласно которому объект экспертизы всегда можно оценить одним числом . Странная идея! Оценивать человека одним числом приходило в голову лишь на невольничьих рынках . Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент числа - ее " рыночной стоимости ".

Вместе с тем нельзя полностью отрицать саму идею поиска обобщенных показателей качества, технического уровня и аналогичных им. Так, каждый объект можно оценивать по многим показателям качества. Например, легковой автомобиль можно оценивать по таким показателям:

• расход бензина на 100 км пути (в среднем);
• надежность (средняя стоимость ремонта за год);
• экологическая безопасность, оцениваемая по содержанию вредных веществ в выхлопных газах;
• маневренность;
• быстрота набора скорости 100 км/час после начала движения;
• максимальная достигаемая скорость;
• длительность сохранения в салоне положительной температуры при низкой наружной температуре (-50 градусов по Цельсию) и выключенном двигателе;
• дизайн (привлекательность и "модность" внешнего вида и отделки салона);
• представительность;
• срок службы;
• эксплуатационные расходы (за год);
• цена;
• приведенная к сопоставимым ценам стоимость 1 км пробега, и т.д.

Можно ли свести оценки по этим показателям вместе? Определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но, как нам представляется, не имеет большого практического значения для водителя рядовой частной машины, особенно в большом городе с суровым ограничением на максимальную скорость. Для такого водителя важнее расход бензина, маневренность и надежность . Для машин различных служб государственного управления, видимо , надежность важнее, чем для частника, а расход бензина - наоборот. Представительность важна для высших менеджеров и чиновников, занимающих высокие посты. Для районов Крайнего Севера важна теплоизоляция салона, а для южных районов - нет. И т.д.

Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Но такой постановки зачастую нет. А тогда "игры" по разработке обобщенного показателя качества - например, в виде линейной функции от перечисленных переменных - могут не дать объективных выводов. Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето и т.д.

В некоторых случаях все-таки можно глобально сравнить объекты - например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов - изделий или проектов. Тогда можно ПОДОБРАТЬ коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению (например, найти эти коэффициенты методом наименьших квадратов ). Наоборот, в подобных случаях НЕ СЛЕДУЕТ оценивать указанные коэффициенты непосредственно с помощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что они выполнить не в состоянии - указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель.

Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов. Раз организаторы опроса спрашивают, эксперты отвечают , но эти ответы не несут в себе надежной информации о реальности...

Отметим, что есть экспертные процедуры, в которых веса отдельных факторов вычисляются в результате тщательного анализа иерархической системы показателей. Для таких процедур приведенные выше критические замечания по поводу экспертного определения весов факторов не имеют силы.

ВТОРОЕ ОСНОВАНИЕ КЛАССИФИКАЦИИ ЭКСПЕРТНЫХ ПРОЦЕДУР - ЧИСЛО ТУРОВ . Экспертизы могут включать один тур, некоторое фиксированное число туров (два, три,…) или неопределенное число туров. Чем больше туров, тем более тщательным является анализ ситуации, поскольку эксперты при этом обычно много раз возвращаются к рассмотрению предмета экспертизы. Но одновременно увеличивается общее время на экспертизу и возрастает ее стоимость . Можно уменьшить расходы , вводя в экспертизу не всех экспертов сразу, а постепенно. Так, например, если цель состоит в сборе аргументов "за" и "против", то первоначальный перечень аргументов может быть составлен одним экспертом. Второй добавит к нему свои аргументы. Суммарный материал поступит к первому и третьему, которые внесут свои аргументы и контраргументы. И так далее - добавляется по одному эксперту на каждый новый тур.

Наибольшие сложности вызывают процедуры с заранее неопределенным числом туров, например, "снежный ком". Часто задают максимально возможное число туров, и тогда неопределенность сводится к тому, придется ли проводить это максимальное число туров или удастся ограничиться меньшим числом.

ТРЕТЬЕ ОСНОВАНИЕ КЛАССИФИКАЦИИ ЭКСПЕРТНЫХ ПРОЦЕДУР - ОРГАНИЗАЦИЯ ОБЩЕНИЯ ЭКСПЕРТОВ . Рассмотрим достоинства и недостатки каждого из элементов следующей шкалы: отсутствие общения - заочное анонимное общение - заочное общение без анонимности - очное общение с ограничениями - очное общение без ограничений.

При отсутствии общения эксперт высказывает свое мнение, ничего не зная о других экспертах и об их мнениях. Он полностью независим, что и хорошо, и плохо. Хорошо - потому что он полностью независим, защищен от любого давления. Плохо - он не знает соображений других экспертов, а потому опирается лишь на собственную информационную базу. Обычно такая ситуация соответствует однотуровой экспертизе.

Заочное анонимное общение , например, как в методе Дельфи, означает, что эксперт знакомится с мнениями и аргументами других экспертов, но не знает, кто именно высказал то или иное положение. Следовательно, в экспертизе должно быть предусмотрено хотя бы два тура, чтобы эксперт смог скорректировать свое мнение, познакомившись с мнениями других.

Заочное общение без анонимности соответствует, например, общению по Интернету. Экспертные опросы на основе информационных технологий -весьма перспективное направление развития в области организации экспертиз.

Все варианты заочной экспертизы хороши тем, что нет необходимости собирать экспертов вместе, следовательно, находить для этого удобное для всех экспертов время и место .

При очных экспертизах эксперты говорят, а не пишут, как при заочных, и потому успевают за то же время сказать существенно больше. Очная экспертиза с ограничениями весьма распространена. Это - собрание, идущее по фиксированному регламенту. Примером является военный совет в императорской русской армии, когда эксперты (офицеры и генералы) высказывались в порядке от младшего ( по чину и должности) к старшему. Подробно такой совет описан в повести А.С. Пушкина "Капитанская дочка". Другой пример - "мозговой штурм", при котором запрещается критиковать чужие высказывания.

Наконец, - это свободная дискуссия. Все очные экспертизы имеют недостатки, связанные с возможностями отрицательного влияния на их проведение социально-психологических свойств и клановых (партийных) пристрастий участников, а также неравенства их профессионального, должностного, научного статусов. Представьте себе, что соберутся вместе 5 лейтенантов и 3 генерала. Независимо от того, какая информация имеется у того или иного участника встречи, ход ее предсказать нетрудно: генералы будут говорить, а лейтенанты - помалкивать. Хотя опыт генералов несравним с лейтенантским, но в процессе недавнего обучения лейтенанты познакомились с последними научными достижениями, которые почти наверняка прошли мимо внимания генералов. Разумеется, этот пример можно обсудить не для совещания военных, а для собрания управленцев (менеджеров), врачей или преподавателей.

Необходимо обратить внимание на психологические особенности экспертов. Один начнет громко говорить на разные темы, как только ему это удастся, и словесный понос может продолжаться часами. От попыток прервать его и сказать свое такой деятель легко отбивается, в частности, за счет высокой скорости произнесения слов. Поведение другого эксперта противоположно. Он предпочитает помалкивать, пока ему не предоставлено слово , не тратить сил на попытки вклиниться в словесный понос "говоруна". Из сказанного ясно, что очная экспертиза без ограничений , т.е. свободная дискуссия - это недостижимый идеал, реально роль и возможности председателя заседания (зафиксированные в регламенте работы ЭК) должны быть достаточны велики.

КОМБИНАЦИЯ РАЗЛИЧНЫХ ВИДОВ ЭКСПЕРТИЗЫ . Реальные экспертизы часто представляют собой комбинации различных описанных выше типов экспертиз. В качестве примера рассмотрим систему экспертиз при подготовке и защите студентом дипломного проекта. Сначала идет многотуровая очная экспертиза, проводимая научным руководителем и консультантами, в результате учета результатов этой экспертизы студент подготавливает проект к защите. Затем два эксперта работают заочно - это автор отзыва сторонней организации и заведующий кафедрой, допускающий работу к защите. Обратите внимание на различие задач этих экспертов и объемов выполняемой ими работы - один пишет подробный отзыв и дает оценку проекту, второй росписью на титульном листе проекта разрешает его защиту. Наконец - очная экспертиза без ограничений (для членов государственной аттестационной комиссии). Дипломный проект оценивается коллегиально, по большинству голосов, при этом лишь один из экспертов (научный руководитель) знает работу подробно, а остальные - в основном лишь по докладу студента. Таким образом, имеем сочетание многотуровой и однотуровой, заочных и очных экспертиз. Подобные сочетания характерны для многих реально проводящихся экспертиз.

Задачи прогнозирова-ния, решаемые с помощью методов экспертных оценок, включают два формально не связанных между собой элемента: определение возмож-ных вариантов развития объекта прогнозирования и их оценку. Анализ экспертных методов показывает целесообразность применения «мозговых атак» для определения возможных вариантов развития. Их использование позволяет получить продуктивные результаты за короткий период времени и вовлечь всех экспертов в активный творческий процесс.

Методы «мозговых атак» можно классифицировать по признаку наличия или отсутствия обратной связи между руководителем и участниками «мозговой атаки» в процессе решения некоторой проб-лемной ситуации. Наличие обратной связи позволяет концентриро-вать внимание участников только на вариантах, полезных по тем или иным критериям для решения проблемной ситуации. Однако, ис-кусственно вводя ограничения, мы лишаемся возможности увидеть все многообразие подходов, и тем самым появляется вероятность пропустить оригинальные мысли, имеющие потенциальную, но не осознаваемую в настоящий момент ценность. Отсутствие обратной связи, т.е. максимальная стимуляция высказываний, предполагает проведение сложной и большой по объему работы на этапе их оценки. Создавшаяся ситуация потребовала разработать метод «мозговой атаки», способный качественно и достаточно быстро проводить оцен-ку вариантов, не ограничивая при этом их числа.

Сущность этого метода состоит в актуализации творческого потенциала специалистов при «мозговой атаке» проблемной ситуации, реализующей вначале генерацию идей и последующее деструирование (разрушение, критику) этих идей с формулированием контридей. Работа с методом «мозговой атаки» предполагает реализацию сле-дующих шести этапов.

Первый этап - формирование группы участников «мозговой атаки» (по численности и составу). Оптимальная числен-ность группы участников находится эмпирическим путем: наиболее продуктивными признаны группы в 10-15 человек. Состав группы участников предполагает их целенаправленный подбор: 1) из лиц примерно одного ранга, если участники знают друг друга; 2) из лиц разного ранга, если участники не знакомы друг с другом (в этом случае следует нивелировать каждого из участников при-своением ему номера с последующим обращением к участнику по но-меру). Что же касается необходимости специализации участника в области проблемной ситуации, то это условие не является обя-зательным для всех членов группы. Более того, весьма желательно, чтобы в группе были специалисты других областей знания, обладаю-щие высоким уровнем общей эрудиции и понимающие смысл проблем-ной ситуации.

Второй этап - составление проблемной записки участника мозговой атаки. Она составляется группой анализа проб-лемной ситуации и включает описание этого метода и описание проб-лемной ситуации. Данное описание содержит: принцип, на котором основан метод; условия, обеспечивающие наибольшую эффективность «мозговой атаки», авторство результатов атаки; основные правила проведения атаки. Описание проблемной ситуации содержит: причи-ны возникновения проблемной ситуации; анализ причин и возможные последствия возникшей проблемной ситуации (целесообразно гипер-болизировать последствия, с тем чтобы острее ощущалась необходи-мость разрешения противоречий); анализ мирового опыта разрешения подобной проблемной ситуации (если он имеется); классификацию (систематизацию) существующих путей разрешения проблемной ситуа-ции, формулировку проблемной ситуации в виде центрального вопро-са с иерархией подвопросов.

Третий этап - генерация идей. Она начинается с того, что ведущий раскрывает содержание проблемной записки. Предсказывая описание метода, ведущий концентрирует внимание участников на правилах проведения мозговой атаки: 1) высказывания участников должны быть четкими и сжатыми; 2) скептические замечания и критика предыдущих выступлений не допускаются; 3) каждый из участников имеет право выступать много раз, но не подряд; 4) не разрешается зачитывать подряд список идей, который может быть подготовлен участниками заранее. Пересказывая содер-жание проблемной ситуации, ведущий концентрирует внимание участ-ников на основном вопросе. Свое выступление ведущий должен стро-ить таким образом, чтобы пробудить психологическую восприимчи-вость участников, заставить их почувствовать потребность сде-лать то, о чем он их просит. Желаемый отклик участников - воля к целеустремленности мышления, направленного на решение проблем-ной ситуации.

Активная деятельность ведущего предполагается только в на-чале «мозговой атаки». После того как участники достаточно воз-будились, процесс выдвижения новых идей идет спонтанно. Ведущий в этом процессе играет пассивную роль, регламентируя участников согласно правилам проведения атаки. Следует помнить, что, чем разнообразнее и больше количество высказываний, тем шире и глуб-же охватывается рассматриваемый вопрос и тем больше вероятность появления ценных высказываний. Учитывая изложенное обстоятельство, ведущий при проведении атаки должен руководствоваться следующими правилами:

Сосредоточивать внимание участников на проблемной ситуации, задавая рамки специфическими её требованиями и терминологической строгостью высказываемых идей;

Не объявлять ложной, не осуждать и не прекращать исследова-ние ни одной идеи, т.е. рассматривать любую идею независимо от её кажущейся уместности или осуществимости;

Приветствовать усовершенствование или комбинацию идей, пре-доставляя слово в первую очередь тому, кто хочет высказаться в связи с предыдущим выступлением;

Оказывать поддержку и поощрение участникам, столь необходи-мые для того, чтобы освободить их от скованности;

Создавать непринужденность обстановки, способствуя, таким образом, активизации участников атаки.

Четвертый этап - систематизация идей, выска-занных на этапе генерации. Систематизацию идей группа анализа проблемной ситуации осуществляет в такой последовательности: составляется номенклатурный перечень всех высказанных идей; каждая из идей формулируется в общеупотребительных терминах; определяются дублирующие и дополняющие идеи; дублирующие и (или) дополняющие идеи объединяются и формулируются в виде одной комп-лексной идеи; выделяются признаки, по которым идеи могут быть объединены; идеи объединяются в группы согласно выделенным при-знакам; составляется перечень идей по группам (в каждой группе идеи записываются в порядке их общности: от более общих к част-ным, дополняющим или развивающим более общие идеи).

Пятый этап - деструирование (разрушение, критика) систематизированных идей (специализированная процедура оценки идей на практическую реализуемость в процессе мозговой атаки, когда каж-дая из них подвергается всесторонней критике со стороны участ-ников мозговой атаки).

Основное правило этапа деструирования - рассматривать каждую из систематизированных идей только с точки зрения препятствий на пути к её осуществлению, т.е. участники атаки выдвигают дово-ды, опровергающие систематизированную идею. Особенно ценным яв-ляется то обстоятельство, что в процессе деструирования может быть генерирована контридея, формулирующая имеющиеся ограничения и выдвигающая прещщложение о возможности снятия этих ограничений.

Группа участников мозговой атаки этого этапа состоит из высококвалифицированных специалистов в обсуждаемой области, числен-ность её достигает 20-25 человек, а продолжительность - 1,5 часа. Процесс деструирования продолжается до тех пор, пока каждая из систематизированных идей перечня не подвергнется критике. Высказанные критические замечания и контридеи записываются на магни-тофон.

Шестой этап - оценка критических замечаний и составление списка практически применимых идей. Реализацию этапа осуществляет группа анализа проблемной ситуации:

1. Составляется перечень всех критических замечаний, полученных на этапе деструирования. При необходимости критические замечания уточняются, отбрасываются дублирующие.

2. Составляется сводная таблица этапов систематизации и деструирования идей, а также список показателей практической применимости идей (эти показатели в каждом конкретном случае специфичны и зависят от конкретной проблемной ситуации). Первая графа таблицы - результаты этапа систематизации идей; вторая - критические замечания, опровергающие идеи; третья - показатели практической применимости идей; четвертая - контридеи, высказанные на этапе деструирования.

3. Оценивается каждое критическое замечание и контридея:

а) вычеркивается из таблицы, если опровергается хотя бы одним показателем практической применимости;

б) не вычеркивается, если оно не опровергается ни одним показателем.

4. Составляется окончательный список идей; переносятся в список только те идеи, которые не опровергнуты критическими замечаниями и остались в таблице, а также контридеи.

Метод коллективной генерации идей апробирован на практике и позволяет находить групповое решение при определении возможных вариантов развития объекта прогнозирования, исключая путь комп-ромиссов, когда единое мнение нельзя считать результатом беспри-страстного анализа проблемы.

Дельфийский метод . В последние два де-сятилетия созданы отдельные методики, позволяющие в определенной мере организовать статистическую обработку мнений экспертов-специалистов и достигнуть более или менее согласованного их мне-ния. Метод «Дельфи» - один из наиболее распространенных методов экспертной оценки будущего, т.е. экспертного прогнозирования. Этот метод разработан американской исследовательской корпорацией РЭНД и служит для определения и оценки вероятности наступления тех или иных событий.

Метод «Дельфи» построен на следующем принципе: в неточных науках мнения экспертов и субъективные суждения в силу необходимости должны заменить точные законы причинности, отражаемые естественными науками.

Метод «Дельфи» позволяет обобщать мнения отдельных экспер-тов в согласованное групповое мнение. Ему присущи все недостат-ки прогнозов, построенных на основе экспертных оценок. Однако проводимые корпорацией РЭНД работы по совершенствованию этой системы значительно повысили гибкость, быстроту и точность про-гнозирования.

Метод «Дельфи» характеризуется тремя особенностями, которые отличают его от обычных методов группового взаимодействия экс-пертов. К таким особенностям относятся: а) анонимность экспер-тов; б) использование результатов предыдущего тура опроса; в) статистическая характеристика группового ответа.

Анонимность заключается в том, что в ходе проведения про-цедуры экспертной оценки прогнозируемого явления, объекта участ-ники экспертной группы неизвестны друг другу. При этом взаимо-действие членов группы при заполнении анкет, полностью устраня-ется. В результате такой постановки автор ответа может изменить свое мнение без публичного объявления об этом.

Использование результатов предыдущего тура опроса заключа-ется в следующем: поскольку групповое взаимодействие осуществля-ется непосредственно с помощью ответа на анкету, специалист или организация, проводящие исследования по методу «Дельфи», извле-кает из анкет только ту информацию, которая относится к данной проблеме. Специалист-прогнозист учитывает мнение экспертов «за» и «против» по каждой точке зрения. Основной результат функциони-рования этой системы состоит в том, чтобы предотвратить принятие группой своих собственных целей и задач. Эта система дает возмож-ность группе специалистов концентрировать свои усилия на перво-начальных задачах, а не предполагать каждый раз что-то новое.

Статистическая характеристика группового ответа заключается в том, что группа специалистов составляет прогноз, содержащий точку зрения только большинства экспертом, т.е. такую точку зре-ния, с которой могло бы согласиться большинство группы. Однако вряд ли может существовать какой-либо показатель степени разли-чия мнений, которые могли существовать у членов группы. Вместо этого в методе «Дельфи» используются статистические характерис-тики ответа, который включает мнение всей группы. Каждый ответ внутри группы учитывается при построении медианы, а величина разброса ответов характеризуется величиной интервала между квар-тилями. Иными словами, групповой ответ может быть представлен в виде медианы и двух квартилей, т.е. в виде такого числа, оцен-ки которого одной половиной членов группы были больше этого чис-ла, а другой половиной - меньше. Метод «Дельфи» дает возможность эффективно взаимодействовать членам жюри, хотя результаты этого взаимодействия и контролируются руководителем группы путем суммирования аргументов. Члены жюри изменяют свои оценки именно тогда, когда убедительны доводы их коллег, а противном случае они упорно придерживаются своих противоположных точек зрения.

Метод «Дельфи» осуществим и эффективен при получении преиму-ществ от участия группы в подготовке прогноза; в то же время этот метод сводит до минимума или устраняет большинство труднос-тей, связанных с работой комиссии, хотя он может потребовать больше времени, чем комиссия с личным общением членов, особенно если опрос производится по почте.

В развитии метода «Дельфи» применяется перекрестная коррекция. Будущее событие представляется как огромное множество свя-занных и переходящих друг в друга путей развития.

Представив прогноз научно-технических сдвигов как Д 1 , Д 2 , …, Д n , а соответствующие им вероятности как Р 1 , Р 2 , …, Р n и по-лагая Р 1 =100% , находят изменения значений Р 2 , …, Р i , …, Р n .

При введении перекрестной корреляции значения каждого собы-тия за счет введенных определенных связей будут изменяться либо в положительную, либо в отрицательную сторону, корректируя тем самым вероятности рассматриваемых событий. С целью будущего со-ответствия модели реальным условиям в модель могут быть введены элементы случайности.

Сущность методов экспертных оценок для разра-ботки прогнозов состоит в определении согласованности мнений экспертов по перспективным направлениям развития объекта прог-нозирования, сформулированным ранее отдельными специалистами, а также в оценке аспектов развития объекта, которая не может быть определена другими методами (например, аналитическим расчетом, экспериментом и т.д.).

I. Создание групп. Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив раз-вития данной отрасли. Количество экспертов, привлекаемых для раз-работки прогноза, может колебаться от 10 до 150 человек, в зави-симости от сложности объекта.

II. Формулирование глобальной цели системы. Перед тем, как организовать опрос экспертов, не-обходимо уточнить основные направления развития объекта, а также составить матрицу, отражающую генеральную цель, подцели и сред-ства их достижения. При этом в ходе предварительного анализа совместно с группой специалистов определяются наиболее важные цели и подцели для решения поставленной задачи. Под средствами достижения цели понимаются направления научных исследований и разработок, результаты которых могут быть использованы для дости-жения цели. При этом направления научных исследований и разрабо-ток не должны пересекаться друг с другом.

III. Разработка анкеты. Заключается в раз-работке вопросов, которые будут предложены экспертам. Форма воп-роса может быть разработана в виде таблиц, но содержание их долж-но определяться спецификой прогнозируемого объекта или отрасли. При этом вопросы должны быть составлены по определенной структур-но-иерархической схеме, т.е. от широких вопросов к узким, от сложных к простым.

При проведении опроса экспертов необходимо обес-печить однозначность понимания отдельных вопросов, а также неза-висимость суждений экспертов.

IV. Расчёт экспертных оценок. Необходимо провести обработку материалов экс-пертных оценок, которые характеризуют обобщенное мнение и сте-пень согласованности индивидуальных оценок экспертов. Обработка данных оценок экспертов служит исходным материалом для синтеза прогнозных гипотез и вариантов развития отрасли.

Окончательная количественная оценка определяется с помощью четырех основных методов экспертных оценок и множества их разновидностей:

1)метод простой ранжировки (или метод предпочтения);

2)метод задания весовых коэффициентов;

3)метод парных сравнений;

4)метод последовательных сравнений.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения. Цифрой один обозначается наиболее важный признак, цифрой два - следующий за ним по важности и т.д. полученные данные сводятся в следующую таблицу.

Таблица 2.1 Экспертные оценки признаков (направлений исследований)

Порядок предпочтения данного признака перед другими.

Затем с помощью методов математической статистики получают обобщенное мнение экспертов. Определяется средний ранг, среднее статистическое значение S j j-го признака:

где m kj - количество экспертов, оценивающих j-й признак (m k m);

i - номер эксперта; i = 1,…,m;

j - номер признака, j = 1,2,…,n.

Определяется средний ранг каждого признака. Чем меньше величина S j , тем больше важность этого признака.

Для того чтобы можно было сказать, случайно ли распределение рангов или имеется согласованность в мнениях экспертов, производится вычисление коэффициента конкордации , введенного М. Кендаллом.

Определяется средний ранг совокупности признаков:

Вычисляется отклонение d j среднего ранга j-го признака от среднего ранга совокупности:

Определяется число одинаковых рангов, назначенных экспертами j-му признаку - t q .

Определяется количество групп одинаковых рангов - Q. Определяется коэффициент конкордации по формуле:

,(2.4)

,(2.5)

Коэффициент может принимать значения в пределах от 0 до 1. При полной согласованности мнений экспертов коэффициент конкордации равен единице при полном разногласии - нулю. Наиболее реальным является случай частичной согласованности мнений экспертов.

По мере увеличения согласованности мнений экспертов коэффициент конкордации возрастает и в пределе стремится к единице. Однако даже если он равен или близок к нулю, не всегда имеет место полное разногласие. Среди экспертов могут быть группы с хорошо согласованными мнениями, но мнения эти - противоположны и в общей массе нейтрализуют друг друга. В таком случае следует проделать кластерный или комбинированный анализ для выявления этих групп.

Достоинства метода простой ранжировки:

1) сравнительная простота процедуры получения оценок;

2) меньшее число экспертов по сравнению с другими методами при оценке одного и того же набора признаков.

Недостаток же его в том, что:

1) заведомо считают распределение оценок равномерным;

2) уменьшение важности признаков предполагается также равномерным, в то время как на практике этого не бывает.

Метод задания весовых коэффициентов заключается в присвоении всем признакам весовых коэффициентов. Весовые коэффициенты могут быть проставлены двумя способами:

1) всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);

2) наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным - коэффициенты, равные долям этого числа.

Обобщенное мнение экспертов также получаем с помощью методов математической статистики по формулам (2.1 - 2.5).

Метод последовательных сравнений заключается в следующем:

1) эксперт упорядочивает все признаки в порядке уменьшения их значимости: А 1 > A 2 >…> A n ;

2) присваивает первому признаку значение, равное единице: A 1 =1, остальным же признакам назначает весовые коэффициенты в долях единицы;

3) сравнивает значение первого признака с суммой всех последующих.

Возможны три варианта:

A 1 >A 2 + A 3 + … + A n

A 1 = A 2 + A 3 + … + A n

A 1 < A 2 + A 3 + …+ A n

Эксперт выбирает наиболее соответствующий, по его мнению, вариант и приводит в соответствие с ним оценку первого события;

4) сравнивает значение первого признака с суммой всех последующих за вычетом самого последнего признака.

Приводит оценку первого признака в соответствие с выбранным из трех вариантов неравенством:

A 1 > A 2 + A 3 + … + A n-1

A 1 = A 2 + A 3 + … + A n-1

A 1 < A 2 + A 3 + … + A n-1

5) процедура повторяется до сравнения A 1 с A 2 + A 3.

После того как эксперт уточнил оценку первого признака в соответствии с выбранным им неравенством из трех возможных:

A 1 > A 2 + A 3

A 1 < A 2 + A 3

он переходит к уточнению оценки второго признака A 2 по той же схеме, что и в случае первого, т.е. сравнивается оценка второго признака с суммой последующих.

Преимущество его состоит в том, что эксперт в процессе оценивания признаков сам анализирует свои оценки. Вместо назначения коэффициентов возникает творческий процесс создания этих коэффициентов.

Недостатки метода таковы:

1) сложность его; неподготовленный эксперт будет с трудом справляться с этой процедурой; вместо того, чтобы уточнять свои первоначальные оценки, он будет путаться в них;

2) громоздкость; на оценку одного и того же набора признаков он требует в четыре раза больше операций, чем метод простой ранжировки (другими словами, для одной и той же работы нужно в четыре раза больше экспертов).

Метод парных сравнений

Согласно ему все признаки попарно сравниваются между собой. На основании парных сравнений путем дальнейшей обработки находятся затем оценки каждого признака.

Чтобы эксперту было удобнее проводить сравнения, признаки (A,B,C,…N) заносятся в таблицу и по горизонтали и по вертикали.

Эксперт заполняет клетки такой таблицы. Сравнение признака самого с собой дает единицу. В первой клетке эксперт пишет единицу, во второй - результат сравнения первого признака со вторым, в третьей - результат сравнения первого признака с третьим и т.д. Переходя ко второй строке, эксперт записывает в первой клетке результат сравнения второго признака с первым, во втором - единицу, в третьей - сравнение второго признака с третьим и т.д.

Половина таблицы, расположенная выше диагонали, служит отражением нижней половины. Чтобы не вносить путаницу, не провоцировать эксперта вычислять одну половину таблицы по другой, чтобы уменьшить число операций, целесообразно заполнять только одну половину таблицы (выше или ниже диагонали). Таким образом, ответы экспертов будут представлены в виде следующей матрицы:

После ряда математических преобразований мы получаем оценки каждого признака А 1 , А 2 , … ,А n с точки зрения данного эксперта. Суммарные оценки признаков получаются путем идентичной обработки суммарной матрицы, каждый элемент которой есть сумма сравнений признаков, данных всеми экспертами.

Суммарная матрица имеет вид

m - число экспертов, оценивающих данный набор признаков;

- оценки соответственно 1, 2, …, j, …, m экспертов;

Суммарные оценки, данные всеми экспертами.

Определяя дисперсию суммарной матрицы и сравнивая её с максимально возможной дисперсией матрицы с таким же числом элементов, можно определить согласованность мнений экспертов. Чем ближе дисперсия суммарной матрицы к максимально возможной дисперсии, тем выше согласованность мнений. Таким образом, метод парных сравнений позволяет провести строгий, статистически обоснованный анализ согласованности мнений экспертов, выявить, случайны или нет полученные оценки. Несомненно, процедура метода парных сравнений сложнее метода простой ранжировки, но проще метода последовательных сравнений.

Число экспертов, требуемое для оценки определенной совокупности признаков методом парных сравнений, в два раза больше, чем при использовании метода простой ранжировки, и в два раза меньше, чем при методе последовательных сравнений.

В настоящее время во многих методах проведения экспертных оценок предлагается в качестве показателя компетентности эксперта коэффициент:

, (2.6)

где- коэффициент компетентности эксперта;

Коэффициент степени знакомства эксперта с обсуждаемой проблемой;

Коэффициент аргументированности.

Коэффициент степени знакомства с направлением исследований определяется путем самооценки эксперта по десятибалльной шкале. Значения баллов для самооценки следующие:

0 - эксперт не знаком с вопросом;

1,2,3 - эксперт плохо знаком с вопросом, но вопрос входит в сферу его интересов;

4,5,6 - эксперт удовлетворительно знаком с вопросом, не принимает непосредственного участия в практическом решении вопроса;

7,8,9 - эксперт хорошо знаком с вопросом, участвует в практическом решении вопроса;

10 - вопрос входит в круг узкой специализации эксперта.

Эксперту предлагается самому оценить степень своего знакомства с вопросом и подчеркнуть соответствующий балл. Затем этот балл умножается на 0,1, и получаем коэффициент.

Коэффициент аргументированности учитывает структуру аргументов, послуживших эксперту основанием для определенной оценки. Коэффициент аргументированности предлагается определить в соответствии с таблицей 2.2 путем суммирования значений, отмеченных экспертом в клетках этой таблицы.

Определив коэффициент компетентности, умножают на него значение оценок экспертов.

Таблица 2.2 Значения коэффициента аргументированности

Экспертные оценки представляют собой точки зрения (мнения, суждения) высококвалифицированных специалистов в определенных предметных областях – экспертов, сформулированные в виде оценок объекта в содержательной, качественной или количественной форме. Экспертные оценки формируются в процессе проведения экспертизы-исследования определенного объекта индивидуумом или группой компетентных специалистов с целью формирования информации об интересующих характеристиках, свойствах объекта, используемой при принятии решений. Сущность метода экспертных оценок состоит в надлежащей организации специалистами-организаторами экспертиз проведения конкретной экспертизы с целью получения информации о суждениях экспертов по рассматриваемым объектам и ее последующей обработки для генерации обобщенных данных и новой информации. Экспертные методы широко используются при синтезе процессов управления сложных систем, в менеджменте, при разработке и принятии решений, для получения различного рода оценок. Например, качества труда, надежности банка, ситуаций на финансовых рынках, исследовании систем управления и других случаях.

Известны различные формы организации проведения экспертиз: индивидуальные и коллективные, одноуровневые и многоуровневые, с обменом информацией между экспертами и без него, анонимные, открытые и т. д. При всем широком многообразии типовых схем проведения экспертиз, практика часто ставит задачи, решение которых требует применения нетрадиционных, оригинальных подходов специалистами-организаторами по проведению экспертиз.

Для успешного решения указанных задач специалисты по проведению экспертизы должны владеть и умело руководствоваться на практике принципами рациональной организации и проведения экспертиз, методами получения, анализа и обработки экспертной информации, методами анализа результатов экспертизы. Для обеспечения получения высокоточных результатов экспертизы необходимо сформировать экспертную комиссию, включающую специалистов-профессионалов по исследуемым характеристикам, свойствам и аспектам рассматриваемого объекта, создать аналитическую группу специалистов-профессионалов по проведению экспертиз, организовать процесс корректной обработки и анализа информации, получаемой в процессе экспертизы.

Вопрос формирования состава экспертной комиссии является весьма важным. Количественный и качественный состав экспертной комиссии должен формироваться с учетом широты проблемы, достоверности оценок, затрат ресурсов и характеристик экспертов. Широта решаемой проблемы, определяемая количеством различных аспектов, связана с установлением нижней границы количественного состава экспертной комиссии, то есть количество экспертов должно быть в комиссии таковым, чтобы каждый аспект, направление исследования было закреплено как минимум за конкретным специалистом. Достоверность оценок связана с уровнем знаний экспертов и их количеством. При соответсвующем уровне знаний увеличение количества членов экспертной комиссии должно приводить к возрастанию достоверности результатов экспертизы. Величину располагаемых ресурсов на проведение экспертизы с учетом пропорциональности количеству привлекаемых экспертов следует использовать при определении верхней границы количественного состава экспертной комиссии. Таким образом, указанные ориентиры в конкретных случаях позволяют определиться с количественным составом экспертной комиссии.

Характеристики группы экспертов, включаемых в экспертную комиссию, определяются на основе индивидуальных их характеристик, а именно: компетентности, креативности, отношения к экспертизе, конформизма, конструктивности мышления, коллективизма, самокритичности.

Компетентность – это обладание определенными знаниями, позволяющее индивидуму высказывать суждения по определенному кругу вопросов. Степень компетентности может характеризоваться коэффициентом компетентности. Известны различные методы определения значений коэффициентов компетентности. Их подразделяют на априорные, апостериорные и тестовые.

В априорных методах оценки качества эксперта не используется информация о его суждениях, имевших место в предшествовавших экспертизах. К этой группе методов относятся:

метод самооценки с использованием балльной шкалы (3-балльной, 5-балльной и т. д.);

метод самооценки с использованием вербально-числовых шкал, в которых наряду с содержательно описываемыми наименованиями их градаций содержатся соответствующие им численные значения или их диапазоны;

дифференциальный метод самооценки, в котором рассчитывается комплексная самооценка как полусумма самооценки степени знакомства эксперта с основными источниками информации в рассматриваемой области и взвешенной с учетом коэффициента сравнительной весомости самооценки знакомства эксперта с изучаемым объектом;

методы взаимной оценки экспертов, основанные на получении различными способами взаимооценок экспертов (формирование списков компетентных специалистов, формирование матриц взаимооценок экспертов в баллах, в числовых оценках предпочтительности компетентности I-го эксперта над_j-тым и т. д.) и их последующей обработки с целью получения оценок компетентности каждого эксперта, входящего в состав экспертной комиссии;

документационный метод, предлагающий ориентироваться на объективные характеристики эксперта, а именно: стаж работы, наличие ученой степени, занимаемая должность, количество научных трудов и т. д.

Апостериорные методы оценки качества эксперта базируются на использовании информации о его суждениях, имевших место в экспертизах, проведенных с его участием. К таким методам относятся:

метод оценки качества эксперта на основе его ответов, базирующийся на анализе результатов парных сравнений, выполняемый с целью выявления нелогичностей (противоречий) и вычислении коэффициента компетентности с учетом количества выявленных нелогичностей в суждениях испытуемого эксперта;

метод расчета коэффициента отклонения суждений эксперта, базирующийся на сравнении расстояния от индивидуальной оценки эксперта до результирующей с максимально возможным расстоянием.

Тестовые методы оценки качества эксперта нацелены на распознавание профессиональной пригодности испытуемого, а также выявление наличия необходимых навыков и опыта для эффективного участия в работе экспертной комиссии. Для успешного проведения тестового эксперимента необходимо выполнение следующих условий: целенаправленность содержания теста на конкретные объекты экспертизы; наличие шкалы, позволяющей оценить степень точности оценок эксперта; максимальная приближенность тестовых оценок эксперта их истинным значениям; возможность установления допустимых пределов отклонений оценок эксперта от их истинных значений; минимальная вероятность случайного угадывания экспертом истинной оценки.

Если оценка компетентности экспертов может носить количественный характер, то такие характеристики как креативность (способность решения творческих задач), конформизм (подверженность влиянию суждений авторитетов), отношение к экспертизе, конструктивность мышления, коллективизм, самокритичность имеют, как правило, качественный характер.

Поскольку при подборе экспертов используется определенное множество характиристик, имеющих различные значения и различную значимость, то возникает необходимость формирования интегральной оценки эксперта, то есть решения многокритериальной задачи с известной ее проблематикой. В качестве такой интегральной оценки, получаемой альтернативным путем, возможно применение значения достоверности суждений эксперта, определяемого как отношение числа случаев выданных экспертом рекомендаций, приемлемость которых подтверждена практикой, к общему числу случаев участия эксперта в выработке рекомендаций.

Опрос экспертов является одним из значимых этапов процесса организации и проведения экспертизы. В ходе реализации этого этапа осуществляется выявление и констатация суждений экспертов по существу исследуемого объекта. Форма проведения опроса фактически является основой, определяющей вид метода организации и проведения экспертизы. Основными формами опроса являются: анкетирование, инрервьюирование, метод Дельфы, мозговой штурм, дискуссия.

В ходе анкетирования осуществляется опрос экспертов в письменной форме с помощью анкет. Анкета – составляемый организаторами проведения экспертизы список вопросов, предъявляемый экспертам, ответы которых служат исходными эмпирическими данными для обобщений и выводов. В процессе разработки анкеты организаторы экспертизы, ориентируясь на ее цели и задачи, должны составить перечень вопросов, тщательно отрабатывая их содержание, выбирая форму и последовательность. При этом следует избегать вопросов, на которые невозможно ответить или отвечать не требуется.

По содержанию вопросы подразделяют на три группы, а именно: объективные характеристики эксперта (фамилия, имя, отчество, год рождения, образование, специальность, стаж работы по специальности и т. д.); характеристики исследуемых аспектов объекта, сведения вспомогательного характера об источниках информации, располагаемой экспертом, о процессе аргументации суждений эксперта и т. п.

По форме вопросы бывают открытые, закрытые и с веером ответов. Открытые вопросы допускают возможность ответа в произвольной форме. Достоинством их является возможность взглянуть на рассматриваемые аспекты объекта с различных сторон, выявить широту мнений экспертов по исследуемым аспектам объекта экспертизы. В качестве недостатка следует отметить затруднения в их обработке, например, с точки зрения их интерпретирования, построения таблиц, графиков и т. п. Закрытые вопросы предполагают ответ эксперта в форме «да» – истина, «нет» – ложь, «не знаю» – затрудняюсь ответить. Эта форма вопросов эффективна при необходимости выявления мнения большинства экспертов по каким – либо аспектам исследуемого объекта, то есть при необходимости проведения «голосования» экспертов. Достоинством их является простота обработки, недостатком – узкий спектр их применения. Вопросы с веером ответов предоставляют возможность эксперту делать выбор из совокупности подготовленных ответов. Обычно такие вопросы готовят в ситуациях с наличием нескольких направлений в исследуемом аспекте объекта, с целью выявления наиболее перспективного направления для его реализации.

Последовательность включения вопросов в анкету также является важным элементом разработки анкеты. Вопросы должны включаться в анкету в логической последовательности. Вначале следует разместить вопросы, характеризующие объективные данные об эксперте, затем последующие вопросы должны пробудить интерес, честолюбие экспертов блеснуть профессионализмом по исследуемым аспектам объекта. При этом рекомендуется учитывать последовательное увеличение степени трудности задаваемых вопросов. При многотуровом анкетировании в условиях сложности объекта и неопределенности информации об объекте исследования рекомендуется начальные туры проводить на основе открытых вопросов, а последующие – на основе вопросов с веером ответов и закрытых.

Интервьюирование как процесс получения информации интервьюером во время проведения по заранее намеченному плану беседы, опроса эксперта или группы экспертов является одной из разновидностей форм сбора информации в ходе экспертизы. Для успешного проведения интервью интервьюер должен тщательно его спланировать, проработать состав и очередность задаваемых вопросов с учетом приведенных выше рекомендаций, заранее сообщить испытуемым (экспертам) тему опроса, не знакомя их с конкретным перечнем вопросов. Опрос следует проводить динамично, задавать прямые и уточняющие вопросы с целью получения достоверной и достаточно полной информации. Результаты опроса интервьюер может дополнить своими личными наблюдениями. Живой контакт с испытуемым (испытуемыми) позволяет интервьюеру быстрее выявить полезные сведения об исследуемом объекте, формулируя очередные вопросы с учетом полученных ответов на уже заданные. Однако, при этом не следует забывать и о возможности негатива, связанного с влиянием интервьюера на ответы экспертов, с возрастанием вероятности неточных ответов, из-за ограниченного времени на продумывание ответов, с возможной неоправданно большой продолжительностью опроса при групповом исследовании.

Метод Дельфы (Дельфы – древнегреческий город располагавшийся у подножия горы Парнас, где находился так называемый дельфийский оракул) на сегодня представляет собой совокупность способов организации проведения экспертизы, опроса экспертов, обработки и оценки их результатов, получения группового заключения, удовлетворяющих определенным общим требованиям. Сущность метода заключается в организации итерационного (многотурового) процесса выявления суждений экспертов по возможным альтернативам исследуемого объекта с последовательным сужением размаха в оценках экспертов соответствующих альтернатив на основе предоставления им дополнительной информации на второй и последующих итерациях с целью выявления одной или нескольких обоснованных точек зрения экспертной комиссии по исследуемому объекту. При реализации метода должны выполняться следующие требования: анонимность каждого включенного в Проведение экспертизы эксперта и информации по сути исследуемого объекта, сгенерированной конкретным экспертом в процессе проведения экспертизы; наличие обратной связи в процессе проведения экспертизы, выражающейся в передаче на последующем шаге (туре) другим экспертам анонимной информации, сгенерированной конкретными экспертами на предшествующем шаге, для принятия решения по уточнению своих оценок; получение групповой оценки на основе обработки индивидуальных оценок членов группы. При этом значимым является обеспечение возможности давать экспертам ответы на поставленные вопросы преимущественно в количественной форме, организация достаточной информированности экспертов, системное обоснование своих точек зрения экспертами.

Экспертизы по методу Дельфы, как правило, проводят в несколько туров. Число туров определяется в ходе анализа результатов очередного тура и часто лежит в пределах от трех до пяти. В качестве формы опроса экспертов в основном применяется анкетирование, хотя и не исключаются и другие формы индивидуального опроса. В первом туре экспертов знакомят с целью проведения экспертизы, информируют о сущности рассматриваемого объекта, предъявляют перечень вопросов, ответы на которые обрабатываются, анализируются аналитиками с целью выявления крайних значений оценок – верхней и нижней границы, а также их обоснований, высказанных определенными экспертами. Находится среднее значение или медиана по результатам высказываний членов экспертной группы. Устанавливается величина разброса экспертных оценок, на основе которой делается заключение о согласованности точек зрения экспертов. Полученные результаты первого тура доводятся до экспертов с указанием расположения их собственных оценок. Во втором и последующих турах эксперты либо аргументируют свои оценки сильно отклоняющиеся от средних значений, либо корректируют их, находя новые доводы в пользу изменения их значений с учетом поступившей к ним дополнительной информации. Полученные данные вновь обрабатываются, анализируются с доведением результатов до экспертов. Анализ проводится в том числе и на предмет принятия решения о продолжении или прекращении проведения следующих туров, в случае получения достаточной степени согласованности мнений экспертов по альтернативам исследуемого объекта.

Мозговой штурм представляет собой совокупность способов группового обсуждения с целью генерации альтернативных нетрадиционных вариантов решений по исследуемым объектам, формирования новых, оригинальных идей. Организация проведения мозгового штурма достаточно подробно изложена в разделе 7.2.

Дискуссия как форма опроса экспертов проводится в виде открытого обсуждения рассматриваемой проблемы, с целью нахождения наиболее адекватных путей ее решения, выявления наиболее значимых факторов, влияющих на ее возникновение и развитие, системной оценки достоинств и недостатков результатов реализации возможных способов ее разрешения. Для организации и управления проведением дискуссии формируется группа управления с целью четкой формулировки сущности обсуждаемых задач, определения требований к экспертам и осуществления их подбора, разработки методики и регламента проведения дискуссии. Существенная роль в дискуссии отводится ведущему в создании творческой благоприятной обстановки для свободного изложения конструктивных идей выступающими по существу дискутируемых вопросов, в умении кратко и емко резюмировать выступления, в организации генерации эффективных коллективных идей, направленных на разрешение дискутируемых проблем. В ходе выступлений участников дискуссии разрешается критика, могут иметь место перерывы в процессе проведения дискуссии, предполагаются кулуарные обсуждения во время перерывов, способствующие достижению положительного эффекта во время дальнейшего продолжения дискуссии. Выступления фиксируются одним или несколькими возможными способами, анализируются по окончании дискуссии с целью обобщения и классификации основных результатов, высказанных участниками дискуссии. Основные результаты дискуссии могут быть скорректированы с учетом дополнительной информации экспертов, получаемой примерно через сутки после окончания дискуссии.

Обработка экспертных оценок при групповой экспертизе имеет специфику в зависимости от характера информации, выражающей предпочтения экспертов и содержательное обоснование своих предпочтений, целей, назначения и других факторов проводимой экспертизы и заключается в следующем:

определении обобщенной оценки исследуемых объектов или рассматриваемого объекта по ряду свойств, показателей и относительной их значимости;

оценки согласованности и зависимости мнений экспертов;

оценки достоверности полученных расчетных величин.

Целью обработки экспертных оценок является получение обобщенных данных по исследуемым объектам, анализ которых позволяет получать дополнительную информацию об особенностях процесса оценки, позволяющую формулировать выводы о качестве проведенной экспертизы и причинах возможных расхождений мнений коалиций экспертов.

Определение обобщенной оценки исследуемых объектов осуществляется при групповой экспертной оценке на основе применения методов осреднения индивидуальных оценок экспертов с учетом предположения о том, что они являются достаточно точными «измерителями» и их оценки образуют одну или несколько компактных групп. Алгоритмы получения обобщенной оценки зависят от применяемых разновидностей методов субъективного измерения экспертами предпочтительности оцениваемых объектов или их свойств. Если результаты применяемых методов субъективных измерений представляют собой числа или баллы, то построение групповой оценки заключается в определении среднего значения (математического ожидания) или медианы (наиболее вероятной оценки). В другом случае, если результаты представляют собой ранги, то задачей обработки является построение обобщенной ранжировки объектов на основании наилучшего способа согласования индивидуальных ранжировок экспертов в виде медианы, сумма расстояний от которой результатов индивидуальных ранжировок является минимальной.

Упорядочив полученные результаты обобщенных оценок объектов по убыванию их значимости можно судить об их относительной важности. Дополнительными показателями, уточняющими относительную важность исследуемых объектов, являются: частота высших (максимально возможных) оценок для объекта , сумма рангов объекта . Частота максимально возможных оценок для j-го объекта определяется по формуле:

где – количество максимально возможных оценок, полученных j-тым объектом;

– количество экспертов, оценивающих j-ый объект исследования.

Указанный показатель целесообразно использовать для установления очередности объектов в случае получения равных значений результатов обобщенных оценок.

Сумма рангов объекта исследования определяется по формуле:

где – ранг оценки j-м экспертом j-го объекта.

Если среди оценок данных j-m экспертом, есть одинаковые, то им назначается одинаковый ранг, равный среднему арифметическому соответствующих чисел натурального ряда. При оценке относительной важности объектов понаиболее важным следует считать объект, характеризующийся его наименьшим значением.

Количественная оценка согласованности мнений экспертов необходима в том случае, если мнения экспертов расходятся по рассматриваемым объектам для более обоснованной интерпретации их расхождения. При этом, индивидуальные оценки рассматриваемого объекта, высказанные экспертами, представляются в виде точек в некотором пространстве, в котором имеется понятие расстояния. Используя понятие компактности можно трактовать степень согласованности мнений экспертов, то если указанные оценки расположены на небольшом расстоянии друг от друга, образуя компактную группу, то можно говорить о хорошей согласованности мнений экспертов, иначе – о невысокой. Если оценки экспертов образуют в пространстве две или более компактные группы, то это означает, что в экспертной группе существуют соответствующие коалиции с существенно отличающимися точками зрения на оценку объектов. Многообразие предлагаемых в литературе способов оценки согласованности мнений экспертов обуславливается использованием для оценки объектов различных субъективных методов измерения, результатами которых могут быть числа, баллы или ранги, а также различные меры степени согласованности (например, мерой согласованности оценок экспертов может быть отношение среднеквадратического отклонения к математическому ожиданию случайной величины; сумма расстояний оценок от среднего значения, отнесенная к расстоянию математического ожидания от начала координат; количество точек, расположенных в радиусе среднеквадратического отклонения от математического ожидания ко всему количеству точек и т. д.). Некоторые методы определения согласованности количественных оценок на основе понятия компактности рассмотрены в разделе 11.4.

В качестве показателей степени согласованности мнений экспертов применяют: коэффициент вариации, коэффициент парной ранговой корреляции (Спирменаили Кендалла), коэффициент конкордации (дисперсионный или энтропийный).

Коэффициент вариации (Vj) оценок, данных j-му объекту определяется по формуле:

где – оценка в баллах i-м экспертом j-гo объекта;

– среднестатистическое значение величины оценки объекта в баллах, определяемое по формуле:

где mj – количество экспертов, оценивающих j-ый объект.

Чем меньше значение этого коэффициента, тем выше степень согласованности мнений экспертов.

Коэффициент парной ранговой корреляции Спирмена для двух экспертов α и β определяется по

где – ранговые оценки j-гo объекта экспертов α и β;

п – количество оцениваемых объектов;

– показатели связанных (равных) рангов оценок экспертов α и β, вычисляемые следующим образом:

если все n рангов оценок, назначенных i-м экспертом различны, то Тi = 0, иначе для равных рангов:

где L – количество групп связанных рангов;

t1 – количество связанных рангов в 1-й. группе.

Значение коэффициента указывает на полную согласованность мнений экспертов α и β; значение – о полной противоположности мнений экспертов; значение – об отсутствии связи между мнениями экспертов.

Для оценки степени согласованности мнений всей группы экспертов в целом применяется коэффициент конкордации. Коэффициент конкордации определяется в следующей последовательности: вначале вычисляется среднее арифметическое сумм рангов оценок всех объектов:

затем вычисляются отклонения dj суммы рангов оценок, полученных j-м объектом от :

после этого подсчитываются показатели Ti связных (равных) рангов ранговых оценок, назначенных i-м экспертом; в конечном итоге рассчитывается коэффициент конкордации:

где m1 – количество экспертов, оценивших хотя бы один объект.

Коэффициент конкордации изменяется в пределах от 0 до 1. Увеличение значения коэффициента конкордации соответствует увеличению степени согласованности мнений экспертов. Небольшое значение коэффициента конкордации может быть обусловлено либо действительно невысокой степенью согласованности мнений экспертов, либо существованием групп с высокой согласованностью противоположных мнений.

Оценки объектов, получаемые в результате обработки экспертных оценок представляют собой случайные величины. Поэтому необходимо оценивать надежность (достоверность, уровень значимости) результатов экспертизы. Для определения уровня значимости используется так называемый критерий согласия «хи-квадрат» . Последовательность определения уровня значимости по данному критерию состоит в следующем:

рассчитывается значение по формуле:

где т – количество экспертов,

затем вычисляется количество степеней свободы (r = n – 1, где n – количество исследуемых объектов).

По таблице значений для определенного числа степеней свободы и найденного значения определяется вероятность Р случайного появления рассчитанного значения показателя согласованности мнений. Затем фиксируется некоторое пороговое значение вероятности – Po (обычно Рo = 0,05 или 0,01), называемое уровнем значимости. Если Р оказывается меньше Рo, тогда гипотеза о случайном происхождении конкретного значения показателя согласованности мнений отвергается, то есть этот показатель считается значимым, а группа экспертов репрезентативной. В другом случае, если гипотеза о случайном происхождении конкретного значения показателя согласованности мнений принимается, тогда этот показатель считается незначимым, а группа экспертов непрезентативной.

Рассмотрим пример применения экспертных оценок для определения влияния интегрированных автоматизированных информационных систем управления (ИАИСУ) на статьи затрат себестоимости выпускаемой продукции производственным предприятием.

В качестве экспертов, как показывает практика, должны участвовать специалисты, которые проектируют ИАИСУ, а также группа специалистов, которые эксплуатируют эту систему. Перед началом экспертизы все ее участники получают исходную информацию о внедряемых локальных АИСУ и перечень статей затрат себестоимости, на которые они могут влиять в виде таблицы, где по горизонтали располагается перечень статей затрат себестоимости, а по вертикали – внедряемые локальные АИСУ. От специалистов-разработчиков должно быть не менее четырех экспертов. В качестве экспертов могут выступать начальник отдела i-ой локальной АИСУ, ведущий специалист по разработке i-ой локальной АИСУ (задаче, комплексу АИСУ организационного управления), экономист отдела АИСУ и т. п. В свою очередь от специалистов, занимающиихся эксплуатацией системы, должно быть не менее шести экспертов.

Качество экспертных оценок, их надежность и обоснованность в значительной степени зависит от выбранной методики сбора и обработки экспертных мнений. Индивидуальный метод, который мы применяем для выявления влияния i-x локальных АИСУ на статьи затрат себестоимости продукции, включает проведение анкетного опроса, отбор и обработку полученных заключений. В этом случае информационным массивом служат заполненные специалистами таблицы (анкеты) экспертных оценок. Применительно к решению нашего вопроса мы используем метод экспертных оценок, изложенный выше и в работе . При составлении таблиц экспертных оценок должны быть выполнены три условия:

получены количественно определенные ответы на предлагаемые вопросы;

получены формализованные сведения о характере источников аргументации, а также о степени влияния каждого из источников на ответ эксперта;

получены от экспертов количественно определенные оценки степени их знакомства с областью, к которой относятся предлагаемые вопросы.

В целях удовлетворения первого условия вопросы должны быть сведены к оценке относительной важности влияния 1-х локальных АИСУ на статьи затрат себестоимости продукции. Каждому эксперту предлагается дать оценку (по стобалльной системе) относительной важности влияния указанных АИСУ на статьи затрат себестоимости продукции. Анкета в виде таблицы (табл. 10, стр. 298), выдается каждому эксперту, где по вертикали содержатся сведения о перечне проектируемых задач (комплексов), локальных АИСУ, а по горизонтали перечень статей затрат себестоимости продукции , на часть из которых они могут повлиять.

Таблица 9

Анализ оценки относительной важности влияния i-x

локальных АИСУ на статьи затрат себестоимости продукции

В качестве примера в табл. 9 приведен перечень пяти задач АИС О У по фазам управления-планирования, учета, контроля, анализа и регулирования для одного и того же объекта управления. Дается две задачи, решаемые в АИСУ проектированием (САПР) и приводится два типа АИСУ ТП, а также отмечено по стобалльной системе мнение одного из экспертов. В соответствии с его мнением наибольшее предпочтение отдано АИСУ ТП механообработкой. Аналогичным образом осуществляется опрос остальных экспертов, после чего начинается процесс обработки отобранных анкет. Их обработку можно проводить с помощью специально разработанной программы на ПЭВМ.

Для достижения второго условия необходимо сформировать анкету, которую можно составить на основании данных таблиц (см. табл. 10, 11, стр. 298). Эти таблицы по вертикали содержат источники аргументации, а по горизонтали оценку степени влияния на мнение экспертов источников аргументации.

Табл. 11 уже имеет определенные числовые значения компетентности эксперта. По источникам аргументации она соответствует табл. 10.

Таблица 10

Анкета оценки степени влияния на мнение экспертов источников аргументации

Таблица 11

Анкета количественной оценки степени влияния на

мнение экспертов источников аргументации

После этого в клетки табл. 10, отмеченные экспертами знаком « + » заносятся числовые значения соответствующих клеток табл. 11, сумма которых дает коэффициент аргументированности (Kai). Следует отметить, что табл. 11 разрабатывается в соответствии с проводимыми исследованиями и с учетом следующих выводов:

значение коэффициента аргументированности

значению Kai = 1 соответствует высокая степень влияния на мнение эксперта всех источников аргументации;

значению соответствует низкая степень влияния на мнение эксперта всех источников аргументации.

В целях удовлетворения третьему условию каждому эксперту предлагается сделать отметку на шкале (от 0 до 10), соответствующую, по его мнению, степени его знакомства с обсуждаемой проблемой. Следует отметить, что вероятность правильного и точного заполнения анкеты больше у эксперта с большим временем работы в данной области.

После того как собран материал заполненных анкет экспертных оценок, вводятся показатели, характеризующие обобщенное мнение группы экспертов и компетентность экспертов по предложенным вопросам. Методика статистической обработки материалов таблиц экспертных оценок зависит от характера поставленных вопросов.

Показателями обобщенного мнения группы экспертов для данного типа вопросов являются показатели относительной важности влияния i-х локальных АИСУ на статьи затрат себестоимости продукции. Такими показателями могут быть: среднестатистическое значение оценки направления (j) в баллах (Mj) и частота высших (максимально возможных) оценок направления , которые определяются исходя из стобалльной оценки . Формулы расчета указанных показателей приведены выше.

– коэффициент степени знакомства с обсуждаемой проблемой.

Коэффициент аргументированности учитывает структуру аргументов, послуживших эксперту основанием для произведенной им оценки и равен сумме численных значений, вписанных в табл. 12.

Коэффициент степени знакомства учитывает степень знакомства эксперта с рассматриваемой проблемой и равен нормированному (умноженному на 0,1) значению соответствующей оценки, данной экспертом. Каждый эксперт отмечает степень своего знакомства на шкале, имеющей вид:

Таблица 12

Коллективная экспертная оценка

Коллективная экспертная оценка может проводиться с учетом и без учета компетентности экспертов. В первом случае значения Сij умножаются на значение коэффициента компетентности. Затем оценивается степень согласованности мнений экспертов и показатель репрезентативности экспертных оценок по формулам, приведенным выше. Целесообразно представить результаты обработки экспертных оценок в виде соответствующих таблиц.

Экспертные оценки представляют собой точки зрения (мнения, суждения) высококвалифицированных специалистов в определенных предметных областях – экспертов, сформулированные в виде оценок объекта в содержательной, качественной или количественной форме.

Сущность метода экспертных оценок состоит в надлежащей организации специалистами-организаторами экспертиз проведения конкретной экспертизы с целью получения информации о суждениях экспертов по рассматриваемым объектам и ее последующей обработки для генерации обощенных данных и новой информации.

В соответствии с главной целью технологии экспертных оценок – принятие эффективного решения по итогам проведения экспертизы следует решить определенные задачи:

обеспечить адекватную оценку объекта экспертизы;

выработать эффективные альтернативные варианты решений достижения поставленных целей;

выбрать из них единственный оптимальный (наиболее рациональный) вариант.

Вопрос формирования состава экспертной комиссии является весьма важным. Количественный и качественный состав экспертной комиссии должен формироваться с учетом широты проблемы, достоверности оценок, затрат ресурсов и характеристик экспертов.

Поскольку при подборе экспертов используется определенное множество характиристик, имеющих различные значения и различную значимость, то возникает необходимость сформирования интегральной оценки эксперта, то есть решения многокритериальной задачи с известной ее проблематикой.

Интервьюирование как процесс получения информации интервьюером во время проведения по заранее намеченному плану беседы, опроса эксперта или группы экспертов является одной из разновидностей форм сбора информации в ходе экспертизы.

Мозговой штурм представляет собой совокупность способов группового обсуждения с целью генерации альтернативных нетрадиционных вариантов решений по исследуемым объектам, формирования новых, оригинальных идей.

Определение обобщенной оценки исследуемых объектов осуществляется при групповой экспертной оценке на основе применения методов осреднения индивидуальных оценок экспертов с учетом предположения о том, что они являются достаточно точными «измерителями» и их оценки образуют одну или несколько компактных групп.

Количественная оценка согласованности мнений экспертов необходима в том случае, если мнения экспертов расходятся по рассматриваемым объектам для более обоснованной интерпретации их расхождения.

Коэффициент конкордации изменяется в пределах от 0 до 1. Увеличение значения коэффициента конкордации соответствует увеличению степени согласованности мнений экспертов.

Литература

Евланов Л.Г. Теория и практика принятия решений. – М: Экономика, 1984.

Карданская Н.Л. Принятие управленческого решения. – М.:ЮНИТИ, 1999.

Литвак Б.Г. Экспертная информация. Методы получения и анализа. – М.: Радио и связь, 1982.

Методика (основные положения) определения потребности народного хозяйства в продукции отрасли (с учетом нормативов для отдельных групп продукции). – М.: ЦНИИ ИиТЭИ приборостроения, средств автоматизации и систем управления, 1982.

Растригин Л.А. Современные принципы управления сложными объектами. – М.: Советское радио, 1980.

Трояновский В.М. Математическое моделирование в менеджменте. – М.: Экономика, 1999.