Методы экспертных оценок
Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов? 
Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок.
Краткий ликбез
В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, — к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.
Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек.
Рейтинги обычно базируются на некоторой вероятностной модели, поэтому нужно тщательно учитывать область их возможного применения.
Заключение
Статья и не претендует на полный многоэтапный разбор методов и алгоритмов оценки, лишь поверхностное их описание. Посему, если вы знаете применимые в данном случае (не описанные мной) методы и алгоритмы — с удовольствием добавлю их в статью. Или любую полезную тематическую литературу.
Засим откланиваюсь. Всех с праздником, раминь. А для тех, кто зашел посмотреть на девушек — вот вам 
MN1405: Управленческие решения
При выборе экспертов должны быть поставлены следующие обязательные условия:
Еще одним весьма важным критерием отбора является наличие у эксперта высоких моральных качеств. Ясно, что это очень трудно оценить, однако очевидно, что без должного морального уровня эксперта остальные его качества могут оказаться бесполезными, способными лишь увеличить опасность получения псевдопрогноза.
Методы отбора экспертов
Методы отбора экспертов сводятся к двум основным подходам – объективному и субъективному. Объективный подход имеет, в свою очередь, два варианта – документальный и экспериментальный.
Документальный метод предусматривает подбор экспертов на основе анкетных и социально-демографических данных. Экспериментальный метод проводится на основе испытания, тестирования кандидата в эксперты, либо по результатам эффективности его прежней экспертной деятельности.
Оба методических приема требуют большой деликатности по отношению к будущему эксперту. Так, тестирование не всегда приемлемо с этической точки зрения. Кроме того, валидность и надежность тестов нередко вызывает сомнения.  Субъективный подход также распадается на несколько приемов. Один из них – аттестация, когда подбор экспертов осуществляется с помощью открытого или тайного голосования потенциальных членов будущей экспертной группы с отводом тех из них, кто не набрал определенного минимума голосов. Здесь могут использоваться методики с расширяющимися кругами экспертов в несколько туров. В первом туре круг экспертов составляет списки кандидатов в эксперты. Туры повторяются до тех пор, пока состав кандидатов в эксперты не стабилизируется. Затем проводится расчет коэффициентов компетентности экспертов в зависимости от числа включений в списки.
Сам по себе этот прием достаточно эффективен, но лишь при условии, что члены будущей группы хорошо знают друг друга и обладают высокой добросовестностью. В противном случае возникает опасность отвода по случайным, непринципиальным мотивам.
Другой прием – метод взаимной оценки будущих экспертов (в баллах или ранжированием) – является по существу разновидностью первого со всеми его особенностями и ограничениями.
Третий прием – метод самооценки степени компетентности и объективности. Здесь, правда, имеется опасность завышенных самооценок. Но практика показывает, что серьезные эксперты, напротив, склонны несколько занижать свои оценки и стремятся не принимать участие в экспертизах, выходящих за рамки их интересов.
На практике часто применяется способ, когда каждый эксперт оценивает компетентность всех членов экспертной группы, в том числе и свою собственную, используя заранее установленную балльную шкалу, например такую, как в табл.35, где используются следующие числовые значения: 1 – слабая компетентность в рассматриваемой области, 2 – удовлетворительная компетентность, 3 – хорошая компетентность, 4 – высокая компетентность в этой области.
Таблица 35. Балльная шкала компетентности экспертов в рассматриваемой области
| Ф.И.О. эксперта | No эксперта | Слабая компетентность | Удовлетворительная компетентность | Хорошая компетентность | Высокая компетентность |
|  | 1 | ||||
|  | 2 | ||||
|  | 3 |
Вместе с тем очевидно, что ни один из перечисленных методов и приемов отбора экспертов не является универсальным и что методика отбора должна базироваться на сочетании различных приемов.  ### Организация работы экспертов
На практике численность экспертной группы большей частью составляет примерно 5 – 7, максимально 10 – 15 человек при очных опросах и 20 – 30, максимально 60 – 80 человек при заочных опросах, в зависимости от характера экспертизы. За этими пределами увеличение числа экспертов не дает существенного прироста новой информации ни в деталях, ни, главное, по качеству.
Кроме того, требуется разумное сочетание экспертов различного возраста, темперамента, различного служебного положения, производственного и жизненного опыта.
Известно, что члены экспертной группы не любят начинать работу с «чистого листа». Набор конкретных вопросов, а в ряде случаев и вероятных ответов помогает эксперту лучше понять поставленную задачу. Поэтому в большинстве экспертных методов экспертам предлагают анкету, которая обычно содержит три группы вопросов:
1) объективные данные о самом эксперте (возраст, образование, профессия, стаж работы, ученое звание, узкая специализация и т.п.);
2) характеристики, позволяющие оценить мотивы, которыми руководствуется эксперт при оценке исследуемой проблемы;
3) основные вопросы, касающиеся существа исследуемой проблемы.
По форме вопросы могут быть открытыми, закрытыми, прямыми и косвенными.
Вопрос называется открытым или свободным, если ответ на него может быть дан в любой форме. Вопрос называется закрытым, если в его формулировке содержатся варианты возможных ответов (перечень альтернатив) и эксперт должен остановить свой выбор на одном или нескольких из них. Одной из разновидностей закрытого вопроса является дихотомический вопрос, в котором возможна только альтернатива «да – нет».
Основным преимуществом открытых вопросов является то, что с их помощью можно обнаружить новый, совершенно неожиданный для аналитиков аспект проблемы. Основными недостатками являются возможная несопоставимость данных опроса и сложность анализа.
Преимущество закрытых вопросов состоит в том, что они строго и однозначно интерпретируются и требуют меньше времени на обработку. Вместе с тем анкета с закрытыми вопросами таит в себе опасность навязывания эксперту ответов, особенно в тех случаях, когда по тому или иному вопросу он вообще не имеет своего сложившегося мнения или же когда его мнение не совпадает с ответами анкеты.  Цели анкеты могут быть замаскированными, и тогда признаки анкеты называют косвенными. Такие анкеты применяются, когда нет уверенности в том, что эксперт по данному вопросу сумеет (или захочет) дать определенную информацию.
При подборе вопросов анкеты необходимо провести проверку того, чтобы они не допускали двойного толкования. С этой целью полезно «проиграть» анкету самим аналитикам. Если распределение суждений по некоторому вопросу обладает значительным стандартным отклонением, то можно предположить, что этот вопрос двусмыслен.
Известно, что групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов опрашиваемых специалистов. Поэтому статистическая обработка информации, полученная от экспертов, должна включать:
В специальной литературе рассматривается целый ряд методов статистической обработки информации, позволяющих решить сформулированные задачи. К наиболее распространенным методам относятся расчет коэффициентов ассоциации, метод ранговой корреляции, расчет коэффициентов конкордации и др.
Лекция 2. Эксперт и методы отбора экспертов
Реестр качеств, которыми должен обладать «идеальный» эксперт, с которым предпочтительно работать:
1. креативность, то есть способность творчески решать задачи, метод решения которых полностью или частично не известен;
2. эвристичность, то есть способность видеть или создавать неочевидные проблемы;
3. интуиция – способность делать заключения об исследуемом объекте без осознания пути движения мысли к этому заключению;
4. предикаторность, то есть способность предсказывать, предчувствовать будущее состояние исследуемого объекта;
5. независимость, то есть способность противопоставлять предубеждениям и массовому мнению свою точку зрения;
6. всесторонность, то есть способность видеть проблему с различных точек зрения.
Критерии и методы подбора экспертов. В экспертном опросе не применяется метод случайного отбора респондентов. В качестве экспертов выступают люди, обладающие определенными характеристиками.
Основной критерий отбора – компетентность в исследуемой области. По мнению некоторых авторов, специалист, привлекаемый в качестве эксперта должен являться человеком, который сам пережил трудности проблемных ситуаций, сложившихся в той предметной области социальной действительности, где он занят, который имеет суждения относительно того, какова природа этих проблемных ситуаций, и что, по его мнению, необходимо делать, чтобы разрешить их.
В зависимости от целей исследования, компетентность может включать в себя как теоретические знания, так и практические навыки. Здесь важно отметить, что в профессиональном сознании следует различать зону компетентности – узкую предметную область, в которой непосредственно работает эксперт и зону некомпетентности, составляющую его более широкий профессиональный кругозор.
Кроме того, необходимо, чтобы эксперт был готов делиться с интервьюером имеющимися знаниями. На это оказывают влияние многие факторы, начиная от коммуникативных характеристик (коммуникабельность, креативность) потенциального эксперта, до специфики его должностной позиции, которая способствует или препятствует откровенному высказыванию собственного мнения.
Как правило, эксперт не должен быть лицом, принимающим решения по исследуемой проблеме.
Численность группы экспертов, как правило, составляет 7 – 15 человек при очном опросе; 20 – 70 человек при заочном опросе. Важной проблемой при формировании групп экспертов является вопрос об их составе. Считается, что в группах с однородным составом (по должностному, образовательному, возрастному, профессиональному статусу) бывает меньше расхождений между экспертами, быстрее происходит процесс согласования группового решения. В разнородных группах эксперты приходят к согласованному мнению не так быстро, зато вырабатывают более широкий диапазон альтернатив и допускают меньше ошибок.
Методы подбора экспертов:
I. Объективные методы:
1) документальный — подбор на основе объективных «символов компетентности». К ним могут относиться: ученая степень, звание, должность, стаж работы по специальности и в области, связанной с предметом исследования, число опубликованных работ, число ссылок на них в научной литературе, участие в специализированных советах, комиссиях, симпозиумах и т.д.;
2) экспериментальный метод — более дорогостоящий, проводится на основе испытания, тестирования кандидата в эксперты или по результатам его прошлой экспертной деятельности. Применение тестов целесообразно использовать в том случае, если отобранным экспертам в дальнейшем придется многократно решать однотипные узкоспециальные задачи.
II. «Субъективные» методы:
1) метод самооценки. Одна из форм самооценки — совокупный индекс, рассчитанный на основании оценки экспертами своих знаний, опыта и способностей по ранговой шкале с позициями «высокий», «средний», «низкий».
| Критерии компетентности | Высокий (1) | Средний (0,5) | Низкий (0) |
| Уровень теоретического знания проблемы (К1) | * | ||
| Практический опыт (К2) | * | ||
| Способность предвидеть логику событий (К3) | * |
Из данного примера следует, что коэффициент уровня компетентности эксперта по определенной проблеме:
1+ 0,5 + 0,5
Кк = —————— = 0,7
Обычно в группу экспертов принято включать тех, у кого уровень компетентности выше 0,5. При отборе экспертов методом самооценки возникает проблема ее завышения. Однако, как отмечают специалисты, из опыта многочисленных экспертиз следует, что группы с высокой самооценкой, как правило, ошибаются в своих суждениях при проведении экспертизы меньше других.
Иногда самооценку экспертов применяют в сочетании с анализом структуры аргументов.Эксперту предлагается анкета (см. табл.) без проставленных в ячейках коэффициентов с тем, чтобы он отметил степень влияния перечисленных источников на формирование его мнения по экспертируемой проблеме.
| Источник | Степень влияния источника на мнение | ||
| высокая | Средняя | Низкая | |
| Проведенный теоретический анализ | 0,3 | 0,2 | 0,1 |
| Практический опыт работы | 0,5 | 0,4 | 0,1 |
| Обобщение работ отечественных авторов | 0,05 | 0,05 | 0,05 |
| Обобщение работ зарубежных авторов | 0,05 | 0,05 | 0,05 |
| Интуиция | 0,05 | 0,05 | 0,05 |
Коэффициенты из отмеченных ячеек складываются и, таким образом, вычисляется коэффициент аргументированности (Ка). Далее эксперт по шкале от 0,1 до 1 указывает степень знакомства с проблемой, что представляет собой коэффициент знакомства Кз.
Коэффициент компетентности вычисляется по формуле:
Ка + Кз
2) Методы коллективной оценки применяются в тех случаях, когда потенциальные эксперты знают друг друга как специалисты. Два вида методов коллективной оценки — аттестация и метод взаимной оценки.
Аттестация — открытое или тайное голосование потенциальных членов будущей экспертной группы, с отводом тех. кто не набрал определенного минимума голосов.
Пример — методика с расширяющимися кругами экспертов в несколько туров («метод снежного кома»). 1 тур — круг экспертов составляет список кандидатов в эксперты. 2 тур — сформулированный в 1 туре круг экспертов также составляет список кандидатов в эксперты. Туры повторяются до тех пор, пока состав экспертов не стабилизируется, т. е. число повторений больше или равно 95 %.
Метод взаимной оценки — отбор экспертной группы из заранее сформированного списка путем балльной оценки или ранжирования. Сначала путем ряда итераций составляется предварительный список экспертов. Для этого можно использовать метод «снежного кома». Отобранные на первом этапе эксперты называют компетентных, по их мнению, специалистов, которые, в свою очередь, включаются в процесс отбора. Следующая итерация заключается в том, что эксперты, отобранные в результате второй итерации, также рекомендуют специалистов и т.д. Этот процесс заканчивается после стабилизации совокупности рекомендуемых экспертов, т.е. на той стадии, когда список экспертов перестает пополняться новыми фамилиями. После составления исходного списка экспертов возникает проблема оценки каждого из специалистов, попавших в список. Эта оценка производится с помощью социометрической процедуры, когда критерием оценки специалиста является частота его упоминания другими экспертами.
Например, если имеется список из десяти экспертов, мы просим каждого из указанных в списке выбрать пять наиболее компетентных коллег. На основании ответов строится таблица.
Таблица взаимных оценок экспертов (социоматрица выбора экспертов)
| Кого назвали | Кто назвал | Сколько раз назвали | ||||
| — | — | — | — | 5 | ||
| — | 8 | |||||
| — | — | — | — | — | — | — |
| — | — | — | 5 | |||
| — | — | 7 | ||||
| — | — | — | — | 5 | ||
| — | 8 | |||||
| — | — | — | — | — | — | — |
| — | — | — | — | 5 | ||
| — | — | — | — | — | — | |
| Итого |
Количество выборов, полученных каждым экспертом, не всегда может дать объективную оценку значимости эксперта. Во-первых, как видно из таблицы 5, сразу несколько экспертов получили одинаковое количество выборов. Во-вторых, не все предпочтения имеют одинаковую ценность. Учет «веса» экспертов позволяет сделать оценку, основанную на частоте выборов, более точной.
В последнем столбце таблицы приводится сумма голосов, которые получил соответствующий эксперт. Эти числа принимаются в качестве «веса» мнений о соответствующем эксперте. Ими заменяются единицы в таблице (по столбцам), в результате чего получаем ранжированный ряд оценок уровня компетентности всех десяти экспертов.
Адаптированная таблица взаимных оценок экспертов
(социоматрица выбора экспертов)
| Кого назвали | Кто назвал | Суммарная оценка | Ранговая оценка компетентности | |||
| — | — | — | — | 22 | 7 | |
| — | 35 | 3 | ||||
| — | — | — | — | — | — | — |
| — | — | — | — | 26 | 5 | |
| — | — | 38 | 2 | |||
| — | — | — | — | 24 | 6 | |
| — | 40 | 1 | ||||
| — | — | — | — | — | — | — |
| — | — | — | — | 30 | 4 | |
| — | — | — | — | — | — |
Таким образом, если требуется сформировать группу из пяти наиболее компетентных экспертов, то следует зачислить в эту группу экспертов под номерами; 7,5,2,9,4.
Контрольные вопросы:
1. Понятие эксперта. Каковы качества «идеального» эксперта?
2. Каковы основные критерии отбора экспертов?
3. Какие объективные методы отбора экспертов Вы можете назвать? Приведите примеры.
4. В чем заключается метод самооценки? Как вычисляется коэффициент компетентности эксперта?
5. Какие методы коллективной оценки экспертов Вы можете назвать?
Какой метод основывается на отборе экспертов решения тестовых задач
скин те пожалуйста ответы на итог
Добавлено через 3 минуты
Помогите решит итог тесть
Вопрос 1
Пока нет ответа
Балл: 1,00
Отметить вопрос
Текст вопроса
Что не включает в себя этапы принятия решений?
Выберите один ответ:
Определение задач
Оценка математического ожидания возможного дохода
Определения возможности
Определение цели
Вопрос 2
Пока нет ответа
Балл: 1,00
Отметить вопрос
Текст вопроса
Какой метод на основе проведения экспертиз проходит в 4 тура?
Выберите один ответ:
Метод комиссий
«Мозговая атака»
Метод прогнозного графа
Метод «Дельфи»
Вопрос 3
Пока нет ответа
Балл: 1,00
Отметить вопрос
Текст вопроса
В основе какого метода лежит направленность выявления новых идей?
Выберите один ответ:
«Мозговая атака»
Метод комиссий
Метод прогнозного графа
Метод «Дельфи»
Вопрос 4
Пока нет ответа
Балл: 1,00
Отметить вопрос
Текст вопроса
Что определяет известность как количества возможных вариантов, так и их исходов?
Выберите один ответ:
Анализ и принятие УР в условиях конфликта
Анализ и принятие УР в условиях риска
Анализ и принятие УР в условиях неопределенности
Анализ и принятие УР в условиях определенности
Вопрос 5
Пока нет ответа
Балл: 1,00
Отметить вопрос
Текст вопроса
Что относят к общим характерным чертам современных управленческих решений?
Выберите один ответ:
Наличие противоречивой информации, которая не дает сосредоточится на решении конкретной проблеме
Наличие совокупности разнообразных факторов, которые следует принимать во внимание
Не последовательный ход решения проблемы
Возросла сложность каждого из вариантов выбора
Вопрос 6
Пока нет ответа
Балл: 1,00
Отметить вопрос
Текст вопроса
Что не входит в способ воздействия на управляемый объект управленческих решений?
Выберите один ответ:
Диагональные директивные
Внешние воздействия
Прямые директивные
Косвенные воздействия
Вопрос 7
Пока нет ответа
Балл: 1,00
Отметить вопрос
Текст вопроса
Что не относится к факторам, определяющим привлекательность отрасли?
Выберите один ответ:
Финансовая стабильность
Потенциальная прибыльность
Финансовый рычаг
Потенциал роста
Вопрос 8
Пока нет ответа
Балл: 1,00
Отметить вопрос
Текст вопроса
В основе какого риска лежит неправильный выбор ценных бумаг при формировании портфеля инвестиции?
Выберите один ответ:
Кредитный риск
Временной риск
Отзывной риск
Селективный риск
Вопрос 9
Пока нет ответа
Балл: 1,00
Отметить вопрос
Текст вопроса
Что не включает в себя метод формализованного описания неопределенности?
Выберите один ответ:
Описание всего множественно возможных условий реализации проекта
Анализ возможной ситуаций решения проблем
Определяет показатель эффективности проекта в целом
Преобразование информации о факторах неопределенности в информацию о вероятностях отдельных условиях реализации
Вопрос 10
Пока нет ответа
Балл: 1,00
Отметить вопрос
Текст вопроса
Что характеризует размер вероятного ущерба?
Выберите один ответ:
Слабую сторону организации управления
Угрозу
Конфликт
Риск
Вопрос 11
Пока нет ответа
Балл: 1,00
Отметить вопрос
Текст вопроса
Какие решения ориентированы на будущее и закладывают основу для принятия оперативных управленческих решений; связаны с вовлечением значительных ресурсов и могут иметь сервисные последствия для организации?
Выберите один ответ:
Тактические решения
Инновационные решения
Рисковые решения
Стратегические решения
Вопрос 12
Пока нет ответа
Балл: 1,00
Отметить вопрос
Текст вопроса
Что не входит в состав элементов внутренней структуры проблемы?
Выберите один ответ:
Связь
Субъект
Цель решения
Объект
Задача
Вопрос 13
Пока нет ответа
Балл: 1,00
Отметить вопрос
Текст вопроса
Каким характеризуется понятием, когда неопределенность, связана с возможностью возникновения в ходе реализации проекта неблагоприятных ситуаций и последствий?
Выберите один ответ:
Непредсказуемость
Неточность
Форс-мажор
Риск
Вопрос 14
Пока нет ответа
Балл: 1,00
Отметить вопрос
Текст вопроса
Какая модель представляет собой основное средство решения управленческих задач?
Выберите один ответ:
Экономико-математическая модель
Физическая модель
Логическая модель
Математическая модель
Вопрос 15
Пока нет ответа
Балл: 1,00
Отметить вопрос
Текст вопроса
Что такое моделирование?
Выберите один ответ:
Один из методов оптимизации решения
Один из пунктов оптимизации решения
Одна из задач оптимизации решения
Одна из целей оптимизации решения
Вопрос 16
Пока нет ответа
Балл: 1,00
Отметить вопрос
Текст вопроса
В какое моделирование не входят количественные методы, базирующиеся на научном подходе и предполагающие выбор оптимальных решений путем сбора и отработки информации?
половина вопросов на угад отвечала. оценка 3 56 из 100
Какие решения ориентированы на будущее и закладывают основу для принятия оперативных управленческих решений; связаны с вовлечением значительных ресурсов и могут иметь сервисные последствия для организации?
Стратегические решения
Вопрос 2
Что не входит в основные этапы разработки или выбора управленческих решений по методу «дерева решений»?
Регрессия
Вопрос 3
Что характеризует размер вероятного ущерба?
Риск
Вопрос 4
Что не относится к факторам, определяющим привлекательность отрасли?
Финансовый рычаг
Вопрос 5
В основе какого риска лежит неправильный выбор ценных бумаг при формировании портфеля инвестиции?
Кредитный риск
Вопрос 6
Что не относится к стратегиям выработки группового решения?
Выберите один ответ:
Стратегия простого или квалифицированного большинства
Вопрос 7
Что такое моделирование?
Выберите один ответ:
Один из методов оптимизации решения
Вопрос 8
Что определяет известность как количества возможных вариантов, так и их исходов?
Выберите один ответ:
Анализ и принятие УР в условиях риска
Вопрос 9
На что направлен выбор менеджера, сделанный на основе ощущения, что он правилен?
Неформальные методы
Вопрос 10
Что характеризует объем продаж, при котором выручка от реализации продукции совпадает с издержками производства?
Выберите один ответ:
Точка безубыточности
Вопрос 11
Что включается в состав затрат, если проектом не предусмотрено страхование участника от определенного вида риска?
Страхования риска
Вопрос 12
Что включают в себя ошибочные стратегии?
Выберите один ответ:
«Упрямые» решения
Вопрос 13
Пока нет ответа
Каким характеризуется понятием, когда неопределенность, связана с возможностью возникновения в ходе реализации проекта неблагоприятных ситуаций и последствий?
Выберите один ответ:
Непредсказуемость
Вопрос 14
Что не включает в себя метод формализованного описания неопределенности?
Преобразование информации о факторах неопределенности в информацию о вероятностях отдельных условиях реализации
Вопрос 15
Что не включает в себя этапы принятия решений?
определения возможности
Вопрос 16
Какой метод на основе проведения экспертиз проходит в 4 тура?
Метод «Дельфи»
