![]()
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Задание 1.. Задание 2.. Источники аргументацииЗадание 1. Сформировать таблицу критериев для оценки качества интерфейса программного продукта (по выбру). Провести экспертную оценку значимости критериев (оценку их весовых коффициентов) методом парных сравнений. При парном сравнении необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их простое ранжирование. где n – количество сравниваемых объектов. Количество составленных матриц равно m – количеству экспертов
При сравнении объектов матрица заполняется элементами aij следующим образом (может быть предложена и иная схема заполнения):
1. Для выполнения экспертной оценки каждому эксперту составить матрицу парных сравнений причин возникновения проблемы. В качестве экспертов выступают члены рабочей группы, выполнявшие оценку проблемы с помощью метода " 7 инструментов качества". Пример
2. На основании значений полученных матриц составить матрицу средних значений. Элемент матрицы равен:
Пример
3. Для каждой i-й строки определить суммы частот предпочтений экспертов
4. Определить сумму всех частот строк b0 по формуле:
5. Доля каждой причины составляет
6. Можно присвоить каждой причине весовой коэффициент в соответствии с ее долей
Задание 2. Используя таблицу критериев , сформированную в задании 1, провести их экспертную оценку методом простого ранжирования. Пример 1. Составить матрицу для экспертной оценки, занести в нее все выявленные причины и представить экспертам для заполнения. Каждого эксперта просят расположить признаки в порядке предпочтения. Цифрой один обозначается наиболее важный признак, цифрой два – следующий за ним по важности и т.д. полученные данные сводятся в следующую таблицу.
2. Определить суммарный ранг Si i-го признака:
где m – общее количество экспертов; n – количество причин/критериев; j – номер эксперта; i = 1,…, m; i– номер признака, j = 1,2,…, n.
3. Определить средний ранг, среднее статистическое значение Si i-го признака 4. Определить средний ранг совокупности признаков :
5. Вычисляется отклонение dj среднего ранга i-го признака от среднего ранга совокупности (дисперсия):
Для того чтобы можно было сказать, случайно ли распределение рангов или имеется согласованность в мнениях экспертов, производится вычисление коэффициента конкордации K, введенного М. Кендаллом.
Коэффициент K может принимать значения в пределах от 0 до 1. При полной согласованности мнений экспертов коэффициент конкордации равен единице при полном разногласии – нулю. Наиболее реальным является случай частичной согласованности мнений экспертов. По мере увеличения согласованности мнений экспертов коэффициент конкордации возрастает и в пределе стремится к единице. Однако даже если он равен или близок к нулю, не всегда имеет место полное разногласие. Среди экспертов могут быть группы с хорошо согласованными мнениями, но мнения эти – противоположны и в общей массе нейтрализуют друг друга. Определить в качестве показателя компетентности эксперта коэффициент:
где Kк – коэффициент компетентности эксперта; Kзн – коэффициент степени знакомства эксперта с обсуждаемой проблемой; Ka – коэффициент аргументированности. Коэффициент степени знакомства с направлением исследований определяется путем самооценки эксперта по десятибалльной шкале. Значения баллов для самооценки следующие: 0 – эксперт не знаком с вопросом; 1,2,3 – эксперт плохо знаком с вопросом, но вопрос входит в сферу его интересов; 4,5,6 – эксперт удовлетворительно знаком с вопросом, не принимает непосредственного участия в практическом решении вопроса; 7,8,9 – эксперт хорошо знаком с вопросом, участвует в практическом решении вопроса; 10 – вопрос входит в круг узкой специализации эксперта. Эксперту предлагается самому оценить степень своего знакомства с вопросом и подчеркнуть соответствующий балл. Затем этот балл умножается на 0,1, и получается нужный коэффициент . Коэффициент аргументированности учитывает структуру аргументов, послуживших эксперту основанием для определенной оценки. Коэффициент аргументированности предлагается определить в соответствии с Таблицей 1 путем суммирования значений, отмеченных экспертом в клетках этой таблицы. Определив коэффициент компетентности, умножают на него значение оценок экспертов. Таблица 1 – Значения коэффициента аргументированности Источники аргументации |
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|