Оглавление 1. Типы опросов:1 1.1. «Обратная связь»:1 1.2. «Экспертный опрос»:1 1.3. «Статистический опрос»:1 1.4. «Принятие решения»:1 1.5. «Собрание гильдии» (ранее Комитет)»2 1.6. «Интерактивное мероприятие»:2 1.7. «Многоэтапное принятие решения»:2 2. Составные элементы и способы реализации опросов:2 3. Обработка результатов опросов и формирование рейтингов экспертов3 4. Открытые Вопросы:10 1. Типы опросов: 1.1. «Обратная связь»: Сбор отзывов и оценок по результатам различного рода мероприятий. Возможно оставлять текстовый комментарий и давать числовую оценку по некоторому количеству критериев. Возможно оценивать и целиком мероприятие и отдельные доклады\участников. Срок проведения от одного до нескольких дней. Количество участников — до 10000. Участники — любой сотрудник компании, посещавший мероприятие. (Активность учитывается в расчете рейтинга) 1.2. «Экспертный опрос»: Сбор и формализация некоторых экспертных знаний в различных предметных областях. Формулируется множество вопросов и предлагается для выбора несколько вариантов ответов, плюс вариант «Другое» и возможность указать свой вариант ответа (для каждого вопроса). Срок проведения от одного до нескольких дней. Количество участников — до 1000. Результаты ответов агрегируются, и формулируется консолидированное экспертное по конкретному вопросу. Экспертное мнение публикуется, и доступно для всех сотрудников компании. На основе ответов конкретного эксперта (соответствие его ответа и ответа большинства) формируется уровень экспертного знания в конкретной предметной области. Участники опроса — все эксперты, входящие в сообщество. 1.3. «Статистический опрос»: Сбор и формализация некоторой статистической информации от экспертов и\или сотрудников компании в различных предметных областях. Формулируется множество вопросов и предлагается для выбора несколько вариантов ответов, плюс вариант «Другое» и возможность указать свой вариант ответа (для каждого вопроса). Срок проведения от одного до нескольких дней. Количество участников — более 1000. Результаты ответов агрегируются, и формулируется статистический вывод по конкретному вопросу. Статистический вывод публикуется, и доступен для всех сотрудников компании. Участники опроса — все эксперты, входящие в сообщество, или любой сотрудник компании. (Например, возможная формулировки вопросов «Какие используются инструменты, методики, подходы, и т.д.», то есть данные вопросы собрать некоторую статистику, но не определяют уровень экспертных знаний) 1.4. «Принятие решения»: Формирование консолидированного решения по какому-либо вопросу (выбор стратегии, направления развития продукта, терминологии и т. д.). Формулируется вопрос и несколько вариантов ответа. Срок проведения от одного до нескольких дней. Количество участников — до 100. Результаты ответов агрегируются, и формулируется консолидированное экспертное по конкретному вопросу. При агрегации результатов учитывается уровень экспертного знания участника в предметной области, к которой относится вопрос. Экспертное мнение публикуется, и доступно для всех сотрудников компании. Участники — ограниченный круг экспертов сообщества, которым делегировано право принятия решения. (результаты могут быть скрыты) 1.5. «Собрание гильдии» (ранее Комитет)» Формирование консолидированного решения по вопросам повестки заседания комитета, либо по вопросам, возникающим в процессе заседания комитета. Формулируются вопросы и несколько вариантов ответа. Вопросы формулируются заранее в соответствии с повесткой либо непосредственно в процессе заседания. Срок проведения — до 2 часов, либо до окоченения заседания, также может завершаться по решению ведущего заседания. Количество участников — до 1000. Результаты ответов агрегируются, и формулируется консолидированное экспертное мнение по конкретному вопросу. При агрегации результатов учитывается уровень экспертного знания участника в предметной области, к которой относится вопрос. Экспертное мнение публикуется, и доступно для всех сотрудников компании. Участники — эксперты, посетившие комитет. 1.6. «Интерактивное мероприятие»: Один и более «Статистических опросов» и «Комитет» в рамках одного мероприятия. На мероприятии, организатор или ведущий, по мере развития темы «вручную» инициирует блиц (с длительностью несколько минут) «статистический опрос» среди участников мероприятия с публикацией сразу после выполнения опроса. В процессе мероприятия организатор должен иметь возможность инициировать опрос, который не был подготовлен заранее и сформулировать прямо по ходу мероприятия. По завершению мероприятие инициируется процесс принятия консолидированного решения по вопросу повестки мероприятия. В зависимости от хода обсуждения темы на мероприятии, организатор может перенести процесс принятия решения на следующее мероприятие, либо инициировать его позже. 1.7. «Многоэтапное принятие решения»: Процесс принятие решения, в рамках которого вопрос выносится на голосование в несколько голосований. Например, первый этап - “комитет”, где сообщество экспертов определяет возможность дальнейшего рассмотрения вопроса, и только если результат положительный, появляется возможность назначить второй этап “принятие решения”, где окончательное решение по вопросу определяется ограниченным кругом экспертов сообщества, которым делегировано право принятия решения. Количество участников - до 1000. При агрегации результатов учитывается уровень экспертного знания участника в предметной области, к которой относится вопрос. Экспертное мнение публикуется, и доступно для всех сотрудников компании. 2. Составные элементы и способы реализации опросов: 2.1. «Единичный вопрос» может предполагать следующие виды ответов: 2.1.1. «Однозначный ответ» - путем выбора только одного варианта ответа, например, ДА, НЕТ, ВОЗДЕРЖАЛСЯ 2.1.2. «Оценка» - выбор одного из целочисленных значений в определенном диапазоне, например, от 0 до 10, с шагом 1. Либо одного варианта из набора «Согласен», «Полностью согласен», «Не согласен», «Полностью не согласен». 2.1.3. «Множественный ответ» - предоставить возможность выбора из одного и более вариантов ответа и предоставить возможность предложить свой вариант ответа. 2.1.4. Вопрос с произвольным вводом ответа/ответов. 2.2. Совокупность вопросов: 2.2.1. Комбинации вопросов составляют Анкету. 2.2.2. Анкета связана с предметной областью, на которую влияет (может повлиять) перечень вопросов, включенных в Анкету. 2.2.3. Анкета должна иметь срок жизни, период времени, в течение которого необходимо собрать ответы (мнение) экспертов по указанным в ней (анкете) вопросам. 2.2.4. Критерии принятия решения могут быть настроены для всей Анкеты, или каждый вопрос учитывается индивидуально, независимо от других вопросов, входящих в Анкету. 2.2.5. Анкета, состоящая из вопросов, на которые требуются только однозначные ответы может быть Повесткой, например, коллегиального органа, решения которого имеют ощутимый вклад в жизнедеятельность компании. Ответы экспертов по повестке - обязательны(!) 2.2.6. Повестка, как правило должна быть доступна ограниченному количеству участников, например, не более 100 экспертов. 2.2.7. Единичные вопросы Анкеты становятся доступными для ответа Экспертам по команде Инициатора, срок ожидания ответа должен быть обязательно настроен и ограничен разумными пределами, как правило не более одной минуты. 2.2.8. Вопросы Повестки отозвать нельзя. 2.2.9. Вопросы Анкеты можно отозвать и запустить на повторное голосование, например, изменив формулировки и варианты ответов. (при перезапуске опроса следует увеличивать номер версии). 2.2.10. Анкета может быть - обязательной для ответов. Либо опциональной. Справедливо для закрытых опросов Срок жизни Анкеты/вопроса и область вляиния проработать … 3. Обработка результатов опросов и формирование рейтингов экспертов Юзкейсы по извлечению знаний из результатов голосований\опросов. 3.1. Для предметной области — возможно получить список экспертов, количество голосований\опросов в которых принимал участие каждый эксперт. 3.2. Для предметной области — возможно выполнить сортировку по значению уровня экспертных знаний и соответственно получить наиболее компетентных экспертов. 3.3. Для предметной области — возможно получить список голосований\опросов, относящихся к предметной области. 3.4. Для предметной области — возможно выполнить сортировку по количеству проведенных опросов\голосований и соответственно получить наиболее изученную предметную область. 3.5. Для предметной области — возможно получить среднее значение уровня экспертных знаний всех экспертов. 3.6. Если опрос или голосование формализует экспертное знание или определяет решение — эта информация должна быть опубликована в SoL (для опроса\голосования необходим признак автоматической публикации результата) 3.7. Для эксперта — возможно получить список предметных областей, в которых эксперт обладает компетенцией. Возможно выполнить сортировку по значению уровня экспертных знаний и соответственно получить предметные области, в которых эксперт является наиболее компетентным. 3.8. Для эксперта — возможно получить список голосований\опросов, в которых принимал участие эксперт. 3.9. Для эксперта - возможно сформировать признак «Активность» - соотношение количества опросов/голосований в которых эксперт принял участие к общему количеству опросов\голосований в которых эксперт мог принять участие. 3.10. Для голосования\опроса — возможно сформировать признак «Активность» соотношение количества участников, принявших участие в голосовании к общему количеству участников, которые имели возможность принять участие в данном опросе\голосовании. 3.11. Для голосования\опроса — возможно сформировать признак «Согласованность мнений» - насколько мнения экспертов в данном голосовании\отличаются или наоборот — совпадают (Пока не знаю, как подсчитывать). Метод экспертных оценок, применяется в тех областях знаний, где невозможно провести объективную оценку характеристик объекта какими-либо способами. Под методом экспертных оценок понимают комплекс логических и математических процедур, направленных на получение от специалистов информации, ее анализ и обобщение с целью подготовки и выбора рациональных решений. Сущность этого метода заключается в проведении высококвалифицированными специалистами интуитивно-логического анализа проблемы с качественной или количественной оценкой суждений и формальной обработкой результатов. Комплексное использование интуиции, логического мышления и соответствующего математического аппарата позволяет получить эффективное решение поставленной проблемы. Метод экспертных оценок отличается от традиционной экспертизы наличием научной организации всех этапов экспертизы и применением математического аппарата как при организации экспертизы, так и при обработке и анализе полученной информации. К совету знающих специалистов (экспертов) прибегают в тех случаях, когда задача является нетрадиционной, не допускает проведения натурного либо машинного эксперимента, но у лица, принимающего решения, имеется достаточный ресурс времени для обоснования соответствующих вариантов действий. Экспертиза может проводиться на самых различных этапах исследования: начальном цикле исследований, которому предшествует детальный анализ существа проблемы; систематизации полученных при таком анализе сведений, что позволяет целенаправленно и планомерно организовывать экспертизу, ориентированную на получение новой информации в необходимой форме; последнем, наиболее формальном шаге анализа. Полученная и обработанная экспертная информация используется в дальнейшем в рамках выбранной процедуры выработки решений. Метод экспертных оценок как научный инструмент анализа слобоформализуемых либо неформализуемых проблем широко применяется при решении самых различных задач, связанных с планированием развития компании, принятием решений на различных организационных уровнях, выбором информационных технологий и т.д. К преимуществам групповой экспертизы следует отнести возможность разностороннего анализа проблемы и частое включение (попадание) в групповую решение “истинной” оценки. Можно считать, что в определенной степени увеличение числа экспертов призвано придать экспертизе более объективный характер. Групповая экспертиза производится путем агрегации предпочтений экспертов, в свою очередь выражение предпочтения эксперта осуществляется посредством «элементарного суждения», под которым подразумевается качественные оценки объектов, полученные в порядковых и номинальных шкалах: Группировка (сортировка, классификация) - представленное множество оцениваемых объектов разбивают на конченое количество классов и эксперт последовательно относит предлагаемые ему объекты к одному из этих классов. Балльное оценивание - каждому объекту из множества ставят в соответствие по определенным (заранее известным всем экспертам и неизменным во время данной экспертизы) правилам число (балл), характеризующее субъективное мнение эксперта о предпочтительности данного объекта. Балльные оценки выбирают из специальной балльной шкалы, имеющей определенное число градаций (делений). Ранжирование - представление объектов из множества в виде последовательности в порядке убывания их предпочтительности с точки зрения какого-либо свойства или нескольких свойств. При этом допускается указание на равноценность некоторых поставленных рядом объектов (в этом случае ранжирование называется нестрогим). Если же указывать на равноценность объектов нельзя, то ранжирование называется строгим. Попарные сравнения - состоит в указании более предпочтительного объекта в каждой паре или их равноценности. Множественные сравнения - представляет собой дальнейшее развитие и обобщение попарных сравнений, когда эксперту последовательно предлагают наборы из нескольких объектов, а в каждом наборе объекты надо упорядочить или же указать лучший среди них. На практике наиболее распространенными являются метод балльного оценивания (например оценки в учебных заведениях) и ранжирование, позволяющие определить наиболее важные и ценные свойства или характеристики объектов. Методы попарного или множественного сравнения наиболее подходят для оценки личностных и профессиональных характеристик сотрудников компании, нежели для экспертной оценки в области информационных технологий. Метод группировки актуален на ранних стадиях исследования предметной области, в условиях отсутствия устоявшихся и общепринятых классификаций. Основными задачами обработки и анализа экспертных оценок являются следующие: оценка степени согласованности мнений экспертов; получение коллективного (обобщенного) мнения эксперт ной группы; оценка и учет компетентности экспертов. Прежде чем получать обобщенное мнение, следует убедиться в достаточно высокой согласованности мнений экспертов. Если такой согласованности нет, то “осреднение” всех мнений противоречило бы исходной предпосылке о том, что ответы экспертов лишь случайно и независимо отклоняются от некоторой истинной единственно правильной точки зрения, которую и надлежит выявить при экспертизе. При этом обобщенное мнение будет неустойчивым в том смысле, что небольшие изменения обрабатываемого материала (например, исключение оценок нескольких экспертов или же добавление новых) могут значительно его изменить. Недостаточная согласованность мнения экспертов может указывать на необходимость дополнительной проработке темы поставленного вопроса или предметной области. Балльная оценка Согласованность мнений экспертов можно характеризовать дисперсиями балльных оценок, приписываемых отдельным объектам. 𝑛 1 𝐷= ∑(𝑥𝑖 − 𝑚)2 𝑛−1 𝑖=1 Где 𝑛 – количество экспертов 𝑥𝑖 - значение бальной оценки, данное 𝑖-ым экспретом 𝑚 - математическое ожидание, наиболее распространенной оценкой которого на практике является среднее арифметическое результатов 𝑛 1 𝑚 = ∑ 𝑥𝑖 𝑛 𝑖=1 Значение 𝑚также является групповой оценкой, отражающей коллективное (обобщенное) мнение экспертов. Если тем или иным способом получены коэффициенты компетентности экспертов 𝜆𝑖 то их можно использовать при обработке как относительные “веса” мнений соответствующих экспертов, тогда значение групповой оценки будет выглядеть как 𝑛 𝑚 = ∑ 𝜆𝑖 𝑥𝑖 𝑖=1 При этом предполагается, что коэффициенты нормированы 𝑛 ∑ 𝜆𝑖 = 1 𝑖=1 Оценивать компетентность экспертов возможно непосредственно по результатам конкретной экспертизы в процессе итерационной обработки полученных оценок. Предположим, что каждый из трех экспертов оценил значение двух мероприятии и 𝑑2 для решения некоторой технологической или организационной проблемы. 𝑑1 𝑑2 0.7 0.3 Э2 0.3 0.7 Э2 0.2 0.8 На нулевой итерации, считаем что все эксперты обладают равной компетенцией, и если количество экспертов 𝑛 = 3то значение коэффициентов компетенции 1 (0) (0) (0) 𝜆1 = 𝜆2 = 𝜆3 = 3 Тогда групповые оценки мероприятий 𝑏01 = 1 (0.7 + 0.3 + 0.2) = 0.4 3 1 (0) 𝑏2 = (0.3 + 0.7 + 0.8) = 0.6 3 Для каждого эксперта рассчитаем сумму произведений оценок экспертов и групповых оценок каждого из 2 𝑆𝑖 = ∑ 𝑥𝑖𝑗 𝑏𝑗0 𝑗=1 (0) (0) (0) (0) (0) (0) 𝑆1 = 𝑥11 𝑏1 + 𝑥12 𝑏2 = 0.7 ∗ 0.4 + 0.3 ∗ 0.6 = 0.46 𝑆2 = 𝑥21 𝑏1 + 𝑥22 𝑏2 = 0.3 ∗ 0.4 + 0.7 ∗ 0.6 = 0.54 𝑆3 = 𝑥31 𝑏1 + 𝑥32 𝑏2 = 0.2 ∗ 0.4 + 0.8 ∗ 0.6 = 0.56 Тогда коэффициенты компетенции на следующей итерации равны (1) 𝜆𝑖 = 𝑆𝑖 𝑛 ∑𝑗=1 𝑆𝑗 𝑛 ∑ 𝑆𝑗 = 0.46 + 0.54 + 0.56 = 1.56 𝑗=1 (1) 𝜆1 = (1) 𝜆2 = (1) 𝜆3 = 𝑆1 0.46 = = 0.29 1.56 1.56 𝑆1 0.54 = = 0.35 1.56 1.56 𝑆1 0.46 = = 0.36 1.56 1.56 (1) На следующей итерации вычисляются новые групповые оценки с использованием 𝜆𝑖 , а затем (2) последние вновь уточняются при помощи 𝑏𝑗 и т. д. (1) 𝑏1 = 0.7 ∗ 0.29 + 0.3 ∗ 0.35 + 0.2 ∗ 0.36 = 0.2 + 0.1 + 0.07 = 0.37 (1) 𝑏2 = 0.3 ∗ 0.29 + 0.7 ∗ 0.35 + 0.8 ∗ 0.36 = 0.09 + 0.25 + 0.29 = 0.63 (0) (0) 𝑆1 = 𝑥11 𝑏1 + 𝑥12 𝑏2 = 0.7 ∗ 0.4 + 0.3 ∗ 0.6 = 0.46 (1) (1) (1) (1) 𝑆2 = 𝑥21 𝑏1 + 𝑥22 𝑏2 = 0.3 ∗ 0.37 + 0.7 ∗ 0.63 = 0.11 + 0.44 = 0.51 𝑆3 = 𝑥31 𝑏1 + 𝑥32 𝑏2 = 0.2 ∗ 0.37 + 0.8 ∗ 0.63 = 0.07 + 0.19 = 0.57 𝑛 ∑ 𝑆𝑗 = 0.45 + 0.51 + 0.57 = 1.53 𝑗=1 (2) 𝜆1 = (2) 𝜆2 = (2) 𝜆3 = 𝑆1 0.45 = = 0.3 1.53 1.53 𝑆1 0.51 = = 0.33 1.53 1.53 𝑆1 0.57 = = 0.37 1.53 1.53 Полученные на данной итерации значения коэффициентов практически не отличаются от значений предыдущей итерации, и процесс расчета можно считать завершенным. Итераций может быть больше, что определяется требуемой точностью к расчету коэффициентов. Нормирование коэффициентов Предположим, что четыре эксперта в результате проведенных оценок имеют следующие коэффициенты компетентности 𝜆1 = 0.3, 𝜆2 = 0.3, 𝜆3 = 0.2, 𝜆4 = 0.2 При этом, в очередной предстоящей оценке, не может принять участие эксперт с индексом 4, либо данный эксперт покидает сообщество, по причине увольнения из компании. Тогда нарушается условие нормирования коэффициентов. Для нормирования коэффициентов необходимо ввести поправочный коэффициент, который вычисляется как 𝑘= 1 ∑𝑛𝑖=1 𝜆𝑖 =1 В вышеуказанном примере поправочный коэффициент будет иметь значение 𝑘= 1 1 = = 1.25 0.3 + 0.3. +0.2 0.8 Тогда значения нормированных коэффициентов для трех экспертов принимающих участие в оценке 𝜆1 = 0.3 ∗ 1.25 = 0.375, 𝜆2 = 0.3 ∗ 1.25 = 0.375, 𝜆3 = 0.2 ∗ 1.25 = 0.25 Нетрудно убедиться, что условие нормирования для новых значений коэффициентов выполняется 0.375 + 0.375 + 0.25 = 1 Предположим, что после очередной экспертной оценки, коэффициенты компетенции данных трех экспертов изменились следующим образом: 𝜆1 = 0.4, 𝜆2 = 0.3, 𝜆3 = 0.3 Для нормирования коэффициентов с учетом полного состава сообщества (при условии если эксперт с индексом 4 остается частью сообщества и временно не имел возможности принять участие в проведенной оценке), необходимо использовать поправочный коэффициент в качестве делителя 𝜆1 = 0.4 0.3 0.3 = 0.32, 𝜆2 = = 0.24, 𝜆3 = = 0.24 1.25 1.25 1.25 С учетом того, что коэффициент четвертого эксперта не изменился, и равен 𝜆4 = 0.2 требование нормирования коэффициентов выполняется 𝑛 ∑ 𝜆𝑖 = 0.32 + 0.24 + 0.24 + 0.2 = 1 𝑖=1 TODO – продумать нормирование для добавления нового эксперта (присваивать какое-то среднее значение? Инициировать оценку экспертами? Еще как-то? ). Принятие решения по итогам голосования Принятие экспертного решения по итогам простого голосования, где каждый эксперт может выразить свое предпочтение посредством голоса «за» или «против» может быть представлено как частный случай балльной оценки, с ограничением возможных количественных значений, то есть сведения шкалы к двум значениям 0 и 1. При этом для принятия решения достаточно накапливать только голоса «за» (соответствующие значению 1), с учетом коэффициентов компетентности экспертов. Например, значения коэффициентов компетентности экспертов, полученные после последней оценки: 𝜆1 = 0.32, 𝜆2 = 0.24, 𝜆3 = 0.24, 𝜆4 = 0.2 и эксперты 1 и 2 голосуют «за» а эксперты «4» - против, тогда групповая оценка вычисляется следующим образом: 𝑏 = 1.0 ∗ 0.32 + 1.0 ∗ 0.24 + 0.0 ∗ 0.24 + 0.0 ∗ 0.2 = 0.56 Если полученное значение превышает некоторый ранее принятый порог принятия решения (который по умолчанию может иметь значение 0.5), то решение считается принятым. Очевидно что с учетом вышеописанных ограничений, вычисление группой оценки в случае голосования сводится к вычислению суммы коэффициентов компетенции экспертов, проголосовавших «за». Если эксперт не выразил свой голос, то он зачисляется как «против», поэтому для голосования важно заранее определить состав и количество участников, чтобы корректно произвести нормирование коэффициентов компетенции (либо данные эксперты должны быть на постоянной основе выделены в отдельную группу, обладающей правом принятия решений). Ранжирование TODO – допишу вычисление согласованности для ранжирования (там достаточно сложная процедура отличная от метода балльной оценки), как учитывать коэффициенты компетенции и пересчитывать их при ранжировании — пока теории не нашел. 4. Открытые Вопросы: Стоит ли учитывать результаты принятия решений («Комитет» и «Принятие решения») при формировании значения уровня экспертных знаний? Может ли отдельный участник наложить вето на решение? Насколько необходимо ограничивать область видимости определенных данных? Например, часть решений может быть видна всем сотрудникам компании, другая часть решений только экспертному сообществу, еще какая-то часть решений более узкому кругу участников. Ответы: Несколько реестров. Шифрование данных, когда только участник опроса имеет права для ознакомления. Комбинация реестра и центральное базы. Иные варианты.. Что является предметной областью (только ли технологии)? Интеграции с внешними, корпоративными системами, к примеру Пульс, teams, AD, платформенное решение как свойство продукта. Ранжирование, определение уровня эксперта. Учитывать активность эксперта при учете рейтинга.
