Математическая морфология.

Электронный математический и медико-биологический журнал. - Т. 8. -

Вып. 4. - 2009. - URL:

http://www.smolensk.ru/user/sgma/MMORPH/TITL.HTM

http://www.smolensk.ru/user/sgma/MMORPH/N-24-html/TITL-24.htm

http://www.smolensk.ru/user/sgma/MMORPH/N-24-html/cont.htm

 

 

УДК 623.76

 

ОЦЕНКА  ДЕЯТЕЛЬНОСТИ  СПЕЦИАЛИСТОВ СЛОЖНЫХ  ТЕХНИЧЕСКИХ  СИСТЕМ  СПЕЦИАЛЬНОГО НАЗНАЧЕНИЯ С  ИСПОЛЬЗОВАНИЕМ  НЕЧЁТКИХ  ЭКСПЕРТНЫХ  СИСТЕМ

 

Ó 2004 г. Герасимов О. В., Андреев С. Г., Семенко И. Б.

 

(gerasimov.doc)

 

В данной работе представлены структура и содержание нечёткой модели оценки деятельности специалистов, эксплуатирующих сложные технические системы специального назначения. Разработка модели велась с применением системы  компьютерного моделирования MATLAB на основе пакетов Simulink и Fuzzy Logic Toolbox в интересах её использования в программном обеспечении систем автоматизированной оценки тренажёров и комплексов учебно-тренировочных средств с целью повышения объективности оценки деятельности эксплуатирующих их специалистов.

Ключевые слова: техническая система, оценка, специалист, нечеткая модель

 

На современном этапе развития сложных технических систем (СТС) условия их эксплуатации обусловлены множеством разнообразных факторов, очевидные связи между которыми зачастую отсутствуют или прослеживаются достаточно слабо, а, значит, являются  трудноописываемыми. Это особенно характерно для эргатических СТС специального назначения. При всей сложности эксплуатации таких СТС цена ошибок специалистов, их использующих, при выполнении различных операций (процедур) деятельности достаточно велика и может привести к снижению их качества или не выполнению задачи. Снижение величины этого, одного из главных, риска деятельности специалистов СТС играет важную роль и обусловливает значительное повышение эффективности  достижения задач по предназначению. 

В настоящее время одним из проблемных вопросов организации процесса обучения специалистов СТС является формирование качественной (объективной) оценки системами автоматизированной оценки (САО) тренажёров и комплексов учебно-тренировочных средств (КУТС) существующих СТС [1]. Зачастую это проявляется в ходе контрольных проверок уровня подготовленности обучающихся, так как при оценке их деятельности учитываются не все операции (процедуры), входящие в цикл их работы, а процесс оценки при этом в большинстве случаев носит субъективный характер. Ошибки измерения временных оценочных показателей (с помощью секундомеров) отдельных операций оказывают определяющее влияние на результаты выполнения упражнения на тренажёре в целом. Все это обусловлено существующими недостатками  в сложившейся системе  подготовки специалистов СТС:

средства обучения и оценки (например, средства измерения временных показателей выполнения установленных служебными документами нормативов в виде хронометров) не всегда входят в состав одного тренажёра, и поэтому процесс оценки обучающихся не автоматизирован;

коррекция процесса подготовки малоэффективна, так как в большинстве случаев она проводится на вербальном уровне и зависит от субъективизма руководителя тренировки и не всегда носит системный характер;

на большинстве устаревших тренажёров СТС отсутствуют САО, а в программном обеспечении современных тренажёров учтены не все оценочные показатели деятельности обучающихся, в т. ч. и существенно влияющие на результат тренажа.

Выход из сложившейся ситуации возможен за счёт:

введения в состав СТС встроенных средств контроля деятельности специалистов, что не всегда реализуемо из-за конструктивных и других особенностей СТС специального назначения;

разработка коллективных и других альтернативных средств оценки функциональности СТС;

разработки  новых методик оценки деятельности специалистов СТС на тренажёрах, обеспечивающих автоматизированную объективную оценку уровня подготовки как одиночных обучающихся, так и учебных групп в целом.

Последнее направление является наиболее приемлемым в современных условиях функционирования СТС и стремительного развития их тренажёрной базы. При этом необходимо учитывать, что для ряда СТС специального назначения средства и системы оценки, способные реализовать методику, предназначенную для формирования автоматизированной объективной оценки деятельности обучающихся, конструктивно могут быть размещены лишь на тренажёрах, в связи с чем последним отводится особая роль в процессе подготовки учебных групп. Тренажёры таких систем должны создавать адекватную учебно-информационную модель (УИМ) для максимального приближения содержания и условий выполнения учебных задач к реальной деятельности специалистов СТС.

Важной составляющей процесса подготовки является оценка каждого элемента и в целом деятельности обучающихся, а также обеспечивающие её средства и методический аппарат. Работа специалистов, эксплуатирующих именно эргатические СТС существенно отлична от действий специалистов СТС других типов, в составе которых выступают только технические средства. Оценка выполнения таких операций, значительно влияющих на результат тренажа, но в то же время не связанных между собой в настоящее время не проводится из-за сложностей в реализации такой задачи. Обучающийся, как человек, зависим от множества психофизиологических факторов и внешних воздействий, что обусловливает неопределённость его действий и нечеткость их оценки.

В настоящее время в работе на СТС специального назначения имеется множество операций, осуществляемых в пределах достаточно малого (до 10 с)  работного времени систем. Человеку-инструктору, используя существующие методические подходы, сложно объективно оценить их выполнение на высоком качественном уровне, а зачастую и  невозможно.

Таким образом, повышение объективности оценки деятельности специалистов СТС в процессе подготовки на тренажёрах является актуальной и востребованной задачей. При этом следует учесть, что эта задача может быть решена за счёт разработки модели и методического обеспечения оценки действий обучающихся на тренажёрах эргатических СТС взамен существующих, часто противоречивых, подходов к оценке уровня их подготовки, решение которой с использованием нечётких экспертных систем окажет положительное влияние на процесс подготовки в целом, и позволит реально автоматизированно и объективно оценить знания, умения и навыки специалистов СТС.

Анализ развития средств обучения и оценки, их возможностей, в том числе, оснащённости и возможностей их САО по подготовке специалистов и учебных групп, эксплуатирующих СТС специального назначения, а также состояния исследований данной предметной области, проводимых в России и за рубежом позволил выявить и проанализировать факторы, влияющие на эффективность процесса их подготовки, причём, особое внимание было уделено анализу возможностей существующих тренажёров по проведению оценки деятельности обучающихся при выполнении упражнений на тренажёрах в процессе их учёбы [2]. Выявлены объективные и субъективные причины расхождения в подходах к определению оценки уровня подготовки как учебных групп в целом, так и одиночных специалистов. При этом установлено, что определённая в исследованиях взаимосвязь эффективности процесса подготовки и качества процесса оценки деятельности обучающихся в полной мере зависит от функциональности тренажёров и качества методического аппарата, применяемого для оценки их действий на тренажёрах. Установлено, что существующая система подготовки в большинстве случаев носит незамкнутый характер в части касающейся автоматизированного процесса формирования управляющих воздействий на обучающихся в силу возможностей, используемых в процессе учёбы тренажёров,  что, с учётом несовершенства применяемых методических подходов, не способствует формированию объективной оценки уровня подготовки специалистов СТС, в связи с чем очевидно отрицательное влияние сложившейся ситуации на процесс их подготовки в целом (рис. 1).

 

 

Рис. 1. Взаимосвязь процессов оценки и подготовки специалистов СТС

специального назначения в системе их подготовки

 

Исходя из того, что в большинстве случаев устаревшие тренажёры не оснащены САО, а в современных тренажёрах такие системы несовершенны, так как не способны объективно проверить подготовленность специалистов СТС специального назначения, возникает необходимость совершенствования процесса оценки  их деятельности, в том числе, за счёт новых подходов к его моделированию. Основным недостатком САО современных тренажёров является то, что в их программном обеспечении учтены не все операции (процедуры) деятельности обучающихся по выполнению своих функциональных обязанностей, в т. ч. существенно влияющие на результат тренажа, например, выполнение специальных нормативов.

Из проведённого анализа возможностей тренажёров СТС специального назначения видно, что очевидна необходимость создания и разработки перспективного комплекса учебно-тренировочных средств (КУТС), объединяющего в себе все положительные свойства изделий-прототипов и обладающего максимальными возможностями по обучению и оценке деятельности обучающихся, а также методики оценки их действий по выполнению функциональных обязанностей для формирования объективной оценки, отражающей реальный уровень подготовки, в первую очередь, за счёт использования в программном обеспечении его САО методики оценки деятельности специалистов СТС специального назначения на базе модели оценки их действий. Это создаст возможность автоматизации процесса формирования управляющих воздействий не только в отношении отдельных обучающихся, но и для учебных групп в целом, что положительно повлияет на эффективность процесса их  подготовки в целом (рис. 2). При этом очевидна ключевая роль механизма формирования автоматизированной объективной оценки действий обучающихся в перспективной системе подготовки специалистов СТС.

 

 

Рис. 2. Взаимосвязь процессов оценки и подготовки специалистов СТС специального назначения на тренажёрах и КУТС с использованием в их программном обеспечении САО модели оценки деятельности обучающихся на базе нечётких экспертных систем

 

Представленная методика оценки деятельности специалистов СТС специального назначения на тренажёрах (рис. 3), основывается на систематизации существующих и вновь вводимых операций деятельности и соответствующих им оценочных показателях, составляющих базу знаний для модели оценки их деятельности. При этом модель оценки деятельности специалистов СТС специального назначения с использованием нечётких экспертных систем обеспечивает формирование совокупности частных оценок {Мч} за выполнение необходимого количества операций деятельности обучающихся при отработке ими специальных нормативов на тренажёрах с требуемой точностью. 

Следует отметить, что одной из вновь вводимых оцениваемых операций деятельности обучающихся является выполнение специальных нормативов. Взаимное влияние, существенно связанных, но имеющих громоздкое математическое описание этих связей, оценочных показателей действий обучающихся при выполнении стрельбы учитывается при определении комплексной оценки Мк, величина которой значительно влияет на итоговую оценку Ми за выполнение обучающимися упражнений тренажа. Результаты деятельности специалистов СТС по всем видам оценок документируются для последующего анализа по двум критериям оценки в целях дальнейшего эффективного их использования в процессе обучения и определении коэффициента уровня подготовки учебной группы в целом Ку. п.

Для учёта особенностей и количества, вновь вводимых оценочных показателей операций деятельности специалистов СТС специального назначения на тренажёрах, интервалы и границы которых определены методом экспертной оценки, и в целях учёта их взаимного влияния на величину комплексной оценки, при разработке модели целесообразно использование инструментария теории нечётких множеств как корректного апробированного математического аппарата, позволяющего в рамках одной сессии вычислений учесть большое количество факторов процесса оценки деятельности обучающихся, полученных экспертным путём. При этом следует отметить, что при других способах моделирования операция создания базы знаний входит в процедуру решения задачи, что значительно затрудняет процесс её реализации и внесения в неё изменений, когда в этом возникнет необходимость.

При выборе известных алгоритмов нечёткого вывода, реализованных в прикладных пакетах систем компьютерного моделирования (СКМ) [4], решение многокритериальной задачи по оценке специалистов СТС достаточно легко реализуется, обеспечивая получение необходимых результатов. Это связано с тем, что моделирование вида и формы функций принадлежности, в основе которых лежит база знаний оценочных показателей за выполнение обучающимися операций деятельности по выполнению функциональных обязанностей и формирование продукционных правил работы алгоритма нечёткого вывода осуществляется раздельно и независимо друг от друга, как отдельных модулей созданной единой нечёткой системы.

Оценочные показатели деятельности специалистов СТС специального назначения в обязательном порядке должны определятся с учётом требований директивных и нормативных документов по организации процесса их подготовки, технической документации предприятий-изготовителей СТС, а так же экспертных оценок специалистов в соответствующей предметной области.

Исходя из специфики решаемой научной задачи по разработке модели оценки деятельности специалистов СТС специального назначения с использованием нечётких экспертных систем представляется возможным функции принадлежности входных переменных представить в виде треугольных, трапециевидных, а в некоторых случаях и прямоугольных (сигнатур), как частного случая трапециевидных. Функции, описываемые сигнатурами, имеют классическое для них описание и применяются для моделирования оценки фактов совершения или несовершения тех или иных операций деятельности на тренажёре или связанных с ними ошибок.

 

 

Рис. 3. Методика оценки деятельности специалистов СТС специального назначения на тренажёрах.

 

В связи с тем, что в основе применяемых в модели блоках нечёткого вывода (БНВ) используется алгоритм Сугэно 0-го порядка [3], функции выходных переменных могут быть определены как константы в виде «5», «4», «3» и «2», по сути являющиеся оценками за качество выполнения операций боевой работы обучающимся.

Таким образом, продукционные правила в формальном виде могут быть представлены типовым условием

 

*          если  есть  и  есть , …,  есть , то ,

где, , …,   – нечёткие числа, описываемые треугольными функциями принадлежности;

       1, 2, …,       – порядковый номер оценки в соответствии с выбранной шкалой;

                                – количество оценок в соответствии с выбранной шкалой;

       1, 2, …,     – номер продукционного правила нечёткой системы;

                               – количество продукционных правил нечёткой системы;

                             – постоянный параметр;

                            – оценка за качество выполнения операции деятельности.

При этом треугольной функции принадлежности соответствует формульная зависимость типа

 

,

 

 

где    – постоянный коэффициент равный 1 или 2;

       – центр -го  нечёткого числа ;

        – постоянный параметр.

Параметры продукционных правил выбраны методом экспертных оценок в процессе формирования априорной базы знаний.

Формирование совокупности нечетких продукционных правил и выбор вида функций принадлежности подразумевают определение необходимого количества продукционных правил. С этой целью необходимо разбить диапазон, определённых базой знаний оценочных показателей, за выполнение операций деятельности специалистом СТС на отдельные интервалы для каждой операции с учётом возможных вариантов видов и режимов работы СТС, а также определить вид и форму совокупности функций принадлежности входных переменных – оценочных показателей выполнения обучающимся k-ой операции деятельности.

Следует отметить, что в качестве оценочного показателя выступает время выполнения k-ой операции деятельности обучающимся – t.

В связи с этим сформулированы продукционные правила. Количество правил определяется по количеству диапазонов действий  для функций принадлежности , соответствующих временным границам оценочных показателей выполнения специалистом СТС k-ой операции деятельности на тренажёре [1]

 

 

.

 

 

Таким образом,  продукционные правила принимают вид

 

П1: если t есть F1, то Мi = b,

 

где b – максимальная оценка за выполнение обучающимся  i-ой операции деятельности на тренажёре;

 

П2: если t есть F2, то Мi ;

 

П3: если t есть F3, то Мi ;

 

П4: если t есть F4, то Мi ,

 

где z – минимальная оценка за выполнение обучающимся  i-ой операции деятельности на тренажёре, при ;

 

П5: если t есть F5, то Мi = z.

 

С целью введения  нечеткости (фаззификации) для четко заданного вида функций принадлежности определяются формульные зависимости вида

 

 

Таким образом, с учётом вышепредложенного подхода формируются продукционные правила определения оценок за выполнение специалистом СТС специального назначения других операций деятельности на тренажёре для всех видов и режимов функционирования системы с целью их дальнейшего использования в модели оценки деятельности и определения уровня подготовленности обучающихся.

Очевидно, полученные формульные зависимости продукционных правил являются базовым аналитическим инструментом для описания оценки деятельности специалистов СТС специального назначения при их деятельности на тренажёрах и КУТС, имеющих особенности технико-технологических решений, реализованных в них, как в системах с высоким уровнем участия человека, при функциональном применении и эксплуатации СТС.

При реализации этапа нечёткой импликации, то есть выбора алгоритма нечёткого логического вывода, следует учитывать, что механизм нечётких выводов в своей основе имеет базу знаний, формируемую специалистами (экспертами) предметной области в виде совокупности нечётких продукционных правил.

В качестве алгоритма нечеткого логического вывода в разработанной модели принят известный алгоритм Сугэно 0-го порядка в виде

 

 

 

 

где                              – множество входных переменных;

          – совокупность функций входных переменных.

Необходимо отметить, что в процессе дефаззификации (приведение к чёткости) для априорно выбранных значений  определяется комплексная оценка .

 Очевидно, что применение в разработанной нечёткой системе алгоритма нечёткого вывода на базе алгоритма Сугэно 0-го порядка позволяет решить задачу определения оценок за качество выполнения обучающимся операций деятельности, определённых базой знаний, за счёт использования в модели оценки деятельности специалистов СТС специального назначения БНВ как при формировании частных, так и комплексной оценок действий обучающихся на тренажёрах и КУТС СТС. Это, в свою очередь, даёт возможность достоверно и объективно оценить действия специалистов СТС при выполнении упражнений по выполнению функциональных обязанностей не только в целом, но и за каждую операцию в отдельности.

Таким образом, разработка модели оценки деятельности специалистов СТС специального назначения, а также и других специалистов, эксплуатирующих эргатические СТС, базируется на методике моделирования нечётких экспертных систем, включающей: постановку задачи на построение модели, выбор и обоснование метода моделирования; формирование необходимой для моделирования базы знаний с последующей разработкой алгоритмов оценки деятельности обучающихся в интересах учебно-информационного обеспечения тренажёров и КУТС СТС специального назначения; разработку структуры и методики построения модели оценки деятельности специалистов СТС; уточнение терм-множеств входных и выходных переменных (воздействий); формирование продукционных правил функционирования нечёткой системы с определением вида базовых функций принадлежности выходных переменных методом экспертных оценок; выбор алгоритма нечёткого вывода продукционной модели; проведение моделирования процесса функционирования экспертной системы; оценку работоспособности (апробацию) модели.

Структура разработанной модели (рис. 4) позволяет максимально учесть «человеческий фактор» и минимизировать связанные с его проявлением ошибки при  формировании частных, комплексной  и итоговой оценок выполнения операций  деятельности специалиста СТС с учётом «базовой» оценки за выполнение специальных нормативов.

Следует отметить, что блоки формирования оценок разработанной модели можно разделить по следующим типам.

1 тип – это БНВ, принцип работы которого основан на законах и правилах нечёткой логики и предназначенный для формирования комплексной оценки, имеющей нелинейную характеристику. На входы БНВ с модуля преобразования входных переменных (МПВП) поступает l оценочных показателей за выполнение обучающимся «нечётко связанных» операций (процедур) деятельности, в том числе результаты выполнения специальных нормативов. При этом функциональная зависимость комплексной оценки, формируемой БНВ, описывается выражением

 

.                          (1)

Рис. 4. Обобщённая структура модели оценки деятельности специалистов СТС специального назначения. Здесь: – блок нечёткого вывода частной оценки за k-ю операцию боевой работы; БФЧО – блок формирования частной оценки; ИЧО –  индикатор  частной оценки; ИИО – индикатор итоговой оценки.

2 тип – это, в котором реализована нечёткая система, предназначенный для формирования частной оценки за выполнение обучающимся k-ой операции деятельности на тренажёре, имеющей линейную характеристику, за счёт чего, с учётом параллельной работы с БНВ, в модели организована возможность одновременного получения комплексной и частных оценок, что делает процесс оценки «прозрачным», а значит, более эффективным при использовании её в САО перспективных тренажёров и КУТС. Структурно блоки типа  входят в блок формирования частных оценок с использованием БНВ.

Математическое описание формульной зависимости процесса формирования частной оценки для данного блока имеет вид

 

                                       (2)

 

3 тип – это , предназначенный для формирования оценочных показателей «0» или «1» за совершение или несовершение обучающимся ошибок при выполнении действий на тренажёре СТС и определяющих выставление неудовлетворительной итоговой оценки за упражнение в целом.

Структурно блоки типа  входят в блок оценки фактов выполнения (невыполнения) операций, оценки с выхода которого транслируются на блок умножения, выполняющий в модели операцию умножения. Математическое описание  процесса формирования частных оценок  имеет вид

 

.                                         (3)

 

4 тип – это, на котором формируются оценочные показатели типа «–1» или «0» с последующей трансляцией полученного в результате выполнения операции боевой работы результата на соответствующий блок вычисления суммы. Этот блок предназначен для формирования оценки за выполнение (невыполнение) k-ой операции деятельности обучающегося на тренажёре и в случае получения отрицательного результата организует снижение итоговой оценки за выполнение упражнения в целом на 1 балл. Математическое описание   имеет вид

 

.                                            (4)

 

Частные оценки контролируются на ИЧО. Значения входных переменных – оценочные показатели для всех типов блоков формирования оценок поступают на них через МПВП для прохождения процедуры нормировки.

Комплексная оценка с блока БНВ через блоки вычисления суммы поступает на блок умножения, на котором формируется итоговая оценка обучающемуся за выполнение упражнения на тренажёре СТС, контролируемая на ИИО.

Итак, математическое описание итоговой оценки за выполнение обучающимся упражнения на тренажёре с учётом выражений (1)–(4) принимает вид

 

.

 

Таким образом, разработанная модель оценки деятельности специалистов СТС специального назначения позволяет получать итоговую, комплексную и частные оценки за выполнение конкретных операций (процедур) деятельности в различных комбинациях видов и режимов функционирования СТС с требуемой точностью, что делает возможным проведение в САО перспективных тренажёров и КУТС достаточно точного и эффективного анализа занятий и тренировок с обучающимися в целях повышения качества оценки их деятельности, а значит, и процесса подготовки учебных групп в целом. При этом создаётся возможность использования современных тренажёров и КУТС эргатических СТС специального назначения, способных автоматизировано, на новом качественном уровне, оценивать результаты деятельности обучающихся в ходе всего цикла подготовки с возможностью дифференцированного и гибкого подхода к одиночным специалистам, а в дальнейшей перспективе к проведению тренажей в целом с учебной группой.

 

Литература

 

1. Андреев С. Г. Модель оценки боевой работы стрелков-зенитчиков на тренажёрах ПЗРК с использованием нечётких экспертных систем: дис. канд. техн. наук 20.02.12 защищена 26.06.2009 г. / Станислав Геннадьевич Андреев; ВА ВПВО ВС РФ, инв. № 20483. – Смоленск, 2009. – 219 с.

2. Андреев С. Г., Герасимов О. В. Анализ процесса боевой подготовки личного состава подразделений войсковой ПВО, вооружённых ЗРК ближнего действия. Статья. – Смоленск: ВА ВПВО ВС РФ. Научные труды академии, выпуск 16, 2007. – с. 24–27.

3. Круглов В. В., Борисов В. В. Гибридные нейронные сети. – Смоленск: Русич, 2001. – 224 с.

4. Усков А. А., Кузьмин А. В. Интеллектуальные технологии управления. Искусственные нейронные сети и нечёткая логика. – М.: Горячая линия – Телеком, 2004. – 143 с.

 

ACTIVITY  EVALUATION  OF  SPECIALISTS  IN  COMPLEX  SPECIAL PURPOSE  ENGINEERING  SYSTEMS  USING  UNPRECISE  EXPERT  SYSTEMS

 

Gerasimov O. V., Andreev S. G., Semenko I. B.

 

Present work provides structure and content of unprecise activity assessment model of specialists operating with complex special purpose engineering systems. System developed with usage of MATLAB computer modeling system on the basis of Simulink and Fuzzy Logic Toolbox packages with the intention to be used in software of automated evaluation systems for simulators and training facilities. The purpose is to increase assessment objectiveness of specialists operating with them.

Key words: technical system, estimation, specialist, ill-defined model.

 

Академия войсковой ПВО Вооруженных Сил РФ

им. Маршала Советского Союза А. М. Василевского, г. Смоленск

ОАО «Завод имени Дегтярёва», г. Ковров

Поступила в редакцию 17.11.2009.