Математическая морфология.
Электронный математический и
медико-биологический журнал. - Т. 10. -
Вып. 2. - 2011. - URL:
http://www.smolensk.ru/user/sgma/MMORPH/TITL.HTM
http://www.smolensk.ru/user/sgma/MMORPH/N-30-html/TITL-30.htm
http://www.smolensk.ru/user/sgma/MMORPH/N-30-html/cont.htm
УДК
004.032.26
Способ
формирования «модифицированной целевой матрицы» для нейросетевого
классификатора с целью повышения эффективности распределения объектов
Ó 2011 г. Перехожев В. А.
В статье рассмотрены способы построения
целевых массивов данных для целевых массивов нейросетевых классификаторов.
Предлагается использовать при обучении нейросетевых классификаторов
«модифицированную целевую матрицу», состоящую из «матриц схожести классов».
Ключевые
слова:
способ, распознавание, целевые массивы, матрицы
схожести классов.
В
настоящее время при построении систем классификации объектов наряду с классическими
методами стали широко использоваться нейронные сети (НС). Поэтому, совершенствование
способов применения НС при построении нейросетевых классификаторов с целью
повышения вероятности разделения объектов на классы является актуальной задачей
научных исследований.
К
основным преимуществам использования нейросетевых технологий можно отнести:
возможность
воспроизводить сложные нелинейные зависимости, не поддающиеся аналитическому
описанию, при ограниченном количестве априорных данных об исследуемом объекте;
возможность
преодоления «проклятия размерности», обусловленного тем, что моделирование
нелинейных явлений аналитическими методами в случае большого числа переменных
требует огромного количества вычислительных ресурсов;
использование
при подготовке НС алгоритмов обучения и самообучения;
высокое
быстродействие, обусловленное параллельной обработкой информации на большом
количестве однотипных маломощных вычислительных элементов [1].
Использование
НС широко описано в ряде публикаций [1,2,3,4,5,6]. Основные преимущества НС
являются прямым следствием возможности параллельной обработки информации и
способности НС обучаться (самообучаться), т.е. производить обобщение информации.
Поэтому применительно к НС удобнее оперировать понятием обобщающая способность
нейронной сети. Одной из ключевых проблем в теории обучения НС является определение
оптимального способа управления обобщающей способностью НС.
Модель
обучения НС состоит из трех взаимосвязанных компонентов. В математических
терминах они описываются следующим образом:
1)
Среда. Она представляет собой z векторов x, с фиксированной, но неизвестной функцией
распределения вероятности F(x);
2)
Учитель. Учитель генерирует z желаемых откликов d для каждого из входных векторов x, полученных из внешней среды, в
соответствии с условной функцией распределения F(x/d). Желаемый отклик d и входной вектор x связаны следующей функциональной зависимостью:
, (1)
где υ – шум, т.
е. изначально предполагается «зашумленность» данных учителя;
3)
Обучаемая машина. Нейронная сеть способна
реализовать множество функций отображения «вход – выход», описываемых следующей
формулой:
,
(2)
где y – фактический отклик, генерируемый
обучаемой машиной в ответ на входной сигнал x; w – набор свободных параметров
(синаптических весов), выбранных из пространства параметров W, соответствующего нейронной сети
заданной архитектуры и выбранным параметрам ее настройки.
Задача
состоит в выборе (построении) конкретной функции F(x,w),
которая оптимально аппроксимирует ожидаемый отклик d. Выбор, в свою очередь, основывается на
множестве S
независимых, равномерно распределенных примеров обучения T, описываемых функциональной
зависимостью:
(3)
Каждая
пара выбирается машиной из множества T с некоторой обобщенной функцией распределения
вероятности FX,D(x,d). Принципиальная возможность обучения с
учителем зависит от ответа на следующий вопрос: содержат ли примеры из обучающего
множества 
достаточно информации для создания обучаемой машины
обладающей хорошей обобщающей способностью [6]?
Если
создание обучающей базы данных (составления совокупности векторов x), при рассмотрении задачи обучения с учителем,
зависит от количества и качества априорной информации, то массив откликов d формируется разработчиком классификатора
в соответствии с определяемым количеством классов [3,4].
Существуют
различные способы построения обучающих и целевых матриц. В работах [2,3,4,5]
предлагается следующий подход к формированию баз данных для обучения НС. На
вход НС подают K предварительно сформированных векторов, состоящих из совокупности
нормированных цифровых значений используемых признаков, по B для каждого
распознаваемого класса. Например, при распознавании пяти классов воздушных
объектов (ВО) K=5B. Число векторов в обучающем массиве для каждого ВО
выбирается с учетом необходимости обучения ИНС на максимально возможном числе совокупностей
используемых признаков одного ВО при различных ракурсах локации, а также с
учетом вычислительных возможностей конкретного нейрочипа. Вместе с обучающим
массивом векторов совокупности используемых признаков, на этапе подготовки НС,
предъявляются целевые вектора. Число целевых векторов совпадает с числом
векторов совокупности используемых признаков. Целевые вектора являются
двоичными, т.е. состоят из единиц и нулей. Число элементов каждого из K целевых
векторов совпадает с числом классов. Причем структура целевых векторов для каждого
из классов одинакова. Например, при классификации пяти классов ВО и наличии для
каждого класса 1000 обучающих векторов общее число векторов обучения и целевых
векторов составит по 5000. Для первого класса, целевые вектора будут иметь
структуру вида «1 0 0 0 0», для второго класса – «0 1 0 0 0» и т. д.
Структура целевой матрицы представлена на рисунке
1(а). При предъявлении сети обучающих и целевых векторов в ИНС начинается
формирование матрицы весовых коэффициентов таким образом, чтобы при подаче на
ее вход вектора совокупности используемых признаков одного из L классов на ее
выходе сформировался двоичный вектор максимально близкий к целевому вектору
именно этого класса.
Рисунок
1 – Структура модифицированной целевой матрицы а) типовая целевая матрица
б) модифицированная целевая матрица
Функции
распределения значений признаков разных классов пересекаются в различной
степени. И разумно предполагать, что некоторые обучающие вектора принадлежащие
к разным классам, имеют схожую структуру (по характеристикам используемых признаков).
В процессе обучения они могут иметь взаимоисключающие целевые вектора, которые
не учитывают степень «схожести» обучающих векторов. Можно заключить, что еще в
процессе обучения вносится шум (υ), т.е. изначально производится
запланированное «зашумление» данных учителя. Это не может не влиять на качество
обучения НС и на конечный результат (правильную классификацию объектов с заданной
вероятностью).
Для
устранения данного влияния предлагается формировать «модифицированную целевую
матрицу». Модифицированная целевая матрица состоит из L «матриц схожести классов» (по количеству
классов), каждая из которых формируются специально обученной НС. Для
формирования каждой из «матриц схожести» предлагается использовать НС одинаковой
архитектуры.
Для
формирования «матрицы схожести» первого класса, производится обучение НС
выбранной архитектуры обучающими матрицами остальных классов без обучающей матрицы
первого класса. После обучения данной НС на нее подается обучающая выборка первого
класса. Обучающая выборка первого класса является для данной сети неизвестной.
Обученная сеть формирует матрицу решений (откликов), в которой для каждого из
классов, участвовавших в обучении, видна степень схожести с первым классом.
Формируется
первая составная часть «модифицированной целевой матрицы». Количество столбцов
равно количеству обучающих векторов первого класса, а количество строк –
количеству определяемых классов. Первая строка, соответствующая первому классу,
заполняется единицами, а остальные строки формируются с помощью «матрицей схожести»
первого класса. Таким образом, получается первая из L частей модифицированной целевой матрицы.
Затем подготавливаются остальные части «модифицированной целевой матрицы».
После формирования «модифицированной целевой матрицы» происходит обучение НС
выбранной архитектуры. Структура модифицированной целевой матрицы представлена
на рисунке 1(б).
Для
проверки эффективности и целесообразности использования «модифицированной
целевой матрицы» было проведено исследование методом математического моделирования.
Была составлена обучающая база данных с условным разделением на семь классов.
Количество используемых признаков в каждом обучающем векторе было равно трем. Общее
количество обучающих векторов было равно 825564.
Архитектура
нейронной сети: трехслойная сеть с прямой передачей сигнала; первый (входной)
слой – 3 нейрона, функция активации 'tansig'; второй (скрытый) слой – 7 нейронов,
функция активации 'purelin'; третий (выходной) слой – 7 нейронов функция активации
'tansig'; диапазон изменения входных значений от 0 до 1; критерии обучения (параметры,
при достижении заданного значения которых прекращается обучение нейронной
сети) – mse
(среднеквадратичная ошибка) и количество эпох обучения.
Обучение
указанной НС производилось двумя способами: с использованием одного из известных
способов построения целевой матрицы (рис. 1, а); с использованием модифицированной
целевой матрицы (рис.1, б).
После
обучения по каждому их вариантов НС выбранной архитектуры производилась
классификация ВО на основе тестовой базы данных. Тестовая база данных состояла
из 7000 тестовых векторов (по 1000 для каждого класса). Промежуточные данные
характеристик обучения и результаты классификации приведены в таблице 1.
Таблица 1.
Промежуточные данные характеристик обучения и результаты классификации
|
|
Количество «эпох»
обучения |
mse в
конце обучения |
Pср.
расп. (средняя
вероятность правильного распознавания 7 классов) |
|
Нейронная
сеть обученная по варианту (а) |
10000 |
0,4689 |
0,46189 |
|
Нейронная
сеть обученная по варианту (б) |
10000 |
0,2903 |
0,52614 |
Результаты
математического моделирования подтвердили повышение вероятности правильной
классификации объектов при обучении нейросетевого классификатора на основе
модифицированной целевой матрицы. Средняя вероятность правильной классификации
повысилась на 13%. Это подтверждает целесообразность использования
предложенного способа для формирования целевых баз данных и последующего
обучения нейросетевых классификаторов.
Литература
1. Медведев В. С., Потемкин В. Г. Нейронные сети MATLAB
6. М., Диалог МИФИ, 2002. 496 с.
2. Татузов А. Л. Нейронные сети в задачах радиолокации.
М., Радиотехника, 2009. С. 310–318.
3. Патент на полезную модель № 77980. МПК7 G 01 S 13/90. Радиолокационная станция с инверсным
синтезирование апертуры и двухуровневым нейросетевым распознаванием целей.
Митрофанов Д. Г., Сафонов А. В., Гаврилов А. Д., Бортовик В. В.,
Прохоркин А.Г. Заявка № 2008126417 от 1.07.2008. Опубликовано 10.11.2008. Бюлл.
№ 31.
4. Патент на полезную модель № 91185. МПК7 G 01 S 13/90. Устройство двухуровневого нейросетевого
распознавания воздушных объектов по совокупности признаков. Перехожев В. А.,
Митрофанов Д. Г., Сафонов А. В., 2009125287 от 02.07.2009 г. Опубликовано
27.01.2010. Бюл. №3.
5. Круглов В.В. Нейро-нечеткие методы классификации. –
М.: Горячая линия – Телеком, 2004.С. 5–105.
6. Саймон Хайкин. Нейронные сети
полный курс. Москва, Санкт-Перпербург, Киев., Издательский дом «Вильямс», 2006.
1103 с.
Method formed a «modified target matrix» for neural
network classifier with the aim of improving the effectiveness of objects
distribution
Perehozhev V. A.
In the given work are
considered a various ways of construction of target files data for neural
network classifiers. Offered to use a modified target matrix at training of
neural network classifiers, consisting of «matrixes of similarity of classes».
Key words: Way, recognition, target files, matrixes of
similarity of classes.
Военная академия войсковой ПВО Вооруженных Сил Российской Федерации
имени Маршала
Советского Союза А.М. Василевского
(ВА ВПВО ВС РФ)
Поступила в редакцию 21.02.2011