Диссертационная работа:

Кобяков Павел Владимирович. Измерение параметров динамических систем на основе искусственных нейронных сетей, использующих алгоритм Калмана : Дис. ... канд. техн. наук : 05.11.16 : Санкт-Петербург, 2004 201 c. РГБ ОД, 61:04-5/3658

Введение 7

1 Измерение параметров объектов с помощью нейросетевого моделирования 12

1.1 Задачи измерения параметров динамических объектов . 12

1.1.1 Пример объекта - процесс метаболизма глюкозы в человеческом организме 14

1.2 Применение моделей динамических объектов в измерительных приложениях 18

1.2.1 Моделирование в статических режимах 18

1.2.2 Динамические модели объектов 20

1.2.3 Моделирование в условиях недостаточной информации 21

1.2.4 Моделирование с использованием нейронных сетей . 22

1.3 Применение нейронных сетей для моделирования динамических систем 24

1.4 Алгоритмы обучения динамических нейронных сетей . 34

1.5 Нейронные сети и интеллектуальные измерительные системы 37

1.5.1 Интеллектуальные измерительные системы на основе нейронных сетей 39

1.5.2 Нейронные сети и классические вычислительные методы 40

1.6 Постановка задачи диссертации 42

2 Развитие методик измерений, основанных на применении динамических нейронных сетей 45

2.1 Разработка методики измерения параметров линейных дина мических систем по неполному вектору состояния 45

2.1.1 Измерение параметров линейных динамических систем по неполному вектору состояния 46

2.1.2 Моделирование измерений параметров линейных динамических систем 49

2.2 Разработка методики измерения параметров линеаризован ных нелинейных динамических систем по неполному вектору состояния 53

2.2.1 Измерение параметров линеаризованных нелинейных динамических систем по неполному вектору состояния 53

2.2.2 Моделирование измерения параметров нелинейных линеаризованных динамических систем 61

2.3 Разработка методики измерения параметров нелинейных ди намических систем по неполному вектору состояния 63

2.3.1 Измерение параметров нелинейных динамических систем по неполному вектору состояния 63

2.3.2 Моделирование измерений параметров нелинейны динамических систем 65

2.4 Исследование зависимости точности измерений от парамет ров нейросетевой модели 68

2.4.1 Исследование зависимости точности измерений от количества непосредственно измеряемых компонент вектора состояния 68

2.4.2 Исследование зависимости точности измерений от длины входной линии задержки 72

2.5 Выводы по главе 2 78

Применение и совершенствование алгоритма обучения динамических нейронных сетей, основанного на теории филь тров Калмана 81

3.1 Теория фильтров Калмана 81

3.1.1 Фильтр Калмана для одномерной величины 83

3.1.2 Фильтр Калмана для динамических систем 88

3.1.3 Фильтр Калмана для нелинейных динамических систем 89

3.2 Обучение динамических сетей с использованием фильтров Калмана 90

3.2.1 Вычислительная сложность 93

3.3 Анализ классических алгоритмов обучения нейронных сетей и алгоритма обучения, основанного на теории фильтров Кал мана 94

3.3.1 Условия эксперимента 95

3.3.2 Результаты 95

3.4 Применение сетей Калмана для построения измерительных систем 97

3.5 Разработка методики увеличения скорости сходимости алгоритма Калмана 99

3.6 Выводы по главе 3 103

Разработка методики оценки погрешностей в измеритель ных системах, использующих динамические нейронные се ти 106

4.1 Анализ и моделирование погрешности стандартного нейрона 106

4.1.1 Нелинейный преобразователь 108

4.1.2 Сумматор 108

4.1.3 Учет собственных погрешностей элементов нейрона . 109

4.1.4 Моделирование погрешности стандартного нейрона . 111

4.2 Анализ и моделирование погрешности нейронной сети прямого распространения 117

4.3 Разработка методики оценки погрешности рекуррентной нейронной сети 121

4.4 Исследование влияния алгоритма обучения на погрешность нейронной сети 123

4.5 Выводы по главе 4 126

Система неинвазивного косвенного измерения уровня глю козы крови 128

5.1 Задача неинвазивного косвенного измерения уровня глюкозы крови 128

5.2 Система неинвазивного косвенного измерения уровня глюкозы крови 131

5.2.1 Аппаратная реализация 132

5.2.2 Алгоритмы обработки данных 135

5.2.3 Предварительная обработка входных данных 137

5.2.4 Архитектура нейронной сети 141

5.3 Сравнительный анализ экспериментальных данных 143

5.3.1 Результаты сравнительного тестирования нейросетеых моделей 147

5.3.2 Результаты испытаний для моделей ЕМ, WB и NN . 148

5.3.3 Результаты испытаний модели NN-K 149

5.4 Система неинвазивного косвенного определения уровня глю козы крови по параметрам термочувствительности 151

5.4.1 Предварительная обработка данных 152

5.4.2 Архитектура нейронной сети 153

5.4.3 Анализ экспериментальных данных 153

5.5 Выводы по главе 5 154

Заключение 157

Литература 159

Приложения 174

Приложение 1. Фрагменты исходных текстов программы реализа ции алгоритма обучения Кал мана 175

Приложение 2. Экспериментальные данные для системы неинва- зивного определения уровня глюкозы 189 

В настоящее время особенно актуальным является применение информационных систем в задачах измерения и контроля свойств сложных объектов, к числу которых относятся различные технологические процессы, производственные системы и комплексы, сети передачи информации, биометрические системы, а также все природные явления.

Модель сложного объекта можно представить как нелинейную динамическую систему, описываемую уравнениями состояния и измерения. В диссертации решается задача косвенного измерения параметров объекта в условиях неполной информации о векторе состояния.

В качестве конкретного примера изучаемого объекта рассматривается процесс метаболизма глюкозы в крови человека. Для данного процесса не существует полной аналитической модели, хотя известны многие параметры, влияющие на метаболизм глюкозы.

Для класса полностью управляемых сложных объектов недоступность параметров состояния не всегда является проблемой, так как модель объекта может быть построена по управляющим воздействиям (в случае их доступности). В случае частично управляемого объекта некоторые параметры состояния не поддаются внешнему контролю.

Для проведения измерений в условиях неполного вектора состояния объекта в общем случае требуется методика для оценки требуемых параметров с помощью построения модели объекта. Одним из перспективных подходов к построению моделей является использование теории нейронных сетей.

Нейронные сети применяются для построения моделей в измерительных приложениях достаточно давно. Однако, такие вопросы как оптималь ный выбор архитектуры нейронной сети, выбор алгоритма обучения и исследование метрологических характеристик неиросетевых моделей остаются открытыми.

Диссертационная работа посвящена разработке методов, алгоритмов и программных средств, предназначенных для обработки информации в рамках измерительной системы, для решения задачи проведения косвенных измерений параметров нелинейных локально-стационарных динамических систем дискретного времени при условии не полностью доступного вектора состояния.

Решение этой задачи связано с выполнением следующих этапов исследования:

1. Анализ и теоретическое обоснование возможности проведения измерений в условиях неполного вектора состояния.

2. Разработка метода измерений, основанного на моделировании исследуемой динамической нелинейной системы с применением темпоральных (динамических) нейронных сетей.

3. Исследование архитектур и алгоритмов обучения динамических нейронных сетей для определения модели сети и алгоритма, максимально отвечающих требованиям измерительной системы.

4. Разработка,метода оценки погрешностей выходных сигналов нейро-сетевой модели для обоснования возможности использования нейронной сети и осуществления мониторинга погрешностей в процессе функционирования системы.

5. Применение разработанных методов для построения системы неин-вазивного косвенного определения уровня глюкозы крови.

В диссертационной работе представлены следующие новые научные результаты:

1. Систематизация архитектур динамических нейронных сетей, применяемых для обработки динамических данных.

2. Метод проведения измерений в условиях неполного измеряемого вектора состояния системы, основанный на моделировании системы с помощью динамической нейронной сети.

3. Экспериментальное обоснование наибольшей эффективности алгоритма обучения нейронной сети, основанного на теории фильтров Калмана, для решения задачи моделирования изучаемых систем.

4. Уточнение и расширение формул коррекции параметров обучения в алгоритме обучения нейронной сети, основанном на теории фильтров Калмана.

5. Метод оценки погрешностей выходных сигналов нейросетевой модели исследуемой системы.

Практическую значимость диссертационной работы составляют:

1. Алгоритм обработки данных в системе неинвазивного измерения глюкозы крови человека на основе моделирования с использованием нейронной сети и алгоритма Калмана.

2. Программное обеспечение для исследования возможностей нейросе-тевого моделирования нелинейных динамических систем с применением алгоритма обучения Калмана, предназначенное для работы в среде Matlab 6.1, включая реализацию алгоритма обучения Калмана на языке Matlab.

3. Программное обеспечение, реализующее алгоритм обучения Калмана и алгоритм оценки погрешностей, для применения в составе системы неинвазивного косвенного измерения уровня глюкозы крови, разработанное на языке C++.

На защиту выдвигаются следующие положения:

1. Метод проведения измерений в условиях неполного измеряемого вектора состояния системы, основанный на моделировании системы с помощью динамической нейронной сети с использованием алгоритма Калмана.

2. Методика коррекции параметров скорости обучения алгоритма Калмана.

3. Методика оценки погрешностей выходных сигналов нейросетевой модели в реальном времени.

Основной материал диссертации изложен в пяти главах.

В первой главе диссертации проанализированы задачи обработки информации, решаемые в рамках систем измерения параметров сложных объектов. Рассмотрены основные модели динамических систем, применяемые в измерительных приложениях. Поставлена задача измерения параметров объектов по неполному вектору состояния. Эффективное решение данной задачи может быть реализовано с помощью моделирования с применением динамических (темпоральных) нейронных сетей. Систематизированы существующие архитектуры динамических нейронных сетей, рассмотрены основные алгоритмы обучения. В заключительной части главы 1 приведена формальная постановка задачи диссертации.

Вторая глава посвящена разработке и исследованию методов измерения параметров сложных объектов по неполному вектору состояния. Предложены алгоритмы проведения измерений для линейных, нелинейных линеаризованных и нелинейных динамических систем по неполному вектору состояния. С помощью моделирования исследованы зависимости погрешности от количества непосредственно измеряемых компонент вектора состояния и от параметров нейронной сети. • В третьей главе рассматривается алгоритм обучения нейронных се тей; основанный на теории фильтров Калмана. Рассмотрен классический • фильтр Калмана для линейной динамической системы, а также его расширение для случая нелинейной динамической системы. Проанализировано применение фильтра Калмана к задаче обучения нейронной сети с учителем. Приведены результаты сравнительного моделирования, демонстрирующие превосходство алгоритма обучения Калмана над стандартными алгоритмами обучения нейронных сетей. Предложена усовершенствованная методика изменения параметров обучения алгоритма Калмана, позволяющая увеличить скорость сходимости алгоритма.

В четвертой главе предложен и исследован метод оценивания погрешностей выходных сигналов нейросетевой модели. Метод позволяет оценивать погрешность выходных сигналов нейронной сети при известных погрешностях входных сигналов. Метод основывается на вычислении оценки погрешности стандартного нейрона. Погрешность выходных сигналов нейронной сети вычисляется с помощью последовательного вычисления погрешностей отдельных нейронов. Приведены результаты моделирования оценки выходной погрешности. Показано, что алгоритм обучения Калмана обеспечивает меньшую погрешность выходных сигналов сети за счет более компактного диапазона изменения весовых коэффициентов.

Пятая глава содержит результаты применения разработанных в диссертации методов и алгоритмов при разработке системы неинвазивного косвенного измерения уровня глюкозы крови. Приводится описание аппаратной реализации системы и использованных алгоритмов обработки данных. Параллельно с нейросетевой моделью процесса метаболизма глюкозы изучались водобалансная и феноменологическая модели. Приведены результаты тестирования системы, выполненного для данных 94 волонтеров. Ней-росетевая модель, использующая алгоритм обучения Калмана, позволила добиться снижения погрешности на 1-3% по сравнению с наиболее точной из альтернативных моделей.

В заключении приведены основные научные и практические результаты, полученные вдиссертации,