Balog Ltd.

Функции активации в нейронных сетях 2

balvt — Sun, 18 Nov 2012 21:07:10 GMT

3. Сигмоидальная функция или сигмоид

Монотонно возрастающая всюду дифференцируемая -образная нелинейная функция с насыщением. Сигмоид позволяет усиливать слабые сигналы и не насыщаться от сильных сигналов. Гроссберг (1973 год) обнаружил, что подобная нелинейная функция активации решает поставленную им дилемму шумового насыщения.

Слабые сигналы нуждаются в большом сетевом усилении, чтобы дать пригодный к использованию выходной сигнал. Однако усилительные каскады с большими коэффициентами усиления могут привести к насыщению выхода шумами усилителей, которые присутствуют в любой физически реализованной сети. Сильные входные сигналы в свою очередь также будут приводить к насыщению усилительных каскадов, исключая возможность полезного использования выхода. Каким образом одна и та же сеть может обрабатывать как слабые, так и сильные сигналы?

Примером сигмоидальной функции активации может служить логистическая функция, задаваемая следующим выражением:

где – параметр наклона сигмоидальной функции активации. Изменяя этот параметр, можно построить функции с различной крутизной.

Примером сигмоидальной функции активации является гиперболический тангенс, задаваемая следующим выражением:

где – это также параметр, влияющий на наклон сигмоидальной функции.

В заключение отметим, что функции активации типа единичного скачка и линейного порога встречаются очень редко и, как правило, используются на учебных примерах. В практических задач почти всегда применяется сигмоидальная функция активации.

Функции активации в нейронных сетях 1

balvt — Sun, 18 Nov 2012 21:05:42 GMT

Для того, чтобы определиться с условными обозначениями, приведем ниже следующую модель нейрона:

Функция активации (активационная функция, функция возбуждения) – функция, вычисляющая выходной сигнал искусственного нейрона. В качестве аргумента принимает сигнал , получаемый на выходе входного сумматора . Наиболее часто используются следующие функции активации.

1. Единичный скачок или жесткая пороговая функция

Простая кусочно-линейная функция. Если входное значение меньше порогового, то значение функции активации равно минимальному допустимому, иначе – максимально допустимому.

2. Линейный порог или гистерезис

Несложная кусочно-линейная функция. Имеет два линейных участка, где функция активации тождественно равна минимально допустимому и максимально допустимому значению и есть участок, на котором функция строго монотонно возрастает.

Модель нейрона

balvt — Sun, 18 Nov 2012 14:47:35 GMT

Нейрон представляет собой единицу обработки информации в нейронной сети. На рисунке ниже приведена модель нейрона, лежащего в основе искусственных нейронных сетей.

В этой модели нейрона можно выделить три основных элемента:

синапсы, каждый из которых характеризуется своим весом или силой. Осуществляют связь между нейронами, умножают входной сигнал на весовой коэффициент синапса , характеризующий силу синаптической связи;
сумматор, аналог тела клетки нейрона. Выполняет сложение внешних входных сигналов или сигналов, поступающих по синаптическим связям от других нейронов. Определяет уровень возбуждения нейрона;
функция активации, определяет окончательный выходной уровень нейрона, с которым сигнал возбуждения (торможения) поступает на синапсы следующих нейронов.

Модель нейрон имитирует в первом приближении свойства биологического нейрона. На вход искусственного нейрона поступает некоторое множество сигналов, каждый из которых является выходом другого нейрона. Каждый вход умножается на соответствующий вес, пропорциональный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона.

Хотя сетевые парадигмы весьма разнообразны, в основе почти всех их лежит эта модель нейрона. Здесь множество входных сигналов, обозначенных поступает на искусственный нейрон. Эти входные сигналы, в совокупности обозначаемые вектором , соответствуют сигналам, приходящим в синапсы биологического нейрона. Каждый сигнал умножается на соответствующий вес и поступает на суммирующий блок, обозначенный . Каждый вес соответствует «силе» одной биологической синаптической связи. Множество весов в совокупности обозначается вектором . Суммирующий блок, соответствующий телу биологического элемента, складывает взвешенные входы алгебраически, создавая выход . Далее поступает на вход функции активации, определяя окончательный сигнал возбуждения или торможения нейрона на выходе. Этот сигнал поступает на синапсы следующих нейронов и т.д.

Рассмотренная простая модель нейрона игнорирует многие свойства своего биологического двойника. Например, она не принимает во внимание задержки во времени, которые воздействуют на динамику системы. Входные сигналы сразу же порождают выходной сигнал. И, что более важно, данная модель нейрона не учитывает воздействий функции частотной модуляции или синхронизирующей функции биологического нейрона, которые ряд исследователей считают решающими.

Несмотря на эти ограничения, сети, построенные на основе этой модели нейрона, обнаруживают свойства, сильно напоминающие биологическую систему. Только время и исследования смогут ответить на вопрос, являются ли подобные совпадения случайными или следствием того, что именно в этой модели нейрона верно схвачены важнейшие черты биологического прототипа.

Нейронные сети

balvt — Sun, 18 Nov 2012 14:43:36 GMT

Нейронные сети – это одно из направлений исследований в области искусственного интеллекта, основанное на попытках воспроизвести нервную систему человека. А именно: способность нервной системы обучаться и исправлять ошибки, что должно позволить смоделировать, хотя и достаточно грубо, работу человеческого мозга.

Нейронная сеть

или нервная система человека – это сложная сеть структур человека, обеспечивающая взаимосвязанное поведение всех систем организма.

Биологический нейрон – это специальная клетка, которая структурно состоит из ядра, тела клетки и отростков. Одной из ключевых задач нейрона является передача электрохимического импульса по всей нейронной сети через доступные связи с другими нейронами. Притом, каждая связь характеризуется некоторой величиной, называемой силой синаптической связи. Эта величина определяет, что произойдет с электрохимическим импульсом при передаче его другому нейрону: либо он усилится, либо он ослабится, либо останется неизменным.

Биологическая нейронная сеть обладает высокой степенью связности: на один нейрон может приходиться несколько тысяч связей с другими нейронами. Но, это приблизительное значение и в каждом конкретном случае оно разное. Передача импульсов от одного нейрона к другому порождает определенное возбуждение всей нейронной сети. Величина этого возбуждения определяет реакцию нейронной сети на какие-то входные сигналы. Например, встреча человека со старым знакомым может привести к сильному возбуждению нейронной сети, если с этим знакомым связаны какие-то яркие и приятные жизненные воспоминания. В свою очередь сильное возбуждение нейронной сети может привести к учащению сердцебиения, более частому морганию глаз и к другим реакциям. Встреча же с незнакомым человеком для нейронной сети пройдет практически незаметной, а значит и не вызовет каких-либо сильных реакций.

Можно привести следующую сильно упрощенную модель биологической нейронной сети:

Каждый нейрон состоит из тела клетки, которое содержит ядро. От тела клетки ответвляется множество коротких волокон, называемых дендритами. Длинные дендриты называются аксонами. Аксоны растягиваются на большие расстояния, намного превышающее то, что показано в масштабе этого рисунка. Обычно аксоны имеют длину 1 см (что превышает в 100 раз диаметр тела клетки), но могут достигать и 1 метра.

В 60-80 годах XX века приоритетным направлением исследований в области искусственного интеллекта были экспертные системы. Экспертные системы хорошо себя зарекомендовали, но только в узкоспециализированных областях. Для создания более универсальных интеллектуальных систем требовался другой подход. Наверное, это привело к тому, что исследователи искусственного интеллекта обратили внимание на биологические нейронные сети, которые лежат в основе человеческого мозга.

Нейронные сети

в искусственном интеллекте – это упрощенные модели биологических нейронных сетей.

На этом сходство заканчивается. Структура человеческого мозга гораздо более сложная, чем описанная выше, и поэтому воспроизвести ее хотя бы более менее точно не представляется возможным.

У нейронных сетей много важных свойств, но ключевое из них – это способность к обучению. Обучение нейронной сети в первую очередь заключается в изменении «силы» синаптических связей между нейронами. Следующий пример наглядно это демонстрирует. В классическом опыте Павлова, каждый раз непосредственно перед кормлением собаки звонил колокольчик. Собака достаточно быстро научилась ассоциировать звонок колокольчика с приемом пищи. Это явилось следствием того, что синаптические связи между участками головного мозга, ответственными за слух и слюнные железы, усилились. И в последующем возбуждение нейронной сети звуком колокольчика, стало приводить к более сильному слюноотделению у собаки.

На сегодняшний день нейронные сети являются одним из приоритетных направлений исследований в области искусственного интеллекта.

Базы знаний

balvt — Fri, 21 Sep 2012 08:02:45 GMT

Знания в общеупотребительном смысле – это, с одной стороны, сведения, осведомленность в какой-либо области, с другой стороны – проверенный практикой результат познания действительности, ее «правильное» отражение в сознании человека. В соответствии с концепцией баз знаний, под термином знания в искусственном интеллекте понимают совокупность специализированных (ориентированных на решение многих задач из ограниченной предметной области) фактов, правил их обработки, условий применения правил к конкретным фактам, методов получения новых фактов и способов организации процесса логического вывода.

Знания отличаются от данных рядом существенных свойств:

единицей обрабатываемой информации является факт, а не запись данных;
знания обладают внутренней интерпретируемостью – понимание смысла, семантики информационных единиц обеспечивается внутри модели, а не только в сознании исследователя;
знания обладают активностью – появление новых фактов в системе приводит к инициации процедур, обрабатывающих уже известные системе факты, т. е. данные управляют программой;
знания обладают связностью – между фактами и правилами имеется возможность установления функциональных, каузальных, структурных, семантических отношений, отношений эквивалентности (подобия, тождества), противоположности и др.;
знания обладают структурированностью. Структурированность знаний проявляется при использовании отношений типа «элемент-класс» и «часть-целое» , что позволяет реализовать возможность вложения одних понятий в другие;
знания обладают семантической метрикой – отношение близости понятий, силы ассоциативной связи между ними. Ее наличие позволяет выделять информацию, относящуюся к типовым ситуациям, например, «выход из строя элемента системы», «блокировка пакетов» и т.п.;
знания обладают конвертируемостью представления. Конвертируемость представления – свойство изменять форму представления, уровень детализации и степень неопределенности информации о предметной области в процессе перехода к очередному этапу решения интеллектуальной задачи. Это свойство, в отличие от предыдущих, отражает динамичность знаний и связано с обучением системы.

Формально под фактом подразумевается запись:

" title="F~=~<~N,~V,~C,~L,~M>">

– имя или идентификатор факта;
– значение факта, определяемое на численной шкале с метрикой, логической, нечеткой или лингвистической шкалах;
– степень уверенности (от англ. certitude) в истинности значения;
– множество связей факта с другими знаниями;
– множество допустимых функций преобразований, операций, способов вычисления значения факта, имеющих смысл в рассматриваемой предметной области.

Другими словами, факт – это запись данных, наделенная семантикой.

Правилами в общем случае являются знания вида:

«Если X есть A, то Y есть B, иначе Y есть C»

Примером правила с четырьмя посылками и одним заключением может служить следующее высказывание, определяющее выбор версии СУБД:

ЕСЛИ
  колво_проц => 1
  и
  тактовая_частота_проц => 600
  и
  объем_НМЖД => 30
  и
  объем_ОП => 1024
ТО
  версия_oracle = 8.0

Условия применимости правил, а также знания относительно способов использования фактов и правил относятся к метазнаниям (знаниям о знаниях), которые необходимы для управления логическим выводом, пополнения знаний и т.п. Часто такие правила и способы являются эвристическими.

В общем виде система семантической обработки информации, основанная на концепции баз знаний, включает:

базу знаний, состоящую из базы фактов и правил как декларативной части, а также базы процедур и функций как процедурной части описания предметной области;
механизм логического вывода – высокоуровневый интерпретатор, обеспечивающий обработку фактов на основе правил и процедур формирования решений для задач пользователя;
интерфейс с пользователем на языке, близком к естественному;
базу целей, содержащую механизм целеполагания в рамках исследуемой предметной области и целевые установки самой системы.

В перспективе возможно дополнение системы другими элементами, например базой ресурсов, базой интуиции и т.п.

Концепция баз знаний, являясь логическим развитием монопольно-файловых систем и систем, основанных на концепции баз данных, создает предпосылки для расширения возможностей отображения закономерностей предметной области и получения новых знаний путем их вывода (манипулирования знаниями). При этом значительно ослабляется противоречие между «мягким», нечетко очерченным миром реальности и требованиями по «жесткому», формализованному представлению информации в ЭВМ.

В заключение отметим, что большинство исследователей искусственного интеллекта рассматривают задачу разработки моделей представления знаний как задачу программной реализации концепции баз знаний. Это означает, что модели представления знаний должны обладать всеми свойствами, присущими знаниям.