Машинное обучение является «крепким орешком» искусственного интеллекта. Важность машинного обучения велика, поскольку эта способность является одной из главных составляющих разумного поведения. Например, экспертная система может выполнять долгие и трудоемкие вычисления для решения проблем. Но, в отличие от человеческих существ, если дать ей такую же или подобную проблему второй раз, она не «вспомнит» решение. Она каждый раз вновь будет выполнять те же вычисления – едва ли это похоже на разумное поведение.

Большинство экспертных систем ограничены негибкостью их стратегий принятия решений и трудностью модификации больших объемов кода. Очевидное решение этих проблем – заставить программы учиться самим на опыте, аналогиях или примерах.

Хотя машинное обучение является трудной областью, существуют некоторые программы, которые опровергают опасения о ее неприступности. Одной из таких программ является АМ – Автоматизированный Математик, разработанный для открытия математических законов. Отталкиваясь от заложенных в него понятий и аксиом теории множеств, Математику удалось вывести из них такие важные математические концепции, как мощность множества, целочисленная арифметика и многие результаты теории чисел. Автоматизированный математик строил теоремы, модифицируя свою базу знаний, и использовал эвристические методы для поиска наилучших из множества возможных альтернативных теорем. Из недавних результатов в области машинного обучения можно отметить программу Коттоиа, которая изобретает «интересные» целочисленные последовательности.

К ранним трудам, оказавшим существенное влияние на область машинного обучения, относятся исследования Уинстона по выводу таких структурных понятий, как построение «арок» из наборов «мира блоков». Алгоритм ID3 проявил способности в выделении общих принципов из разных примеров. Система Meta-DENDRAL выводит правила интерпретации спектрографических данных в органической химии на примерах информации о веществах с известной структурой. Система Teiresias – интеллектуальный интерфейс для экспертных систем – преобразует сообщения на высокоуровнем языке в новые правила своей базы знаний. Программа Hacker в области исследований по машинному обучению отметилась тем, что могла строить планы для манипуляций в «мире блоков» посредством итеративного процесса выработки плана, его испытания и коррекции выявленных недостатков.

Говоря о машинном обучении нельзя не вспомнить о нейронных сетях. Ведь именно благодаря нейронным сетям было разработано множество различных алгоритмов машинного обучения, каждый из которых обладает своими сильными и слабыми сторонами.

Отметим, что сегодня известно много важных биологических и социологических моделей машинного обучения.

Успешность программ машинного обучения наводит на мысль о существовании универсальных принципов, открытие которых позволило бы конструировать программы, способные обучаться в реальных проблемных областях.