Пример применения машинного обучения в медицинской диагностике

Чтобы продемонстрировать возможности высоких технологий в области робастого искусственного интеллекта, попробуем решить с помощью LibVMR задачу из репозитория uci.edu под названием Acute Inflammations. См. http://archive.ics.uci.edu/ml/datasets/Acute+Inflammations

Три поколения алгоритмов машинного обучения

Искусственный нейрон впервые был описан психологами из США Уоренном Мак-Маккалоком и Вальтером Питсом в статье: McCulloch W.S., Pitts W. A logical Calculus of Ideas Immanent in Nervous Activity — Bull. Mathematical Biophysics, 1943

Первое поколение алгоритмов машинного обучения

Однако, несмотря на то, что предполагались предпосылки применения искусственных нейронов для логических вычислений, каких либо результатов добиться не удавалось до до тех пор пока канадский нейрофизиолог не разработал дельта-правило самообучения с подкреплением для искусственного нейрона, опубликованное в статье: Hebb, D. O. The organization of behavior: a neuropsychological theory. - John Wiley & Sons, New York, 1949

ТОСАМО

Данный блог будет постепенно раскрывать основы "Теории обобщающей способности алгоритмов машинного обучения" (ТОСАМО). Однако, записи в блоге будут посвящены не только теории, но и практической части. А именно теоретическая часть будет сопровождаться и прикладной в виде реализации с помощью технологии Java в виде библиотеки LibVMR (библиотека векторной машины Решетова), а также испытаниям на прикладных примерах (больших и малых данных), взятых из различных репозиториев.

Основные положения теории обобщающей способности:

1. Алгоритм машинного обучения, обладающий обобщающей способностью, невозможно переобучить. Т.е. проблема переобучения для таких алгоритмов отсутствует, а потому теорией обобщающей способности даже не рассматривается (для переобучающихся алгоритмов есть теория распознавания образов и статистическая теория обучения, разработанные Владимиром Вапником и Алексеем Червоненкисом).
2. Алгоритм машинного обучения, обладающий обобщающей способностью, можно только недообучить.
3. Причиной недообучения алгоритмов обладающих обобщающей способностью является непредставительная обучающая выборка.
4.  Обучающая выборка может быть непредставительной из-за того, что в ней недостает необходимого и достаточного для полного обучения: значимых факторов или обучающих  примеров или  степеней свободы для значимых факторов.
5. Алгоритмы машинного обучения, обладающие обобщающей способностью, игнорируют избыточные факторы, обучающие примеры и степени свободы для факторов, если обучающая выборка представительна.

Векторная машина Решетова (VMR) - это алгоритм машинного обучения для одного искусственного нейрона, как и SVM, но в отличие от машины опорных векторов, обладающий обобщающей способностью.

Как отличить алгоритм обладающий обобщающей способностью от алгоритма с переобучением? Для этого нужно взять большую представительную выборку и разделить её на две части: обучающую с достаточным для полного обобщения количеством примеров и тестовую. После чего добавить в обе части непредставительные факторы со случайными значениями и избыточные степени свободы, например, с помощью ядерных преобразований. Обучаем алгоритм на первой части выборки. Если алгоритм обладает обобщающей способностью, то его результативность на тестовой части выборки не ухудшится. Если алгоритм склонен к переобучению, то будет заметно значительное ухудшение его обобщающей способности на тестовой части выборки.

Впрочем, даже если обучающая часть выборки не является полностью представительной, то увеличение степеней свободы в случае обучения на ней алгоритма обладающего обобщающей способностью может привести к увеличению результативности на тестовой части. В случае обучения  переобучающегося алгоритма на обучающей части выборки, даст заметное ухудшение обобщающей способности на тестовой части.

Таким образом, разделив выборку на две части: обучающую и тестовую и обучив на первой части выборки алгоритм машинного обучения, обладающий  обобщающей способностью, можно определить насколько представительна обучающая часть выборки.