Как написать простую нейросеть на Python

В последние годы нейронные сети стали одним из наиболее популярных методов для решения различных задач, таких как классификация изображений, прогнозирование временных рядов, обработка естественного языка, генерация контента и т.д. Они «умеют» извлекать признаки из данных и на основе этих признаков принимать решения, что делает их особенно полезными в сфере искусственного интеллекта. 

Python является одним из самых популярных языков программирования для создания нейронных сетей, благодаря своей простоте и богатой экосистеме библиотек машинного обучения. В этой статье мы рассмотрим пошаговую инструкцию по созданию простой нейросети на Python, начиная с основных концепций нейронных сетей и заканчивая практическим созданием и обучением модели. 

Для дальнейшей работы у вас должны быть установлен Python (версии 3.5 и выше) и pip (обычно устанавливается с Python). Например, для установки на ОС Windows можно воспользоваться нашей инструкцией.

Основы нейронных сетей

В этом разделе мы расскажем основную информацию, связанную с нейронными сетями. А именно:

• Архитектура нейронных сетей: рассмотрим основные типы архитектур нейронных сетей, такие как перцептрон, сверточные и рекуррентные нейронные сети, а также их применение.
• Определение весов и смещений: рассмотрим, как нейронные сети извлекают признаки из входных данных, определяя веса и смещения, которые позволяют им делать выводы на основе этих признаков.
• Функции активации: рассмотрим различные функции активации, которые используются в нейронных сетях, и их роль в управлении выводом нейронов.
• Функции потерь и оптимизации: рассмотрим различные функции потерь, которые используются для измерения ошибки нейронной сети, а также различные методы оптимизации, которые используются для обновления весов и смещений нейронной сети в процессе обучения.

Архитектура нейронных сетей

Архитектура нейронных сетей описывает структуру нейронной сети и определяет, как она будет обрабатывать входные данные и выдавать выходные значения. Существует несколько типов архитектур нейронных сетей, каждый из которых предназначен для решения определенных задач.

Перцептрон

Перцептрон — это один из самых простых типов нейронных сетей, который состоит из одного или нескольких слоев нейронов. Каждый нейрон в перцептроне имеет свои веса и смещение, которые позволяют ему обрабатывать входные данные и выдавать выходные значения.

Перцептроны часто используются для задач классификации, таких как определение, является ли изображение котом или собакой.

Сверточные нейронные сети

Сверточные нейронные сети особенно хорошо подходят для обработки изображений. Они имеют несколько слоев, включая сверточные слои, пулинг слои и полносвязные слои.

Сверточные слои используются для извлечения признаков из изображений, пулинг слои уменьшают размерность выходных данных, а полносвязные слои используются для принятия окончательного решения на основе извлеченных признаков.

Рекуррентные нейронные сети

Рекуррентные нейронные сети – это тип нейронных сетей, который используется для работы с последовательными данными, такими как звуковые сигналы или текстовые данные. Рекуррентные слои в этих нейронных сетях позволяют нейронной сети запоминать информацию из предыдущих шагов и использовать ее для принятия решения на текущем шаге. Это позволяет рекуррентным нейронным сетям работать с данными разной длины и предсказывать последующие значения в последовательности.

Определение весов и смещений

Когда нейронная сеть получает на вход некоторые данные, она проходит через несколько слоев, состоящих из нейронов. Каждый нейрон обрабатывает данные и выдает некоторый результат, который передается следующему слою нейронов. Чтобы нейронная сеть могла правильно работать, ей необходимо научиться извлекать признаки из данных, то есть определять, какие входные значения наиболее важны для принятия решения.

Для этого каждый нейрон в нейронной сети имеет свой вес и смещение. Веса определяют, насколько каждый входной параметр важен для определения выхода нейрона, а смещение позволяет нейрону изменять свой выход в зависимости от входных данных.

В процессе обучения нейронная сеть корректирует значения весов и смещений таким образом, чтобы минимизировать ошибку на выходе. Для этого используются различные методы оптимизации, такие как стохастический градиентный спуск, а также различные функции потерь, которые позволяют измерить ошибку на выходе нейронной сети.

Функция активации

Функция активации играет ключевую роль в работе нейронной сети. Она применяется к выходу каждого нейрона и определяет, должен ли он быть активирован и передать свое значение на следующий слой нейронов.

Существует несколько типов функций активации, но одной из самых популярных является функция ReLU (Rectified Linear Unit). Она имеет вид f(x) = max(0, x) и позволяет нейрону передавать значение, если оно положительно, а иначе – передавать нулевое значение.

Другие функции активации, такие как сигмоида, также используются в нейронных сетях, но они менее эффективны, чем функция ReLU, особенно при работе с глубокими нейронными сетями.

При создании своей нейросети на Python необходимо выбрать подходящую функцию активации в зависимости от задачи, которую вы хотите решить. Кроме того, важно убедиться, что функция активации выбрана правильно, чтобы избежать проблем, таких как затухание градиента.

Функции потерь и оптимизация

После выбора функции активации необходимо выбрать функцию потерь, которая будет измерять ошибку нейронной сети в процессе обучения. Функция потерь должна быть выбрана в зависимости от задачи, которую вы хотите решить. Например, для задачи классификации могут быть использованы функции потерь, такие как кросс-энтропия или среднеквадратичная ошибка.

Кроме того, необходимо выбрать метод оптимизации для обучения нейронной сети. Оптимизатор используется для изменения весов нейронной сети в процессе обучения, чтобы минимизировать функцию потерь. Один из наиболее популярных оптимизаторов — это алгоритм стохастического градиентного спуска (SGD). Он обновляет веса нейронной сети в направлении, противоположном градиенту функции потерь.

Существуют и другие методы оптимизации, такие как Adam и Adagrad, которые могут быть более эффективны в некоторых случаях. При выборе оптимизатора также следует учитывать задачу и характеристики данных.

Выбор правильной функции потерь и оптимизатора — это важный шаг при создании нейронной сети. Они должны быть выбраны в соответствии с задачей и характеристиками данных, чтобы обеспечить наилучшую производительность нейронной сети.

Создание простой нейросети на Python

Рассмотрим создание простой нейросети на Python для решения определенной задачи. Возьмем таблицу с 4 столбцами: 3 из них будут входами, а последний — выходом.

В этом случае результат всегда будет равен значению первого входа. Попробуем создать и обучить нейросеть, которая будет на основе трёх входов выдавать ожидаемый результат. У нас получится нейросеть перцептрон со следующей архитектурой:

На вход нейросеть получает 3 параметра. Во время обучения нейросеть выберет оптимальные веса. В конце нейрон прогонит перемноженные веса и параметры через функцию активации.

Установка numpy

Перед началом работы необходимо установить модуль Numpy. Numpy — библиотека для математических операций. В неё вложены в том числе и матричные операции, которые особенно важны в нейронных сетях.

Откройте терминал в вашей системе или среде разработки и выполните следующую команду:

pip install numpy

И импортируйте библиотеку в код:

import numpy as np

Напишем функцию активации — сигмоиду:

def sigmoid(x):
  return 1/(1 + np.exp(-x))

Существуют различные функции, и, как мы уже упоминали, их выбор важен при проектировании больших нейросетей. В нашем случае выбор не настолько принципиален.

Теперь создадим массив с обучающими данными:

training_inputs = np.array ([[0,0,1],
[1,1,1],
[1,0,1],
[0,1,1]])

training_outputs = np.array([[0,1,1,0]]).T

В переменной training_inputs хранятся входные данные, а в training_outputs — выходы. 

Выберем случайные веса:

np.random.seed(1)
synaptic_weights = 2 * np.random.random((3,1)) - 1

И обучим нейросеть:

for i in range(10000):
   input_layer = training_inputs
   outputs = sigmoid(np.dot(input_layer, synaptic_weights))

   err = training_outputs - outputs
   adjustments = np.dot(input_layer.T, err * (outputs))
   synaptic_weights += adjustments

print("веса после обучения")
print(synaptic_weights)

Вывод:

веса после обучения
[[14.09344278]
 [-0.18776581]
 [-4.50486337]]

Что происходит в этом отрезке кода: нейросеть итерационно подбирает оптимальные веса. С каждой итерацией она становится всё ближе к правильным значениями.  

Проверим текущий результат:

print("result")
print(outputs)

Вывод:

result
[[0.01093477]
 [0.99991734]
 [0.99993149]
 [0.00907983]]

И, чтобы убедиться в работоспособности нейросети, проверем её на незнакомом примере:

new_input = np.array([[0,0,1]])

print(sigmoid(np.dot(new_input, synaptic_weights)))

Вывод:

[[0.01093422]]

Заключение

В этом материале мы рассмотрели основные концепции нейросетей и создали простую нейронную сеть на Python. Этот пример показывает, как легко можно создавать и обучать нейронные сети на Python, и как они могут использоваться для решения различных задач, таких как классификация, регрессия и генерация контента.