Научились переносить к себе огромные бакеты S3
Без проблем и падений. До 2 ТБ — гарантировано. Но можем и больше: даже если передача данных оборвется, после разгрузки системы мы продолжим перенос ровно с того же самого места, на котором остановились.
Для технарей вот как это работает под капотом:
- Приложение по переносу данных запускается в нескольких экземплярах. Каждый экземпляр непрерывно пингуется, чтобы проверять, доступен он или нет.
- Каждый экземпляр выполняет фиксированное количество переносов, а переносы потребляют фиксированное количество памяти. В итоге передача данных никогда не прерывается.
- Но даже если пинг c экземпляром теряется, перенос данных подхватывает другой экземпляр.
- Каждый перенос стоит в очереди, имеет свой прогресс и обновляется in real time, что позволяет в любой момент остановить процесс и потом возобновить его с того же места.