Научились переносить к себе огромные бакеты S3

Без проблем и падений. До 2 ТБ — гарантировано. Но можем и больше: даже если передача данных оборвется, после разгрузки системы мы продолжим перенос ровно с того же самого места, на котором остановились.

Для технарей вот как это работает под капотом:

1. Приложение по переносу данных запускается в нескольких экземплярах. Каждый экземпляр непрерывно пингуется, чтобы проверять, доступен он или нет.
2. Каждый экземпляр выполняет фиксированное количество переносов, а переносы потребляют фиксированное количество памяти. В итоге передача данных никогда не прерывается.
3. Но даже если пинг c экземпляром теряется, перенос данных подхватывает другой экземпляр.
4. Каждый перенос стоит в очереди, имеет свой прогресс и обновляется in real time, что позволяет в любой момент остановить процесс и потом возобновить его с того же места.

Ну, тогда я готов создать S3 и перенести к вам данные ➔