Перемещение данных из облачного объектного хранилища в ClickHouse Cloud

Если вы используете облачное объектное хранилище в качестве озера данных и хотите импортировать эти данные в ClickHouse Cloud, или если ваша текущая система баз данных может напрямую выгружать данные в облачное объектное хранилище, вы можете использовать одну из таблиц функций для миграции данных, хранящихся в облачном объектном хранилище, в таблицу ClickHouse Cloud:

Если ваша текущая система баз данных не может напрямую выгружать данные в облачное объектное хранилище, вы можете использовать инструмент ETL/ELT третьей стороны или clickhouse-local для перемещения данных из вашей текущей системы баз данных в облачное объектное хранилище, чтобы мигрировать эти данные во втором этапе в таблицу ClickHouse Cloud.

Хотя это двухэтапный процесс (выгрузка данных в облачное объектное хранилище, а затем загрузка в ClickHouse), преимущество заключается в том, что это масштабируется до петабайтов благодаря надежной поддержке ClickHouse Cloud высоко-параллельного чтения из облачного объектного хранилища. Также вы можете воспользоваться сложными и сжатыми форматами, такими как Parquet.

Существует статья в блоге с конкретными примерами кода, показывающая, как можно получить данные в ClickHouse Cloud, используя S3.