クラウドオブジェクトストレージからClickHouse Cloudにデータを移動する

クラウドオブジェクトストレージをデータレイクとして使用し、このデータをClickHouse Cloudにインポートしたい場合や、現在のデータベースシステムがデータをクラウドオブジェクトストレージに直接オフロードできる場合、Cloud Object Storageに格納されたデータをClickHouse Cloudのテーブルに移行するために、以下のテーブル関数を使用できます:

• s3 または s3Cluster
• gcs
• azureBlobStorage

現在のデータベースシステムがクラウドオブジェクトストレージにデータを直接オフロードできない場合は、サードパーティのETL/ELTツール や clickhouse-local を使用して、現在のデータベースシステムからクラウドオブジェクトストレージにデータを移動し、その後、第二段階でClickHouse Cloudのテーブルにデータを移行することができます。

これは、データをクラウドオブジェクトストレージにオフロードし、その後ClickHouseにロードするという2段階のプロセスですが、この方法の利点は、クラウドオブジェクトストレージからの高度に並列化された読み込みをサポートする堅牢なClickHouse Cloud により、ペタバイト規模までスケールできることです。また、Parquet のような高度な圧縮フォーマットを活用することもできます。

S3を使用してClickHouse Cloudにデータを取り込む方法を具体的なコード例で示したブログ記事があります。