自由気ままに書いちゃおう

好きなことをつらつらと・・・

【AWS】AuroraのS3エクスポートの種類について

今回は、Aurora(PostgreSQL)にてS3エクスポート挙動を確認した際の内容をまとめたものになります。

 

■ S3へデータをエクスポートする際のパターン

Aurora から S3へデータをエクスポートする際に利用できる手法は以下3つです。

 

① Auroraクラスターから直接S3バケットへエクスポート

② Auroraクラスターのスナップショットを指定してS3エクスポート

③ SQLコマンドによるクエリを利用したS3エクスポート

■ ① Auroraクラスターから直接S3バケットへエクスポート

Aurora クラスターを選択し、S3エクスポートを行うパターンです。

GUI上では以下の箇所の操作が該当します。

 

1.対象Clusterを選択します。

 

2.「アクション」から「Amazon S3へエクスポート」を選択します。

 

■ ② Auroraクラスターのスナップショットを指定してS3エクスポート

Aurora クラスターで取得した自動/手動スナップショットを利用したS3エクスポートのパターンです。

GUI上では以下の箇所の操作が該当します。

 

1.S3エクスポート対象となるS3エクスポートを選択します。

 

2.「アクション」から「Amazon S3にエクスポート」を選択します。

 

■ ③ SQLコマンドによるクエリを利用したS3エクスポート

aws_s3拡張機能を用いたS3エクスポートのパターンです。

Aurora PostgreSQL DB クラスターから Amazon S3 へのデータのエクスポート - Amazon Aurora

 

■ 設定方法

■ ① Auroraクラスターから直接S3バケットへエクスポート

Amazon S3 への DB クラスターデータのエクスポート - Amazon Aurora

 

■ ② Auroraクラスターのスナップショットを指定してS3エクスポート

Amazon S3 への DB クラスタースナップショットデータのエクスポート - Amazon Aurora

 

■ ③ SQLコマンドによるクエリを利用したS3エクスポート

Aurora PostgreSQL DB クラスターから Amazon S3 へのデータのエクスポート - Amazon Aurora

 

■ S3エクスポートしたデータの用途について

上記①、②でS3へ格納されたデータは、Apache Parquet 形式で保存されており、Amazon Athena 等でデータ分析することが多いです。

そのため、リストア用途でS3エクスポートをすることはできません。

(=S3エクスポートデータからAuroraリストアの実施はできません)

リストア用途でスナップショットデータを使いたい場合には、自動取得されたバックアップデータor 手動取得したスナップショットのデータを用いる必要があります。

■ S3エクスポートしたデータの一覧を確認する

RDSコンソールの「Amazon S3でエクスポートします」項目を選択することで下記のようにS3エクスポート一覧が確認できます。

以下は、一覧の例です。

※「ソース」列をみることで、何から生成されたS3エクスポートデータなのかを判別することができます。

 

以上です。