Google Cloud Next Tokyo ’23 Day2に行った📝

DMM における AWS から BigQuery へのデータ基盤移行 / 合同会社 DMM.com

背景

1500テーブルほぼ日時処理 biから投げられる30000クエリ/ week 1500mau 新規テーブル・カラムの別作業が5回/week

課題

オペの省力化ができていないため、活用拡大にリソースを割きにくい
ガバナンス
データ活用の拡大
- 今まではデータは社内利用に留まっていたが、広告システムなどの社外利用に拡大したかった

狙い

サーバレスにすること
Google製品に連携が用意できること
- サーチコンソール
- ADs

基盤移行の流れとポイント

データ同期
- S3toGCSはSTSを使って同期している
- GCStoBQはGCSの変更検知を使ってイベントドリブンに対象範囲を絞って更新している
データの差分検知
- AWSとBQで全レコードのmd5を見て差分チェックしていた

information schemaでみたら全体で3.5兆レコードあったらしい

質問

過去分のデータはどうしたか。一時的に二つの環境にデータがあることになるはず？
- 現時点で、もうS3はサポートしない旨を言っていていずれは消す。
- サービスからはデータをGCSに直接送ってもらっている
GCSに置いてあるデータのコスト削減とかは何をしているか
- 外部テーブル群はデータセット単位で見せないようにしてる
- また、日にちで区切ってライフサイクル化してる
  - bqに取り込んだ後はストレージクラスを下げたり、消してしまったり

BigQuery のデータ品質やデータ活用を高める Dataplex 等の活用 / GO株式会社

基盤利用者は100人 / week

課題
- 利用者がすぐにデータ活用できない
- 障害や仕様変更の調査が大変
- いつのまにかデータが壊れている
DataplexとDatahubで課題解決
- Dataplex
  - データ品質管理
- Datahub
  - リネージ
  - メタデータ
Dataplex
- データ周りをまとめた色々製品
  - この中にデータ品質管理がある
  - テスト定義をSQLに変換してテストできたりする
  - レポート配信などで使われる少数の手ブルに導入した
Datahub
- Data CatalogがBQとLookerに対応していないから採用したが、バックエンド技術などがオーバースペックで微妙らしい

質問: - データのテストはどうやってるか - 辞書テストや範囲テスト、鮮度テストのやり方？ - また、この時のSQLファイルはどうしているのか - Dataplexでできちゃうよ - データマートのメタデータの管理はどうしているか - データソース側はinformationからとってきていることはわかったけど、手動でつけてる？ - DataHubでできちゃうよ - 発表にはなかったが、権限管理はされてる？どうしてる？ - 今は全部見せる運用。これからやるならDataplexのデータメッシュで切ってやりたい