Google Cloud Next Tokyo ’23 Day1に行った📝

基調講演

ハルシレーションを抑えるグラウンディングをし、事実に基づく生成AIにする
Vertexがより協力になっていく話
- Garden
- Codey
  - 企業独自のコードベースから、出力をチューニングしてくれる
  - https://zenn.dev/cloud_ace/articles/20230609codeyapispreview
data residency （今日サービス発表）（drz）
vertex ai searchの日本語提供
Googleワークスペースのduet aiが強力になっていく話
- Meetでの自動翻訳
- 会議の途中経過を要約して教えてくれる
  - 質問して、詳細部分を回答をしてくれたりもする
duet ai in google cloud
- cloud station
- log explorerに自然言語でエラー内容を説明してくれる
- どう治したらいいかも教えてくれる
- Looker studio pro
  - 自然言語でグラフを生成してくれる
    - そこからスライド作成もできる
- Database migration
  - oracleからAlloy dbへ
  - duet aiで自動で変換してくれたり、ダメなところは確認が必要だと提供してくれたりする
- Memorystore for redis clusterがnew

生成AIの話が多く、Google製品とのコラボレーションが熱くなっていきそうだった。知らない製品多めでVertex AIもあまり知らなかったので、色々できること増えていきそうだなと思ったけど、自社に組み込むのはまだまだ先な感じがあるかなぁ

データ規模アカウント3.3億ほど 900テーブル

他プロジェクトのBigQueryを見るときは、承認済みデータセットを経由して参照やコピーをしている。
- 承認済みデータセットは2段階に分けて承認してる
元々はdatafusionをつかっていたが、今はdata transformはbatchを
変換はcomposerでdbtを使っている。
データセットごとにdbtを用意してる。プロジェクト間は別で定義
bqは20000スロット
bigquery data transfer service
開発中のデータソースとbqを統計値を使ってデータ比較検証
data visialasionを使っている
フォルダ単位でプロジェクトを分けている
terraformとGHEをつかって権限管理している
- GHAで定期的に実環境とのドリフトを検出
- 構成情報を社内wikiに連携
- 利用者の権限洗い出しをおこなっている
インフォメーションスキーマで利用状況をチェックしてる
- スロークエリを見つけて対処している
- ex, 集計済みテーブルがあるのに生テーブル見てたり、ジョインするテーブルがデカすぎる