こんにちは。Cold-Airflow です。
本記事は、AWS Summit Japan 2024 のセッション「Amazon Neptune Analytics と生成 AI 活用」のレポート記事です。

セッションを見るきっかけや、セッションを見たけど用語がわからないみたいな部分を補足する目的としてご覧ください。
要所要所で、参考になりそうな記事を追加しています。

セッション概要

タイトル:Amazon Neptune Analytics と生成 AI 活用(AWS-07)

AWS セッション(Level 300: 中級者向け)
テーマ：生成 AI

スピーカー

アマゾン ウェブ サービス ジャパン合同会社 木村 達也

概要

Amazon Neptune は、スケーラビリティと可用性に優れた、フルマネージドなグラフデータベースサービスです。
このセッションでは、AWS re:Invent 2023 で発表された Amazon Neptune の新しいグラフ分析エンジン「Amazon Neptune Analytics」について詳しく解説します。
また、近年急速に活用が進んでいる生成 AI と Amazon Neptune Analytics を組み合わせたソリューションについてもご紹介します。

レポート

はじめに

• 目的
  • グラフの考え方を理解頂く
  • 大規模グラフデータの活用方法を理解頂く
  • 生成 AI アプリケーションにおけるグラフデータを理解頂く
• 対象者
  • グラフデータを既に活用している方
  • グラフデータの活用を検討している方
  • 大規模グラフデータの分析や生成 AI でのグラフデータ活用に興味がある方

アジェンダ

• グラフと Amazon Neptune の概要
• Amazon Neptune Analytics 概要と生成 AI 活用
• Amazon Neptune Analytics 内部構造と実行例

グラフと Amazon Neptune の概要

はじめにグラフと「Neptune サービス」の説明です。

グラフデータベースとは？ | アマゾン ウェブ サービス (AWS)

グラフとは何か？

• ノード(Node):実世界の様々なオブジェクトを表現する
• エッジ(Edge):オブジェクト間の関係を表現する
• プロパティ(Property):ノードとエッジに付加する属性情報
• ラベル(Label):ノードとエッジをグルーピングする識別情報

代表的なユースケース

• ナレッジグラフ:さまざまな知識（＝ナレッジ）を体系的に連結し、グラフ構造で表した知識のネットワーク
  • 起点ノードから複数のノードを経由して、人が見つけれなかったナレッジを見つける
  • 旅行先で訪問場所のレコメンドを行う場合
    • 例)Bob→(興味がある)→Mona Lisa→(展示場所)→The Louvre
  • AWS COVID-19 ナレッジグラフの作成とクエリ | Amazon Web Services ブログ
• アイデンティティグラフ：特定の顧客の異なる ID 間の関係のマップ
  • EC サイトのカスタマーの関係マップをイメージ
  • 購入したデバイス、購入前に検索した商品などアイデンティティグラフとして表現してカスタマーをより理解する
  • Amazon Neptune を⽤いたコンシューマ 360 グラフ
  • Amazon Neptune を使用して顧客識別グラフを作成する | Amazon Web Services ブログ
• 不正検知グラフ:金融で詐欺などを防止するために利用
  • 関係性が保存され不正を検知できるようになる
• セキュリティグラフ:保護する資産と、これらの資産と組織内の役割との関係を表すグラフ
  • AWS のセキュリティ グラフ – Amazon Neptune を使用してセキュリティ グラフを構築し、IT インフラストラクチャのセキュリティを効率的に管理します。

課題 : グラフデータの処理は RDBMS では難しい

• 全ての関連を表現しないといけない複雑な ER
• JOIN や UNION、外部キーを多用した複雑な SQL

グラフとリレーショナルデータベース – データベースの違い – AWS

Amazon Neptune

サービスの特徴

• 高い費用対効果
• 高い保守性
• 柔軟なプロビジョニング
• セキュア
• サーバレス
• グローバル展開

注目ポイント

• 億単位のノードの保存やクエリの実現に向けて最適化
• ミリ秒単位のクエリ応答時間の実現

Amazon Neptune ではじめるグラフデータベース入門

サポートするグラフモデルとクエリ言語

• プロパティグラフ(PG)
  • Apache TinkerPop,Gremlin:トラバーサル言語
  • openCypher Query Language:宣言型クエリ言語
• Resource Description Framework (RDF)
  • SPARQL:宣言型クエリ言語

Neptune グラフへのアクセスの開始方法 – Amazon Neptune

直近のアップデート

• グラフエクスプローラー
  • Amazon Neptune がローコードユーザー向けのオープンソースのビジュアル探索ツール「グラフエクスプローラー」を発表
• スロークエリロギング
  • Amazon Neptune がスロークエリログのサポートを発表
• グラフサマリ API
  • Amazon Neptune がグラフ要約 API を導入
• サーバレス
  • Amazon Neptune Serverless が一般提供開始
• 大阪リージョン利用
  • Amazon Neptune Database が AWS アジアパシフィック (大阪) リージョンで利用可能に

これまでに 15 回を超えるデータベースエンジンのアップデート

事例

• Wiz : セキュリティグラフの活用事例
  • クラウドセキュリティ管理ソリューションの提供
    • 脆弱性管理
    • ネットワーク監視
    • ID 管理
    • 権限管理

世界はグラフです: Wiz が Amazon Neptune のグラフを使用してクラウド セキュリティを再構築する方法 | AWS データベース ブログ

Amazon Neptune Analytics 概要と生成 AI 活用

グラフデータ処理(Neptune Analytics リリース前)

• グラフの一部(OLTP)
  • 探索 Amazon Neptune Database
• グラフ全体(OLAP)
  • 予測 Amazon Neptune NL
  • 分析 Spark GraphX

お客様の声

数百億のつながりを持つグラフデータを数秒で分析し、より迅速に新しい知見を得たい

Amazon Neptune Analytics 一般提供開始

Neptune Analytics を使用すると、データサイエンティストやアプリケーション開発者は、数百億もの接続があるグラフデータを数秒で分析して、より迅速にインサイトを得て傾向を見出すことができます。
Amazon Neptune Analytics の一般提供を開始

Amazon Neptune Analytics の特徴

• フルマネージド
  • 分析規模に合わせたサイズの計算環境を提供
  • 既存の Neptune Database/Snapshot、または S3 からグラフデータをロードして利用
• 数百億のつながりを持つグラフに対応
  • 分散インメモリアーキテクチャ
  • m-NCU という管理単位でスケール
  • 1GB のメモリと対応する 1 時間あたりのコンピューティング能力とネットワーク容量
• 分析用アルゴリズムとベクトル検索機能
  • openCypher クエリ内で実行
  • neptune.algo ライブラリ
    • グラフ分析用アルゴリズム
    • ベクトル検索

AWS re:Invent Recap – Database

Amazon Neptune Analytics のユースケース

• 大規模グラフ分析
  • 大規模グラフデータセットの高速ロード
  • 高速かつ高度なグラフ分析アルゴリズム
• ベクトル検索
  • 検索拡張生成(RAG)を駆使した生成 AI アプリケーション構築

Amazon Neptune Analytics を用いた膨大なグラフデータ分析とベクトル検索の紹介 | Amazon Web Services ブログ

グラフ分析アルゴリズムの概要

• クラスタリング
• 類似性
• 中心性
• 経路探索
• ベクトル検索

Amazon Neptune Analytics 内部構造と実行例

グラフパーティショニングの概要

• 高速化に向けたアプローチ
  • インメモリで並列分散処理
  • パーティショニング
• データに応じたパーティショニング
  • 文字列レベル
  • トポロジレベル
  • ノード/エッジレベル
    • ノード:1D(一次元)パーティショニング
    • エッジ:2D(二次元)パーティショニング
• パーティションの組み合わせを自動選択

まとめ

• グラフは様々なオブジェクトやそのつながりを抽象的な表現で扱える
• 大規模グラフ分析には、Amazon Neptune Analytics の活用が効果的
• Amazon Neptune Database/ Analytics と検索拡張生成(RAG)を組み合わせ、生成 AI アプリケーションの精度や性能を向上させる

感想

グラフデータベース(Neptune)に興味があり視聴しました。
基礎的な部分から実装までを解説されていたので、どう活用できるのかについてイメージしやすかったです。
複雑かつ難易度が高い処理をマネージドで提供してくれる Neptune はかなり便利だなという印象を持ちました。

分析アルゴリズムの比較で、アルゴリズムを使わなかった場合と比較して 70 倍の性能差が発生しており、大規模グラフ分析となるとこの差はかなり厳しいものになりそうだなと思いました。