Amazon OpenSearch超入門①

クラウドエンジニアリングサービス部の鎌田です。
私は業務でAmazon OpenSearchの以下4つのサービスを利用しています。

• Amazon OpenSearch Service
• Amazon OpenSearch Serverless
• OpenSearch Dashboards
• Amazon OpenSearch UI

Amazon OpenSearchは近年機能が拡充しているのですが、各サービス名が似通っており直感的な区別が難しくなっています。私自身も、似た名前のサービスが並ぶ中で何がどこまでできるのかを整理できず、最初はかなり混乱しました。あまりに紛らわしく、条件を並べると早口言葉になりそうだと感じたほどです。

この記事では、これからAmazon OpenSearchの利用を検討している方、またはAmazon OpenSearchに対する理解を深めたい初心者の方に向けて、Amazon OpenSearchが提供する4つのサービスについて、役割と違いが理解できるように解説します。

Amazon OpenSearchの概要

まずは、Amazon OpenSearchの概要について説明します。

Amazon OpenSearch

Amazon OpenSearchは、リアルタイムのアプリケーション監視やログ分析、Webサイト内検索など、幅広い用途に対応する分散型の検索・分析エンジンです。コミュニティ主導で開発される100％オープンソース（Apache 2.0ライセンス）のソフトウェアであり、Apache Luceneを基盤に、高い拡張性と高速な検索性能を両立しています。

OpenSearch ダッシュボードによる可視化機能も統合されており、大量のデータに対しても直感的に探索・分析できる点が特徴です。全文検索はもちろん、k近傍（KNN）検索、SQLによるクエリ、異常検知、機械学習機能、トレース分析など、実運用を想定した高度な分析機能が一通りそろっています。

噛み砕いて言えば、Amazon OpenSearchは膨大なデータの中から必要な情報を瞬時に見つけ出し、その意味を理解するための検索・分析基盤です。

Amazon OpenSearchの具体的な利用例を3つ記載します。

• ログデータを一元的に収集し、リアルタイムで分析・可視化することによりシステム障害の早期発見、問題の原因特定、セキュリティ脅威の検知を実現する。
• 会社のドキュメントを登録し、全文検索で欲しいデータを検索できる機能の実装や、ドキュメントの関連度のスコア算出や形態素解析を通して単語の意図を加味した自然言語の検索を実施する。
• センサーデータやデバイスログなど、IoTデバイスから継続的に送られてくる大量の時系列データをリアルタイムで収集し高度な分析を実施する。

このように、Amazon OpenSearchはログ分析から業務検索、IoTデータ分析まで幅広いシーンで活用可能です。そして、Amazon OpenSearchが提供している検索・分析エンジンが、Amazon OpenSearch Serviceと Amazon OpenSearch Serverlessです。

Amazon OpenSearch Service

Amazon OpenSearch Serviceは、自社の要件に合わせてサーバ台数やスペック、ネットワーク構成やストレージ容量を細かく設計できるサービスです。

AWSの公式資料では、OpenSearchクラスターと呼ばれることもあり、従来型のクラスター運用を前提とした柔軟な構成が可能です。インスタンスタイプやストレージ、ノード数、シャーディングなどを詳細に設定・変更できるため、性能やコスト、可用性を意識したより自由度の高い構築を行いたい場合に向いています。

私が業務でAmazon OpenSearch Serviceを利用した際に、データの検索結果を表示するダッシュボードに表示される値がUNIX形式のままで分かりにくい、という指摘を受けたことがありました。そこで、既存のキーと値をもとに新しいキーを作成し、その値をISO形式に変換する設定を追加することで、表示の可読性を改善しました。これはAmazon OpenSearch Serviceの設定自由度が高いがゆえに可能であるといえます。

その反面、AWSの責任範囲はハードウェアとOSの運用にとどまるため、パフォーマンス最適化やスケーリングの設計などは利用者側で実施する必要があります。事前に利用するワークロードやデータ量を見積もり、将来の増加も踏まえた構成を設計することが重要です。

なお、AWSの日本語公式資料では、Amazon OpenSearchがAmazon OpenSearch Serviceと表記されているケースがあります。公式資料を確認する際はご注意ください。

Amazon OpenSearch Serverless

Amazon OpenSearch Serverlessはデータ分析を実施するにあたり必要なリソースをAWSが自動でプロビジョニングし、スケーリングするマネージドサービスです。

最大の特長は、利用者側がインフラ構成やサーバ管理を意識する必要がない点です。コレクションという設定項目で分析対象のデータの選定や権限付与を行えば、あとはAWSがサーバやノード、ストレージの設計やスケーリング管理を実施してくれます。その結果、キャパシティ設計やピーク時の負荷対策に悩むことなく、ログ分析や検索機能の実装といった本来の目的に集中できます。

また、利用量に応じた従量課金制のため、アクセス頻度やデータ量に波があるワークロードでも、無駄なコストを抑えやすい点も魅力です。一方で、インスタンスタイプやシャード構成などを細かく制御できるAmazon OpenSearch Serviceと比べると、利用者側で調整できる設定項目は限定されます。自由度よりも運用負荷の低減や立ち上げの速さを重視する場合に、Amazon OpenSearch Serverlessは有力な選択肢となるでしょう。

Amazon OpenSearchで利用するダッシュボード

Amazon OpenSearchでは、様々なデータを分析できます。そして、そのデータを直感的に理解できるよう、グラフや表にして見せてくれるツールのことをダッシュボードと呼びます。棒グラフ、円グラフや折れ線グラフなどを用いて、データの変化や特徴を一目で理解できる形に表現できます。

Amazon OpenSearchでは、このダッシュボード機能を2つの異なるサービスとして提供しています。用途や利用シーンによって選択肢が分かれるため、それぞれの特長と違いを順に解説していきます。

OpenSearch Dashboards

OpenSearch Dashboardsは、Amazon OpenSearch Serviceでドメイン（検索エンジン本体のクラスター）を作る際に作成される、ドメイン専用のダッシュボードです。このダッシュボードは非常にシンプルな構成で、原則として1ドメインに1ダッシュボードという対応関係になっています。そのため、OpenSearch Service上に複数のドメインを作成した場合、それぞれに専用のダッシュボードが個別に作られます。

例えば、Aというシステムログを格納したOpenSearchドメインAとドメインBには、それぞれ専用のダッシュボードが自動作成されます。基本的にドメインAのダッシュボードからドメインAに格納したデータを、ドメインBのダッシュボードからドメインBに格納したデータを閲覧します。1つのダッシュボードで複数ドメインを横断的に参照することは想定されていません。

Amazon OpenSearch UI

Amazon OpenSearch UIは、既存のOpenSearch Dashboardsの分析機能、データ連携機能を強化したダッシュボードです。AWS公式資料では、Amazon OpenSearch UIは次世代型UI（ユーザーインターフェース）と呼ばれることが多く、操作性や視認性の向上が強く意識されています。以前はOpenSearch UIはOpenSearch Serverless専用のダッシュボードのような位置づけでしたが、2024年11月の大幅なアップデートによりユーザエクスペリエンスが大幅に向上しました。

Amazon OpenSearch UIには3つの特徴があります。

複数データソースの横断分析

Amazon OpenSearch UIは、Amazon OpenSearch Service、Amazon OpenSearch Serverless、S3など複数のデータソースを同じダッシュボードに表示できます。既存のAmazon OpenSearch Serviceのデータログと新規作成したAmazon OpenSearch Serverlessのデータログを同時に表示、比較しながら分析するといった処理が可能となります。

ワークスペース

Amazon OpenSearch UIでは、ワークスペースというチームやプロジェクトごとに異なる分析環境を用意することができます。同じデータソースに対して、開発チームとマーケティングチームで異なるワークスペースを用いることでアクセスできる権限を最小限に抑えたり、ダッシュボード上に表示させる情報をチームごとに最適化したりできます。

可用性の向上

Amazon OpenSearch UIは、Amazon OpenSearchの検索機能からは独立したマネージドなサービスです。OpenSearch Dashboardsはドメイン内で動作しているため、ドメインのバージョンアップ作業やドメイン障害発生時に影響を受ける可能性がありましたが、OpenSearch UIは他リソースの影響を受けることはありません。

さいごに

本記事のまとめとして、Amazon OpenSearchの4つのサービス内容を整理します。

Amazon OpenSearch Service	別名OpenSearchクラスター、きめ細やかな設定が可能
Amazon OpenSearch Serverless	自動リソース作成および自動スケーリングに強みがある
OpenSearch Dashboards	Amazon OpenSearch Serviceのダッシュボードとして利用可能
Amazon OpenSearch UI	高機能な次世代型UI Amazon OpenSearch Service、Amazon OpenSearch Serverless、S3リソースをひとつのワークスペースで表示可能

Amazon OpenSearchは、ログ分析や全文検索、自然言語分析などをはじめ、データの価値を引き出すための多彩な機能を備えたサービスです。この記事がAmazon OpenSearchに触れるきっかけとなり、社内に蓄積された膨大なデータをビジネスに活用する第一歩になれば幸いです。

なお、近日中に「Amazon OpenSearch超入門②～SecurityLakeとZeroETL接続～」を公開予定です。AWSには、Amazon SecurityLakeというセキュリティログやイベントデータを自動的に集約・管理できる、セキュリティデータレイクサービスがあります。AWS OpenSearchにはSecurtyLakeとの接続性を向上させ、セキュリティデータ解析を容易にするための機能が用意されています。

次回は、Security LakeとAmazon OpenSearchをマネージドに接続する方法と、設計・運用時に押さえておきたいポイントを解説します。

セキュリティデータ分析を本格的に検討している方は、ぜひ続編もご覧ください。

プロフィール