お腹のお肉がメタボックル https://pg.mnztech.work/dokuwiki/ 2026-04-15T21:56:50+00:00 https://pg.mnztech.work/dokuwiki/ https://pg.mnztech.work/dokuwiki/_media/logo.png text/html 2021-07-20T06:37:06+00:00 Anonymous (anonymous@undisclosed.example.com) https://pg.mnztech.work/dokuwiki/Aws/ElasticSearch/AutomaticallyRegisterFilesPlacedDirectory?rev=1626763026&do=diff 12.ディレクトリに置いたファイルを自動登録する 以下の流れで実現しています。 BeatsもLogstashも自動登録はバイナリファイル向きじゃないですね。 バイナリファイル向きじゃない理由 成功事例 ■処理の流れ ファイル配置→Logstash→ShellScript→ElasticSearch text/html 2021-07-20T15:28:34+00:00 Anonymous (anonymous@undisclosed.example.com) https://pg.mnztech.work/dokuwiki/Aws/ElasticSearch/AutomaticallyRegisterFilesPlacedS3?rev=1626794914&do=diff 13.S3に置いたファイルを自動登録する 結局ShellScript頼みなので、ご参考までに・・・。 成功事例 ■処理の流れ S3→SQS→Logstash→ShellScript→ElasticSearch ※S3イベント通知の設定はAws/SimpleQueueService/S3イベント通知を参照願います。 text/html 2021-06-22T03:01:19+00:00 Anonymous (anonymous@undisclosed.example.com) https://pg.mnztech.work/dokuwiki/Aws/ElasticSearch/BasicConfiguration?rev=1624330879&do=diff 1.基本構成 インスタンスとデータノードの関係 ・インスタンス数の最大値は、AWSのElasticSearchはリージョンごとのAZ数となる。(1-AZ、2-AZ、3-AZで選択可能) ・AZ間で冗長化とイメージしがちだが、ElastiSearchはインデックスのレプリカ数で決まるため、AZ数やインスタンス数=冗長化数ではない。 ・データノードは各AZに分散して配置されるため、AZ数の倍数が良い。 ・データノードはインデックスにデータを格納し、インデックス作成とクエリのリクエストを処理する。 ・専用マスターノードを作成しないと、データノードのうち何れかがマスターノードとなる。… text/html 2021-06-28T06:54:13+00:00 Anonymous (anonymous@undisclosed.example.com) https://pg.mnztech.work/dokuwiki/Aws/ElasticSearch/CloudWatchLogsIntegration?rev=1624863253&do=diff 10.CloudWatchLogs連携 CloudWatchLogs連携で、ElasticSearchサブスクリプションフィルターを作成します。 今回は、以下の流れでElasticSearchにログを記録しています。 ①Lambda関数を指定したAPIGatewayにWebリクエストをする。 ②Lambda関数が呼び出された際にeventをCloudWatchLogsに記録する。 ③CloudWatchLogsのログ記録をトリガーに、サブスクリプションフィルターが動いてElasticSearchに記録する。… text/html 2021-07-21T01:07:32+00:00 Anonymous (anonymous@undisclosed.example.com) https://pg.mnztech.work/dokuwiki/Aws/ElasticSearch/Filebeat?rev=1626829652&do=diff 20.Filebeat Beatsを中心にしたインプットとアウトプットのイメージ図 そのうち何か書く AWS ElasticSearch text/html 2021-07-21T01:07:32+00:00 Anonymous (anonymous@undisclosed.example.com) https://pg.mnztech.work/dokuwiki/Aws/ElasticSearch/FrequentlyUsedCommands?rev=1626829652&do=diff 91.よく使うコマンド Aws/ElasticSearch/90.KibanaDevToolsで実行する前提で記載します。 よく使うコマンド 共通 ElasticSearch index 検索関連 ElasticSearchの部分一致、完全一致検索はFieldの属性に対して行うqueryコマンドによって変わります。 ・部分一致検索：textに対して、matchクエリを実行 ・完全一致検索：keywordに対して、wildcardクエリを実行 text/html 2023-01-09T03:40:44+00:00 Anonymous (anonymous@undisclosed.example.com) https://pg.mnztech.work/dokuwiki/Aws/ElasticSearch/Introduction?rev=1673235644&do=diff 0.はじめに(ElasticSearch) GoogleChromeにElasticSearchの拡張機能があるんですね、視覚的に捉えたいときに便利です。(何ができるかはこれから学ぶんだ) <https://chrome.google.com/webstore/detail/elasticsearch-head/ffmkiejjmecolpfloofpjologoblkegm> 記事一覧 ElasticSearch index AWS ElasticSearch text/html 2021-07-21T01:07:32+00:00 Anonymous (anonymous@undisclosed.example.com) https://pg.mnztech.work/dokuwiki/Aws/ElasticSearch/KibanaDevTools?rev=1626829652&do=diff 90.KibanaDevTools KibanaのDevToolsは、Elasticsearch​へAPIコマンドを実行できるコンソールになります。 ヘッダーやドメインなどのコマンドを省略して記載できて大変便利なので、簡単に使い方を記載します。 text/html 2021-07-21T01:07:32+00:00 Anonymous (anonymous@undisclosed.example.com) https://pg.mnztech.work/dokuwiki/Aws/ElasticSearch/Knowledge?rev=1626829652&do=diff 99.ナレッジ マスターインスタンスの接続ステータス (MasterReachableFromNode)が赤色のまま戻らない ・事象：APIコマンドも受け付けない状態が長時間発生した。 ・対処：ドメインの編集からノード数を変更した。(1増やして1減らした) 　→内部的にElasticSearchのサービス再起動が走ると考えて実施したが、正解だったようで解消されました。 text/html 2021-07-21T01:07:32+00:00 Anonymous (anonymous@undisclosed.example.com) https://pg.mnztech.work/dokuwiki/Aws/ElasticSearch/Logstash?rev=1626829652&do=diff 30.Logstash Logstashを中心にしたインプットとアウトプットのイメージ図 そのうち何か書く AWS ElasticSearch text/html 2021-06-28T06:54:13+00:00 Anonymous (anonymous@undisclosed.example.com) https://pg.mnztech.work/dokuwiki/Aws/ElasticSearch/Pipeline?rev=1624863253&do=diff 4.Pipeline ドキュメントを登録する際に、指定したPluginで指定したFieldを処理する際にPipelineを使います。 大項目 description Pipelineの説明（詳細割愛） processors 前処理について記載します。 text/html 2021-06-28T06:54:13+00:00 Anonymous (anonymous@undisclosed.example.com) https://pg.mnztech.work/dokuwiki/Aws/ElasticSearch/RegisterJapaneseFile?rev=1624863253&do=diff 11.日本語ファイルを登録する 日本語ファイル(PDFやxlsx、pptxなど)をElasticSearch(AWSマネージドサービス)に登録する際に苦労したのでメモ 前提 ElasticSearchのバージョン及びプラグイン ElasticSearchのバージョンは7.10を利用しています、バージョンごとのプラグインは text/html 2021-06-28T06:54:13+00:00 Anonymous (anonymous@undisclosed.example.com) https://pg.mnztech.work/dokuwiki/Aws/ElasticSearch/Sizing?rev=1624863253&do=diff 2.サイジング ElasticSearchのサイジングについて記載します。 理解した・・・と思って書いてみた、あってる？ ストレージサイズ ストレージサイズは、ソースサイズから求められる。 text/html 2021-06-28T06:54:13+00:00 Anonymous (anonymous@undisclosed.example.com) https://pg.mnztech.work/dokuwiki/Aws/ElasticSearch/Template?rev=1624863253&do=diff 3.Template Templateはindex_patternsにマッチしたインデックス作成やドキュメント登録の際に、Templateに従って作成/登録される。 最低限必要な書式 最低限必要な書式は[indexpatterns]のみです。（[index