弱いエンジニアの備忘録

自分的に気になった技術に関するメモや備忘録です。Elasticsearchに関する記事が多くなりそうです。

elasticsearchのfieldを一部修正する

概要 elasticesearchに入れたデータを後で修正したくなった時の修正手順。 update by queryを使います。 バージョン情報など elasticsearch-6.0.0-alpha2 kibana-6.0.0-alpha2 前提 ユーザーのアカウント情報を持つaccountというindexを作成しました。 field…

elasticsearchでデータ型を修正するメモ

概要 elasticsearchに入れたデータの型を修正する手順をメモ。 バージョン情報など elasticsearch-6.0.0-alpha2 kibana-6.0.0-alpha2 前提 ・elasticsearchにデータを入れてみたけど、やっぱりデータ型が違っていた。 ・データ量がそれほど大きくないreindex…

ElasticsearchのAggregationをpagingする

概要 elasticsearchにはaggregationという便利な機能がありますが、 paginationを提供していません。aggregateの仕組み上単純な話ではないようです。 そのあたりの詳細は(https://github.com/elastic/elasticsearch/issues/4915)をご覧ください。今回はaggre…

logstashからelasticsearchへデータを送る時に最低限知っておくべき設定

概要 logstashからelasticsearchにデータを送る時の最低限の設定に関するメモ バージョン情報など elasticsearch-5.x logstash-5.x 設定ファイル内容 input{ 省略 } filter{ } output{ elasticsearch{ hosts => "localhost:9200" index => "test_index" docu…

elasticsearchにoffice系ファイルやPDFを入れる

概要 elasticsearchにpdfやpptx,xlsxなどのファイルを入れる方法についてメモ。 ingest-attachment-pluginを使います。 バージョン情報など macOS Sierra 10.12.5 elasticsearch-5.4.1 手順 1.ingest-attachment-pluginをインストールする。 $ bin/elasticse…

MacにLogstashをインストールする

概要 Macにlogstashをインストールします。 logstashはrpmパッケージやzipなどが提供されていますが、今回はtar.gz形式です。 バージョン情報など OS : macOS Sierra 10.12.5 logstash : logstash-5.4.1 メモリ : 4GB 手順 1. logstashのファイルを公式サイ…

自己紹介

このブログの概要 日々の技術メモや備忘録を書きます。 自己紹介 名前 : @shin0higuchi 職業 : データサイエンティスト 一言 : ・Elastic公認のハンズオンセミナーで講師などをしています。(https://info.elastic.co/japan-technical-workshop.html?baymax=i…