Skip to main content

Setup for Elasticsearch


0. preparation
 - add jars to lib folder (/tz.search/lib)
 elasticsearch-1.0.0.jar
 lucene-analyzers-common-4.6.1.jar
 lucene-codecs-4.6.1.jar
 lucene-core-4.6.1.jar
 lucene-grouping-4.6.1.jar
 lucene-highlighter-4.6.1.jar
 lucene-join-4.6.1.jar
 lucene-memory-4.6.1.jar
 lucene-misc-4.6.1.jar
 lucene-queries-4.6.1.jar
 lucene-queryparser-4.6.1.jar
 lucene-sandbox-4.6.1.jar
 lucene-spatial-4.6.1.jar
 lucene-suggest-4.6.1.jar
 - add jars to classpath
 <classpathentry kind="lib" path="lib/elasticsearch-1.0.0.jar"/>
 <classpathentry kind="lib" path="lib/lucene-core-4.6.1.jar"/>
 <classpathentry kind="lib" path="lib/lucene-analyzers-common-4.6.1.jar"/>
 <classpathentry kind="lib" path="lib/lucene-codecs-4.6.1.jar"/>
 <classpathentry kind="lib" path="lib/lucene-queries-4.6.1.jar"/>
 <classpathentry kind="lib" path="lib/lucene-memory-4.6.1.jar"/>
 <classpathentry kind="lib" path="lib/lucene-highlighter-4.6.1.jar"/>
 <classpathentry kind="lib" path="lib/lucene-queryparser-4.6.1.jar"/>
 <classpathentry kind="lib" path="lib/lucene-sandbox-4.6.1.jar"/>
 <classpathentry kind="lib" path="lib/lucene-suggest-4.6.1.jar"/>
 <classpathentry kind="lib" path="lib/lucene-misc-4.6.1.jar"/>
 <classpathentry kind="lib" path="lib/lucene-join-4.6.1.jar"/>
 <classpathentry kind="lib" path="lib/lucene-grouping-4.6.1.jar"/>
 <classpathentry kind="lib" path="lib/lucene-spatial-4.6.1.jar"/>

 - install elasticsearch managing console
 ./elasticsearch/bin/plugin -install lmenezes/elasticsearch-kopf

1. modify configuration file and sources
 - modify elasticsearch nodes' configuration (elasticsearch.yml)
 cluster.name: "locketCast"
 - modify tz.search configuration (/tz.search/conf/application.conf)
 # elasticsearch
 elasticsearch.clusterName = locketCast
 elasticsearch.nodes = "localhost:9300,localhost:9301,localhost:9302"

 - add a service (/tz.search/app/services/ElasticsearchService.java)

 - add the lines under updateLogs method in a controller (/tz.search/app/controllers/UserApi.java)
 
   public static Result updateLogs(Long user_id, String androidId,
   ~~~~
 // put the log into elasticsearch
 ElasticsearchService.addIndexing("updatelogs", new SimpleDateFormat("yyyyMMdd").format(createdAt), logEvent.id, propertiesString);
 } catch (JSONException e) {
 e.printStackTrace();
 } catch (Exception e) {
 e.printStackTrace();
 }
 return ok();
 }

2. run servers

 /data1/elasticsearch/node1> ./start.sh
 /data1/elasticsearch/node2> ./start.sh
 /data1/elasticsearch/node3> ./start.sh

 /Users/mac/git/tz.search> play start

3. test source
 http://localhost:9000/api/user/logupdate?user_id=1&androidId=1&email=doohee323@gmail.com&eventName=1&propertiesString={"property":"Action", "value":"unlock"}

4. check the result
 http://localhost:9200/_plugin/kopf/#/cluster
 http://localhost:9200/_plugin/kopf/#/rest
 -> http://localhost:9200/_search?q=property:Action
 -> http://localhost:9200/updatelogs/20140423/_search
 -> http://localhost:9200/updatelogs/20140423/_count?q=property:Action

Comments

Post a Comment

Popular posts from this blog

Amazon RDS Blue/Green Deployments

In order to avoid some errors I experienced when proceeding as described in the official documentation, I describe what I did in order. 1) Modify parameters of source_database * error: Blue Green Deployments requires cluster parameter group has binlog enabled. RDS Parameter groups: source-params-group binlog_format => MIXED mysql> show global variables like 'binlog_format'; 2) Insert a row after rebooting the source database, to avoid this error. * error: Correct the replication errors and then switch over. Read Replica Replication Error - IOError: 1236, reason: Got fatal error 1236 from master when reading data from binary log: 'Could not find first log file name in binary log index file' => To Fix: You need to change the data in the source database. INSERT INTO dummy_table ( `favorite_id` , `favorite_order` , `user_id` , `board_id` ) VALUES ('100001', '1', '11111', '11111'); 3) Modify the param...
Post a Comment
Read more

Fluentd for mysql in AWS

(0) preparation ulimit -n If your console shows 1024, it is insufficient. Please add following lines to your /etc/security/limits.conf file and reboot your machine. root soft nofile 65536 root hard nofile 65536 (1) install Fluentd // “Ubuntu 12.04 LTS / Precise” curl -L http://toolbelt.treasuredata.com/sh/install-ubuntu-precise.sh | sh /etc/init.d/td-agent start/stop/restart/status // test curl -X POST -d 'json={"json":"message"}' http://localhost:8888/debug.test /etc/init.d/td-agent stop chown: changing ownership of `/var/run/td-agent/td-agent.pid': Operation not permitted chown: changing ownership of `/var/run/td-agent': Operation not permitted  * Stopping td-agent td-agent                                                                                   ...
Post a Comment
Read more

실리콘밸리 구직 체험기2_201505 - 5. 기억나는 onsite 인터뷰

Groupon: 주워진 restful api를 이용해서 목록 UI를 구현하기, 갑작스런 javascript 문제로 버벅거렸고 javascript 안써본 사람이런 평가를 받았습니다. Frankly: log 분석을 위한 아키텍쳐를 구성해보라고 했고 apache tajo를 이용한 해법을 설명했더니 외부 솔루션 의존적이라 자체 구현 능력이 있는지 모르겠다는 평가를 받았습니다. 로그 분석은 매 프로젝트에서 언제나 하는 것 아닌가? 새로운 해법을 제시했더니 사족이 된 건지 모르겠습니다. Samsung Lab: 10개의 계단을 올라가는 경우의 수를 구하는 프로그램을 작성하라고 해서 node를 이용해서 이것 저것 지도 했는데 그냥 피보나치 수열이라고 했습니다. Phone Veeva: Object가 어떤 method들을 갖고 있는지, 자바 스크립트 inheritance 구현을 어떻게 하는지, generic 타입을 쓰는 이유가 뭔지 어떻게 쓰는지 이것저것 놓친 것이 너무 많아서 챙피했습니다. Resilient: queue 2개로 stack을 구현하라고 했는데 이렇게 작은 회사에서도 코드인터뷰는 쉽지 않았습니다. 한번은 full-stack senior 엔지니어 면접을 보면서 다음과 같은 질문들을 받았습니다. back-end와 front-end 전체 분야를 다 깊이있게 물어볼 경우 탈탈 털리는 느낌이였습니다. 특히 javascript 문제에 대한 준비가 제대로 되어 있지 못했습니다. - java, framework 일반적인 질문 - was, linux 일반적인 질문 - 멀티 쓰레드 프로그래밍 (쓰레드간 순서 통제 등) - architecture, deploy, development 방법 - javascript concept / coding (상속, closure) - SQL 쿼리 문제 - 출력된 자바 코드를 보여주고 JAVA 코드 수정하기 ㅇ full-stack 엔지니어 full-stack은 분명 ...
Post a Comment
Read more