[HACKING] Bug Bounty를 위한 WASE(Web Audit Search Engine) 만들기 [1] - Elastic search와 ruby-rails
요즘들어 버그바운티에 대한 생각이 조금 깊어졌습니다. 일을 하는 것 이외에도 무언가 가치를 만들 수 있겠다라는 생각 때문이죠. (그냥 돈을 더 벌고싶다고 그래 =_=)
그러나 안타깝게도 시간은 항상 제한적이고, 저의 시간은 매우 모자랍니다. 그래서.. VAHA(http://vaha.hahwul.com )에 이어 버그바운티를 도와줄 수 있는 도구를 구축해보려 합니다.
핵심 로직이나 아이디어는 공개하지 않을 것 같지만 그래도 전반적인 내용은 공유드리면서, 비슷한 고민을 하시는 분들에게 조금이나마 도움이 되길 바라는 마음입니다.
그럼 출발해보죠.
Background #
우선 취약점 스캐너나 자동으로 찾아주는 방법에 대해서는 안하기로 마음먹었습니다. 아무리 그래도 장인 정신.. 아니 실제도로 툴보단 사람입니다. 툴로 발견할 수 있는 사항이라면 이미 다 보고되었겠죠. 지금까지 그래왔듯이 개인의 능력으로 승부를 보고, 대신 이를 보조해주는 무언가를 만들려고 합니다. 우선은 어떤 것들이 필요할까 정리해보았습니다.
- Burp suite의 로그는 종료로 휘발되거나, 저장한다 한들 잘 활용하지 않는다 (Burp에 많이 쌓인거 안좋아함)
- 새로운 우회패턴에 대해 이전에 테스트한 페이지에 재 테스트를 하고싶다
- 어떤 것이 나의 타겟인지 식별해야한다. (Burp 많이 쌓이면 아주 가독성이 안좋답니다)
이정도가 있을 것 같네요. 물론 더 있습니다만 노코멘트
이런 고민을 하다보니.. 예전에 개인적으로 해보고싶었던 PJT 와 연관되어 진행해보려고 합니다. 바로 Burp와 Elasticsearch(이하 ES)의 연동, 활용 부분인데요. 나름대로 쓸 수 있을 것 같아서 이런 구조로 그려보려 합니다.
구성 #
우선은 ES와 Burp의 연동, 그리고 rails를 통한 뷰어 환경 구축이 목표입니다. 키바나도 있고 ELK stack 써도 되는데 왜 rails 냐고 하면.. 움 그냥 제가 ruby 가 좋아서 그렇습니다.
직접 구현하고, 수정하고 필요한 부분은 만들어 쓰는게 더 좋을 것이란 판단입니다.
 |
|---|
| 이런 형태의 그림이 되겠군요 :) |
Elasticsearch 란? #
사실 개념적인 부분만 잡고있던 ES입니다. 이참에 조금이라도 정리해보면 좋을까 내용 넣어보았습니다.
우선 ES는 분산형 RESTful 검색 및 분석 엔진입니다. 많은 양의 데이터를 가공하고 분석하여 좀 더 유의미한 결과를 뽑아내는게 목표이지요. 시각화도 굉장히 중요한 부분이구요.
ES를 알아가기 위해선 몇가지 개념을 익혀두는게 좋습니다. RDMS와 비교해서 보면 편안합니다.
index => database #
type => table #
document => row #
field => column #
Mapping => Schema #
아래부터 올라가면서 보면 좋을 것 같은데,
Mapping은 RDB에선 Schema와 비슷한 개념입니다. 위의 인덱스, 도큐먼트 등의 규칙이 정의된다고 보시면 됩니다.
field는 column으로 보시면 좋습니다. ES 내에서는 JSON 포맷 내 각 프로퍼티 정도입니다. document는 row이며 filed의 묶음 정도로 보면 좋습니다. type은 rdb의 table의 대칭되며 field와 document를 포함합니다.
마지막으로 index 는 db라고 보시면 됩니다. 가장 큰 단위이지요.
Elasticsearch 설치하기 #
https://www.elastic.co/downloads/elasticsearch 에서 직접 다운로드 받아서 설치해주세요. 6.2.2(현재 최신) 기준으론 아래와 같습니다.
#> wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.2.deb #> dpkg -i elasticsearch-6.2.2.deb
elasticsearch rails 설치 #
rails랑 쉽게 붙이기 위해 elasticserach gem을 설치해줍니다.
#> gem install elasticsearch
우선 테스트를 해보면..
require 'elasticsearch'
def test()
client = Elasticsearch::Client.new log: true
client.cluster.health
client.search q: 'hwul'
end
test()
잘되네요.
이제 rails 관련 gem으로 올려봅시다.
#> gem install elasticsearch-rails #> gem install elasticsearch-model
elasticsearch-rails는 ror 문법으로 키바나 처럼 쉽게 웹 기반의 엔진 구축이 가능합니다.
require 'elasticsearch/model'
class Article < ActiveRecord::Base
include Elasticsearch::Model
include Elasticsearch::Model::Callbacks
end
Article.import
@articles = Article.search('foobar').records
위에는 샘플코드인데, MVC 작성하는데 크게 복잡하진 않습니다. 내용은 아래 git 주소 참고해주세요.
https://github.com/elastic/elasticsearch-rails
이런식으로 제공해주는 template 적용도 가능합니다.
#> rails new searchapp –skip –skip-bundle –template https://raw.github.com/elastic/elasticsearch-rails/master/elasticsearch-rails/lib/rails/templates/01-basic.rb
#> rails new searchapp –skip –skip-bundle –template https://raw.github.com/elastic/elasticsearch-rails/master/elasticsearch-rails/lib/rails/templates/02-pretty.rb
다만 여기서 제공해주는 template 사용 시 하나 문제가 발생하는데요.
apply https://raw.github.com/elastic/elasticsearch-rails/master/elasticsearch-rails/lib/rails/templates/01-basic.rb
https://raw.github.com/elastic/elasticsearch-rails/master/elasticsearch-rails/lib/rails/templates/01-basic.rb:39:in `apply': uninitialized constant #<Class:#<Rails::Generators::AppGenerator:0x00555fe6349c70>>::JSON (NameError)
요런 문제가 발생하는데.. 저만 나타나는 문제가 아니더군요. 설마 또 버전 관련 문제인지.. 아무튼 아래 이슈 참고해주세요.
https://github.com/elastic/elasticsearch-rails/issues/313
Reference #
https://www.elastic.co/kr/products/elasticsearch https://github.com/elastic/elasticsearch-rails https://github.com/platanus/elastic-rails