팀에서 자기계발 과제로 작성한 ‘NoSQL 정의와 사례 정리’를 블로그에 공개합니다.

NoSQL 정의

No SQL? Not Only SQL?

NoSQL은 관계형 데이터베이스의 한계를 극복하기 위한 데이터 저장소의 새로운 형태로 수평적 확장성을 특징으로 한다.
관계형이 아니기 때문에 join이 없고 고정된 스키마를 갖지 않는다.

대표적인 NoSQL 제품은 Google의 BigTable, Amazon의 Dynamo이 있고, 이외에 비롯해 다양한 오픈소스 제품이 소개되어 있다.

Why NoSQL?

데이터 규모의 확대

• 저장할 데이터가 많아지면서 읽고/쓰기에 있어서 RDB가 제약 요소가 되었다.
• RDB의 수평적 확장성 한계로 새로운 해결책이 필요했다.

웹 서비스의 구조 변화

• 저장할 데이터의 형태가 계속 변화한다.
• 사용자의 데이터 요구가 일관적이지 않고 다양하다.

NoSQL 선택

BigTable, Dynamo, Cassandra, CouchDB, MongoDB, Hbase, Riak, Voldemort 등 20개 이상의 NoSQL 제품이 있고,
자신의 목적에 맞는 NoSQL 제품을 선택하기 위해서는 각각의 특징을 정확히 파악해야 한다.

CAP 이론

CAP이란?

• Consistency: 각각의 사용자가 항상 동일한 데이터를 조회한다.
• Availability: 모든 사용자가 항상 읽고 쓸 수 있다.
• Partition tolerance: 물리적 네트워크 분산 환경에서 시스템이 잘 동작한다.

CAP 이론과 NoSQL

데이터 저장소는 CAP 중에서 2가지만 선택할 수 있다. 예를 들어 RDB는 CA에 특화되어 있기 때문에 분산 환경에 적용이 어렵다.
NoSQL 제품은 CAP 중에서 C 또는 A를 일부 포기함으로써 분산 확장이 가능하다. 일반적으로 NoSQL 시스템은 관계형을 포기하거나 트랜잭션 구조를 느슨하게 함으로써 수평 확장이 가능하도록 한다.

CAP과 데이터 모델에 따른 구분 (각각의 구분은 설정에 따라 변경될 수 있다.)

RDB 대안

RDB 대안에 NoSQL만 있는 것은 아니다.

RDB cluster

• Oracle RAC, MySQL cluster
• 분산 확장과 안정성을 강화한 RDB 솔루션
• 단점)
  • 확장 비용이 비싸고 적용 및 관리에 고급 기술이 필요하다.
  • 읽기 성능만 향상된다.
• 장점)
  • 최소한의 개발 비용으로 도입이 가능하다.
  • 비용 예측이 가능하다.
  • 상용화된 지원이 가능하다.

Memory Cache

• memcached, Coherence, Santa
• RDB 앞단에 메모리 캐시를 두고 읽기 또는 읽기/쓰기를 캐싱한다.
• 단점)
  • 메모리 비용이 비싸다.
  • 메모리 크기에 제약이 있다.
  • RDB를 저장소로 사용하지만 장애시 일부 데이터가 손실될 수 있다.
• 장점)
  • 가격대비 효율성이 disk보다 훨씬 높다.
  • 읽기/쓰기 성능을 크게 향상시킬 수 있다.
  • 읽기/쓰기 수평 확장이 가능하다.

NoSQL

• 디스크 기반의 수평 확장이 뛰어난 데이터 저장소
• 단점)
  • Persistence Layer를 새로 개발해야 한다.
  • 사용화된 지원이 어려울 수 있다.
• 장점)
  • 읽기/쓰기 성능 및 확장성이 뛰어나다.
  • 일반 저가 장비를 사용할 수 있다.

NoSQL 교체 비용, 가치, 특징 비교

API, Data Model

• Interfaces- REST (HBase, CouchDB, Riak, etc.), MapReduce (HBase, CouchDB, MongoDB, Hypertable, etc.), Get/Put (Voldemort, Scalaris, etc.), Thrift (HBase, Hypertable, Cassandra, etc.), Language Specific APIs (MongoDB).

• Logical Data Models-Key-Value oriented (Voldemort, Dynomite etc.), Column Familiy oriented (BigTable, HBase, Hypertable etc.), Document oriented (Couch DB, MongoDB etc.), Graph oriented (Neo4j, Infogrid etc.)

• Data Distribution Model- Consistency and Availability(HBase, Hypertable, MongoDB etc), Availability and Partitionality (Cassandra etc.).

• DataPersistence-Memory Based (e.g. Redis, Scalaris, Terrastore), Disk Based (e.g., MongoDB, Riak etc.), Combination of both Memory and Disk(e.g., HBase, Hypertable, Cassandra).

NoSQL 제품 특징 비교

사례

해외사례

• Google Bigtable
  • 모든 URL 기반의 문서 정보 수집 (Key/Value 기반의 Bigtable에 저장)
  • 수집한 정보를 Map/Reduce로 색인 (색인 데이터도 Bigtable에 저장)
  • Document에서 사용하는 정보가 계속 추가될 수 있다. (URL, title, 본문, meta tag 등)
• Amazon’s Dynamo
• Digg.com Cassandra
  • 내 친구가 추천한 정보를 보여주기 위해서 NoSQL이 필요해짐
• Twitter Cassandra
  • 모든 사용자의 글을 하나의 DB에 저장할 수 없다면 내가 팔로우하는 timeline은 어떻게 보여줄 수 있을까?

NHN 인증 플랫폼

• 요구사항
  • backend DB 점검 시에도 read가 가능한 시스템
  • 로그인 사용자 세션 정보를 저장 및 조회
• 구현
  • MySQL 클러스터링으로 세션 정보 저장 – MySQL을 메모리 DB로 사용
  • in-house 메모리 DB로 사용자 정보 저장 – Oracle 로그 기반으로 메모리 리플리케이션

Daum view 추천 플랫폼 (예정)

• 사용자의 추천을 모두 수집한다.
• 소셜 네트워크를 저장한다.
• 추천 정보를 추천 히스토리와 소셜 네트워크 기반으로 Map/Reduce 분석
• 신뢰도 높은 추천 기반으로 문서 랭킹 부여

Daum Cafe

• ‘최근 방문 카페’ 기능에 Cassandra 적용

Reference

• Should Web Apps “Just Say No” to SQL?
• NoSQL in the Enterprise
• Visual Guide to NoSQL Systems
• NoSQL Ecosystem
• Designing a Scalable Twitter with Space-Based Architecture
• 기술적인 욕심 때문일까? 제대로 된 방향일까?

처음에는  [^가-힣ㄱ-ㅎㅏ-ㅣ]  형태로 한글을 범위로 해서 찾았는데, 이렇게 하니 윈도우 기반 로컬 머신에서는 잘 동작하던 모듈이 linux 머신에서는 동작하지 않았다. 다른점을 살펴보니 linux 머신은 utf-8 기반이였고, 한글 정규표현식이 다르게 동작하는 것으로 보였다.

그래서 현재는 [^\\u3131-\\u318E\\uAC00-\\uD7A3] 와 같이 유니코드로 범위를 표시해서 한글 이외의 문자를 제거하고 있다. Java가 내부적으로 UTF-16을 사용하는 것으로 알고 있는데 정규표현식에서 서로 다르게 동작할 수 있다는 사실을 처음 알게 됐고, 이렇게 해결하긴 했지만 동작 원리를 정확히 이해하지는 못하고 있다.

(?u)[^가-힣ㄱ-ㅎㅏ-ㅣ] 이렇게 유티코드 옵션을 주고 실행해도 정상 동작하지 않는다. 찾아보니 UNICODE_CASE 일 때 범위 표현은 사용할 수 없다고 한다.

또 하나 고민은 (</?[bB][rR][ ]*/?>|</?[pP]/?>|</?[dD][iI][vV]/?>|</?[lL][iI]/?>|</?[tT][dD]/?>) 와 같은 형태로 html 태그 중에서 단락을 구분지어 주는 태그를 약속된 구분자로 치환하려는데 이때 2가지 문제가 발생한다.

첫번째는 분석하려는 본문이 길 때 치환에 시간이 많이 걸린다는 것이고, 또 하나는 가끔 StackOverflowError가 발생한다. 검색을 해보니 복잡한 정규표현식이나 분석하려는 대상이 길 때 발생할 수 있고 해결되지 않은 문제라고 한다. 정규표현식을 좀 더 명확하고 단순하게  개선하면 에러 발생을 줄일 수 있다는데 어떻게 하면 될까?

우선은 (?i)(</?br */?>|</?p/?>|</?div/?>|</?li/?>|</?td/?>) 대소문자 구분을 하지 않게 하고 필요 없는 표현을 제거했다. 실행 속도는 거의 변화가 없고 StackOverflowError가 줄어들지는 지켜봐야 한다.

(회사 동료분의 힌트로 다시 한번 수정. 현재는 (?i)</?(br *|p|div|li|td)/?> 형태로 더 간단해졌다.)

요즘 왜 여유가 없는지 생각해보면 그만큼 할 일이 늘어난 것 같다. 회사에서는 7월이 되면서 Daum view 관련 프로젝트를 마무리하고 검색 품질 관련 업무를 하나씩 시작하고 있다. 두 팀에 모두 소속되어 있으면서 서로의 가치와 경험을 합쳐 더 큰 가치를 창조해야 하는데 두 조직의 성향이나 구성이 상이해서 내가 잘 해낼 수 있을지 아직 잘 모르겠다. 회사로서도 팀원의 겸직이 드문 일이고 개인적으로도 사용자가 참여하는 검색을 만들고 싶은 욕심이 있는데, 우선 내가 잘 해야 되는 일이라 생각해서 조금 무리하고 있는 것 같다.

회사 일 외에도 하는 일이 조금씩 계속 늘어나고 있다. 수요일마다 모이는 체육관 농구는 참가 인원이 늘어나면서 이런저런 조정을 해야했는데 그 과정에서 발생한 갈등을 잘 해결하지 못하고 있다. 외국인 친구들과 회사 농구 동호회 사람들, 그리고 다른 제주 친구들이 같이 모여서 운동을 하다 보니 모두가 만족할 수 있게 조정하는 것이 쉽지 않다. (개인적으로 그냥 편하게 농구를 즐기고 싶은데 주도적 성격 때문인지 자꾸 일을 크게 벌이게 된다. 하지만 하고 싶은 일을 하기 위해선 누군가 열정적으로 할 수 밖에 없는 것 아닐까.) 월요일에는 장애인 야학에서 수학을 가르치고 있는데 이것도 새로운 경험이라 잘 하기 위해서 고민과 준비에 시간이 필요하다. 이외에도 아침에 전화 영어 수업을 11개월째 듣고 있고, 한 외국인 친구가 자신만의 창의적인 사이트를 만드는 것을 도와주려고 하고 있다. (이건 가능하면 직접 만드는 것이 아니라 친구가 원하는 사이트를 만들 수 있는 사람을 찾아서 멘토링을 할 생각이다.)

결국 점점 스트레스가 쌓이는 것 같아 오늘 하루 휴가를 냈다. 왜 여유가 없을 정도로 바빠지는 것을 조정하지 못할까? 스스로 생각할 시간이 필요했다. 지금 백지에서 다시 삶을 써내려 간다면 어떤 삶을 살 수 있을까? 내 삶에서 어떤 것은 빼고, 어떤 것은 지우고, 어떤 것은 개선하는 라이프 리팩토링이 필요하다.

PS) 사실 오늘 휴가에서 경험한 것을 적으려고 시작한 글인데 전혀 엉뚱한 얘기만 한 것 같다. ㅎㅎ

그래서 휴가 얘기를 조금 해 보자면…

어제 퇴근 바로 전에 업무 요청이 있어서 오늘 잠시 회사에 나갔다. 그리고 어제 외국인 친구 한명이 소개해 준 그랜드 호텔의 ‘웰빙 부페’에서 아내와 점심을 먹었다. (8,500원의 점심 샐러드 부페인데 거의 채식 위주이고 음식도 괜찮은 편이다.)  식사를 마치고 무엇을 할까 생각하다 문뜩 떠오른 ‘저지오름’에 가기로 결정! (저지오름은 민둥산에 가까운 오름을 마을 사람들이 숲이 무성한 오름으로 변화시킨 곳으로 제주올레 13코스가 이곳을 지난다.) 저지오름에 가는 길에 곽지해수욕장에 들러 잠시 물에 발을 담궈 보았다. (곽지해수욕장은 제주시에서 가까운 편이고 사람은 적지만 물이 깨끗하고 수영하기 좋은 곳이다. 올해는 1박2일에서 소개됐다는 이유로 사람이 붐빌까 걱정이 되는 곳이기도 하다.)

그리고 저지오름에 가서 약 3km 정도 숲길을 걸었다. 그런데 문제가 하나 있었는데 아무 계획 없이 나오다 보니 아내가 힐이 있는 슬리퍼(웨지 힐? 통굽 힐 슬리퍼?)를 신고 온 것이다. 올라갈 때는 괜찮았는데 내려올 때는 아무래도 힐을 신고 산길을 내려오는 것이 쉽지 않았다. 그래서 과감히 신을 벗고 맨발로 걸어 내려 왔는데 이게 상당히 괜찮았다. 촉촉하고 푹신한 흙길, 깨끗한 숲길을 맨발로 걷는 느낌은 처음이었고 너무 좋았다. (사정도 모르는 다른 분들은 ‘맨발의 청춘이네~’, ‘발 조심해요~’라고 인사하며 지나쳐 갔다. )

마지막으로 오는 길에 ‘물메골’에서 연잎밥을 먹고 왔다. 이곳 식사는 오신채가 들어가지 않은 사찰음식으로 오늘은 산초가 많이 사용된 산뜻한 반찬을 많이 맛볼 수 있었다. 이렇게 멋진 오늘 하루 휴가를 사진으로 보여주고 싶지만 점심 식사 후 아이폰 배터리가 다 되었고, 카메라도 가지고 가지 않아서 그저 이렇게 밋밋하게 글로 주저리 주저리 쓰고 있으니 미안한 마음이 든다. ㅎㅎ

최근 개인적으로는 몇 주간의 바쁜 회사일로 초과근무를 했었다. 하루에 2시간 정도 더 일을 했더니 삶의 여유는 급격하게 줄어들고 새로운 것을 배우거나 시도할 힘을 잃어갔다. 게다가 초여름 제주는 축축하고 더운 날씨가 계속 되었고 왠지 삶은 무겁게 느껴지고 나는  내 자신에게서 소외되어 갔다. 이 때 하루에 한 장씩 힘들여 읽은 책이 바로 이 ‘빼앗긴 자들’이다.

사회는 혁명을 통해 진화한다. 혁명을 통해 탄생한 사회도 다시 한번 자기 파괴를 하지 않으면 본래의 가치를 잃어버리고 인간의 나쁜 성향이 사회를 점진적으로 지배하게 된다. 이러한 모습은 회사나 팀, 개인에게도 똑같이 적용되는 것 같다. 10년을 목표로 시작한 내 회사 생활도 크게 보면 처음 목표에 맞게 가고 있지만 더 작게 나눠서 보면 더 새롭고 좋은 것을 찾고 있지는 못한 것이 사실이다. 팀에서도 더 좋은 방법을 찾고 고민하기 보다는 기존 논리를 반복하고 있는 것은 아닌지 다시 되돌아 보게 된다.

나는 나 자신의 한계를 스스로 지우고 있지는 않는지, 내 나이로, 내 능력으로, 내 경험으로 내 한계를 정의하고 있지 않는지 고민해 볼 때인 것 같다. 그리고 내 삶을 다시 정리할 필요가 있다.

두 팀에 속해 있는 회사 생활, 야학, 농구, 영어수업, 도움과 조언들, 고양이, 채식, 트위터, 블로그… 뭔가 늘어만 가고 줄지 않는 생활에 내가 정말 집중해야 할 일들을 하지 못하고 있는 건 아닐까?

내부 팀들간의 인재채용 경쟁이 치열해서 그런 것일까? 현재 Daum view 공식 블로그에서도 안내를 하고 트위터에서도 알렸지만 생각보다 많은 분들이 관심을 갖고 지원을 하고 있지는 않다. (‘많은 지원’이 충분조건은 아니지만 아무래도 정말 딱~ ‘이 사람이야’ 하는 사람을 찾기가 쉽지 않다.) 결국은 한분 한분 지원자를 꼼꼼히 살펴보고 관심을 갖고 좋은 점을 놓치지 않게 주의를 기울일 수 밖에 없는데,이런 과정이 결국은 나와 내 서비스가 부족해서 초래된 것은 아닐까 생각되기도 한다.

사실 같이 일할 사람을 찾는다는 건 쉽지 않다. 개인적으로 구글에 면접을 봤을 때도 느꼈지만, 실력과 문화(성향) 둘 다 회사가 원하는 높은 기준을 충족시켜야 하고, 동시에 좋은 사람을 찾는 것보다 팀에 맞지 않는 사람을 뽑지 않도록 주의를 기울여야 한다. 인재에 등급을 부여하는 것이 옳은 생각인지는 모르겠지만 , 매우 뛰어난 A, 괜찮은 B, 부족한 C로 나눠보았을 때, A 인재를 뽑으려는 노력을 포기해서는 안된다. A는 같이 일할 동료로 A를 선택하기 때문에 회사의 문화가 유지될 수 있으나, 회사나 팀에서 어떤 이유로 B 인재를 뽑는다면 그 사람은 다음번에 C를 뽑을 확율이 높고 이로 인해 한순간에 뛰어난 회사가 평범한 회사가 될 수 있다.

사실 국내에 A만 뽑는 회사가 있을 것 같지는 않지만 적어도 팀에서는 그럼 노력을 해야하는 것이 아닐까? 아마 내가 이 팀의 문화를 중요하게 생각하기 때문에 이런 것에 더 집착하는 듯 싶지만 그래도 포기하고 싶지는 않다. ‘급하게 생각하지 말고 정말 좋은 사람을 찾자.’ 이것이 지금 나의 생각이다. 짧지만 내가 경험한 바로는 열정이 부족하고 스스로 배우지 않으며 효율성보다는 반복을 좋아하는 사람이 있기에, 대화보다는 고립을 선택하는 개발자가 있기에 조심스러울 수 밖에 없다.

다른 회사나 팀에서는 원하는 사람을 어떻게 찾고 있을까? 궁금하다.

대부분 알려준 방법으로 설치가 잘 되는데, 몇 군데 고생한 것들만 기록으로 남겨둔다.

1. 부트캠프는 기본으로 맥이 제공한다. 응용프로그램-유틸리티-부트캠프 지원에서 윈도우를 설치할 수 있다. 나는 32GB 파티션을 생성해서 설치를 진행했다. (오피스를 설치하고 있는 지금 남은 하드 용량은 19GB 정도)

2. 설치 도중 재부팅될 때 CD가 헛돌면서 멈추는 증상 발생. CD를 제거하기 위해서는 option 키를 누른 상태로 리스타트 해주면 OS 선택 화면이 뜬다. 이때 CD 꺼내기 키를 눌러주면 되는데, 이것도 잘 안될 경우 맥으로 부팅해서 시스템환경설정을 통해 윈도우로 부팅을 하면 된다.

3. 내 경우는 윈도우 7 설치 후 부트캠프를 설치했을 때 wifi 및 몇 가지 드라이버가 잡히지 않았는데, 이때 Apple Software Update를 통해 부트캠프를 업그레이드 해주면 모든 드라이버가 정상적으로 잡히게 된다. (이를 위해서는 유선랜으로 인터넷을 연결할 필요가 있다.)

부트캠프 3.1에서는 윈도우 7 정식 지원을 하면서 손가락 두개로 스크롤하기, 손가락 두개로 클릭해서 마우스 우클릭하기 기능이 모두 제공되기 때문에 마우스 없이도 큰 불편 없이 윈도우를 사용할 수 있을 것 같다.

어제는 퇴근길에 노을이 너무 아름다워서 오늘 가까운 이호해수욕장으로 노을 구경을 갔다. 마침 이호해수욕장에는 등불축제가 열리고 있었지만 정작 짙은 구름으로 노을은 지지 않았다. 아쉬운 마음에 사진만 몇장 찍고 돌아왔다.

지금까지의 Daum view가 메타 블로그 서비스였다면 앞으로는 다양한 영역의 더 많은 콘텐츠를 수집하고 이를 더 정교하게 평가해서 Daum 내외부의 다양한 곳에 유통시키는 오픈 플랫폼으로 발전될 것이다. 이미 새로운 광고 영역도 개척하고 있지만 앞으로는 view의 사용자 추천이 검색 랭킹에도 반영되고 view 자체가 포털을 대체하는 정보 유통 플랫폼이 되었으면 한다.

앞으로 내 역할이 어떻게 변할지는 모르겠지만 아마 내가 집중하고 노력하는 곳으로 자연스럽게 흘러갈 수 있을 것 같다. 지금까지 쌓아온 경험을 바탕으로 새로운 곳에서 가치를 만들어 내는 일이면 앞으로 몇년간 재미있게 일할 수 있지 않을까?

사실 이런 변화를 가져오고 전략을 실현하려면 더 많은 분들의 도움이 필요하다. 그리고 당장 같이 일할 사람이 필요한 상태이다. 아마 곧 제주에서 같이 일할 사람을 찾아 보게 될 것 같은데 좋은 분과 같이 일할 수 있기를 바란다.

게임을 안하게 되었고, 농구도 좀 줄었고, 사진도 다시 찍기 시작했고… 왠지 변화가 많은 2010년이 지나면 나는 또 어떤 모습이 되어 있을지 궁금하다.

처음 이사 와서 아무것도 모르고 열심히 텃밭을 정리하다 사랑초를 다 뽑아 버렸는데 다행이 나의 부지런함이 부족했는지 올 봄에 예쁜 꽃들이 다시 피어나고 있다.

(그런데 아직 꽃 이름을 너무 모르는 것 같다. 에휴~)

Unknown small flowers

Purple flowers like bells (Muscari)

Camellia flower

이왕 꽃구경을 시작한 김에 가까운 한라수목원에 걸어가 보았다.

아직 벚꽃 구경은 이른감이 없지 않지만 그래도 봄 기운을 느끼기에 충분할 정도의 많은 꽃들을 볼 수 있었다.

Yellow flower

Camellia Flower

cherry blossom

It's me

Her Smile

게다가 안구건조증이 심해지면서 오후가 되면 눈이 너무 피곤하고,  새로운 것을 만들지 못해서인지 답답함이 느껴지는 나날이 계속 되어 왔다. 그래서일까? 금요일이 되니 두통이 찾아 왔고 집중해서 무엇을 하기 힘들었다. 이럴 때는 자리에 앉아 있기 보다는 일찍 퇴근해서 내일을 준비하는 게 좋을 것 같아 5시쯤 회사를 나섰다. 셔틀 버스를 이용하지 않으면 다른 대중교통이 없기에 집까지 약 4km를 걸어와야 하는데, 차가 다니지 않는 샛길을 찾아 봄 햇볕을 받으며 천천히 걸어왔다.

처음에는 조금 쌀쌀했지만 이내 따뜻한 봄 날씨에 몸도 나른하게 풀리고 아픈 머리도 나아졌다. 길가에는 이름 모를 조그마한 꽃들이 피어 있고, 푸른 보리밭이 여기저기 펼쳐져 있었다. 성급하게 홀로 만개한 벚꽃, 파란 하늘, 나른한 햇살 그리고 돌담들, 모처럼 제주의 봄을 피부로 느낄 수 있었다.

퇴근 길에 만난 청보리밭

조금 이른 봄, 홀로 핀 벚꽃

지난번 농구대회에 참가한 인연으로 오늘 열린 휠체어농구 초청 경기에 초대받아서 이벤트 경기에 참가할 수 있었다. 경기는 후반에 상대편 쪽으로 급격히 기울어졌지만 나름 재미있는 경기였고 의미있는 대회에 같이 참가할 수 있어서 즐거운 시간이였다.

휠체어 농구 경기를 조금 더 보고 유채꽃 길을 걸을 계획이였는데 날도 흐리고 쌀쌀해서 가까운 커피하우스를 찾아 보았다. 지난 주에 우연히 알게 된 ‘커피볶는집 – 오즈비’를 찾아 갔는데 기대했던 것보다 커피도 맛있고 분위기도 좋았다. 얼마전 구입한 중고 D70으로 사진도 몇 장 찍고 집으로 돌아왔다.

서귀포 커피볶는집 - 오즈비

커피 포대로 장식된 오즈비

머리도, 수염도 많이 길었다.

아내와 드럼?