[리서치]람다 아키텍처

람다 아키텍처

람다 아키텍처란 실시간성 데이터를 처리하는 스피드레이어와 지난 데이터를 다루는 배치레이어를 별도로 두어서 

실시간으로 대용량 데이터를 안정적으로 관리하는 방법론이다. 람다 아키텍처 공식 사이트 

람다 아키텍처의 특성 

- 시스템에 문제가 있어도, 전체적인 기능은 정상적으로 작동된다.
- 다양한 종류의 작업에서도 잘 작동한다.
- ​처리해야하는 양이 많아도 잘 버텨낸다.
- 레이턴시가 짧다.
- 확장성이 높다.

요 5가지 특성을 목표로 만들어진 아키텍처라고 한다. 확장성 높은 아키텍처라는 점에서 귀가 솔깃하다. @ㅂ@

리서치를 하면서 들었던 생각

많은 회사에서 람다 아키텍처를 기반으로 데이터 파이프라인을 구축했다 ( 통계 시스템 관련 자료를 찾아보면, 람다 아키텍처라는 이야기가 계속 등장한다. )

그리고 스피드 레이아웃으로 스파크 스트리밍을 주로 사용하는 걸로 보인다. 

읽을 만한 글

빅데이터 분석을 위한 람다 아키텍처와 소개​

스파크 기반으로 배치처리를 만든 사례에 대한 포스팅 => SACK(Spark,Akka,Cassandra,Kafka) 스택으로 만들었다고 한다.