DEVIEW 2016 2일차 후기

더 까먹기 전에 정리하려고 한다

DEVIEW 2016 2일차에는 데이터와 관련된 세션들이 많았다

딥러닝과 관련된 주제가 많았는데, 작년에 "머신러닝이 짱이다..!" 라고 이야기 듣다가 이제는 "딥러닝이 짱이다...!" 라는 이야기를 deveiw를 통해 인지한 나여서, 세미나에서 언급된 방법론에 대해서는 깊게 이해하지는 못했다.

딥러닝, 데이터마이닝과 관련된 세션들을 많이 들었지만 기억에 가장 기억에 남는건 

"딥러닝을 활용한 이미지 검색: 포토요약과 타임라인" 세션과 "카카오의 데이터 파이프라인에 대한 소개" 세션이었다.

딥러닝을 활용한 이미지 검색 세션

---

딥러닝을 활용한 이미지 검색 세션은 두명의 발표자가 발표를 했는데, 이중 네이버 이미지 타임라인 세션이 재미있었다.

발표 자료 

[222]딥러닝을 활용한 이미지 검색 포토요약과 타임라인 최종 20161024 from NAVER D2

네이버 이미지 타임라인 서비스는, 모바일에서 유명인을 검색한 경우 이벤트가 일어난 시간의 흐름으로 정보를 묶어서 보여주는 기능이다. ( PC에서는 지원하지 않고, 모바일 환경에서만 보인다 )

연사자께서 이 서비스를 구현하면서 만난 이슈와 해결방법에 대해서 이야기 주셨는데, 

이 중 기억에 남는 두가지 이슈가 있었다.

a. 이벤트의 추출

타임라인으로 표시하려면, 시간순서대로 이벤트를 추출해내야한다. 그래서 네이버는 텍스트와 이미지에서 이벤트를 추출해내려고 했다고 한다. 

텍스트의 경우는 관련 기사를 크롤링한 후, TF IDF 기법을 사용해 주요 키워드를 추출해내어 기사의 이벤트를 가져왔다고 한다. 

( 여기서 걸그룹 / 서울 같은 키워드는 다른 기사에서도 자주 나오는 키워드여서, 이 기사의 주요 키워드로 볼 수 없다. 그런데 트와이스 쯔위, 뮤직뱅크 등은 다른 기사에서 자주 언급되는 키워드가 아니기 때문에 주요 키워드라고 볼 수 있다. 이러한 키워드들을 뽑아내어 기사에서 이벤트를 추출해냈다고 볼 수 있다. )

그리고 네이버 개발 담당자는 초기에 유명인을 조회할 때, 유저들의 주요 관심사는 공항 / 출근길 패션 등일거라고 예상했다고 한다. 그래서 유명인의 이미지를 통해 패션정보를 얻어서 이벤트를 식별해내려고 했다고 하셨다. 

그래서 이미지 분석 기술을 사용해 유명인의 패션 정보를 가져와서 판단하려고 했지만 어려움이 있었다고 했다.

사진이 찍힌 거리의 차이 등만으로도 같은 의상이 이미지 분석기에서는 다른 패션으로 추출되어 오히려 이벤트를 추출하는 데에 더 노이즈를 줬기 때문이다. 

그래서 결국 이벤트를 추출하는 데에는 텍스트 마이닝을 주로 사용하였고, 이미지에서 이벤트를 추출해내는 데에는 어려움이 있었다고 한다. 

b. 이미지 검색 노이즈 제거 

만약 유명인을 검색했을 때, 유명인의 포즈 / 장소 등이 아주 유사한 이미지가 연달아 나오는 경우, 사용자에게 피로감을 줄 수 있다.

( 같은 날 / 같은 장소의 쯔위지만 모두 다른 이미지들이다! )

그래서 네이버는 이러한 노이즈를 줄이기 위해 

이미지 타임라인 서비스는 제한된 갯수의 이미지만 유저에게 보여줬고, 

유사한 이미지를 필터링/통합하여, 각기 다른 이미지로 인식되는 것들로만 구성되도록 만들었다고 한다. 

네이버 포토 타임라인 관련 자료 

네이버 이미지 타임라인 베타 서비스 관련 블로그 

해당 세션의 관련 기사 자료

---

카카오의 데이터 파이프라인  

---

관련 자료

[236] 카카오의데이터파이프라인 윤도영 from NAVER D2

카카오에서 오픈소스로 공개할 예정인 S2Gpaph가 무엇인지에대한 관심보다, 카카오에서의 데이터 파이프라인 프로세스가 어떻게 되는지에 더 집중해서 들었었다. 

카카오의 서비스들에서 발생하는 이벤트 ( 클릭, 노출 이벤트 등.. )이 한 로그 시스템으로 들어가서 통합 관리 된다는 점,

그리고 API로 관련 데이터 요청 시 10초 안에 가공된 데이터가 리턴된다는 점이 기억에 남았다.

여러 서비스를 운영하는 기업에서 데이터를 한 곳에서 관리한다면, 이를 마케팅이나 서비스 최적화에 활용하는 데에 엄청! 시너지를 발휘할 것 같다.

큰 회사들은 이게 당연한 거겠지만... 나는 "오올... 역시 카카오...?!?!" 라는 생각을 했다

---

DEVIEW 2016 2일차 후기 끝! 

DEVIEW 2017도 가야징