데이너마이닝 업종에 종사한 지 10년이 되었다. 2년쯤 전부터 갑자기 화제가 되면서 보는 관점에 따라 다양한 이름으로 불리고 있다, 데이터마이너, 빅데이터 전문가, 데이터 사이언티스트, 데이터 분석가, 퉁계분석가, 개발자, 컨설턴트, 모델러 등등이 그것이다. 글에서 제일 중요한 것은 제목이고, 객체에서 제일 중요한 것은 이름이다. 여러가지 직업명 중에서 하나를 고른다는 것은 내 직업의 정체성을 스스로 정의한다는 의미다.
나는 데이터마이너이지만, 조금 더 광의의 의미로 정의하면 엔지니어다. 공학 출신이고, 그 중에서도 다양한 분야를 넓고 얕게-_-배워 실제 산업 현장의 문제를 해결하는 산업공학을 백그라운드로 깔고 있다. 이론적인 가정 하에서 명확한 변수들로 복잡한 이론으로 풀어나가는 학문과는 달리, 현실에는 워낙 많은 영향 요소들이 난립하기 때문에 제약조건도 많고 각 도메인 특성별로 제어하기 어려운 외부 요인들이 많다. 그렇기 때문에 고급의 기술을 적용하는 것보다, 심플한 로직을 순발력 있고 유연하게 적용해나가는 것이 더 중요한 경우도 많다. 성능이 비슷하다면 심플한 로직이 더 robust하고 비용이 적게 드는 것은 당연하다.
알고리즘을 개발하고, 개선하고, 수식을 전개하고, 새로운 트랜드의 신기술을 앞서나가 배워나가는 것은 주 관심사가 아니다. 그런 일을 하는 사람들을 알고 있으면 되고, 실제로 그런 분들이 옆에 계셔서 많은 도움을 받고 있다. 이론적인 공부를 하는 이유는, 내게 주어진 문제를 다각도로 검토하고 조금 더 나은 솔루션을 찾기 위해서이다. 다양한 알고리즘을 공부하고, 그들의 이론을 정리한 수식을 이해하는 것, 더 높은 성능과 효율을 낼 수 있는 신기술을 받아들이는 것은 평생 해야 하는 일이고 하고 싶은 일이다. 전쟁터에서 순발력있게 싸우기 위해 다양한 무기를 갖추기 위함이지, 무기 자체를 설계하고 개발하는데에는 욕심이 없다. 목적은 창조나 업계 선도가 아니라, 문제 해결이다. 간단한 알고리즘이 좋다는 선입견에 갇혀 신기술을 받아들이지 않는 것은 정말 위험하지만, 화려한 기술이 멋있어 보이기 때문에 기본을 덜 중요하게 여기는 것도 위험하다.
실제 현장에서 문제를 풀어내다보면, 기술적이거나 수학적인 요소보다 더욱 중요한 것들이 훨씬 많다. 도메인에 대한 이해, 데이터의 품질, 함께 일하는 사람들의 협조 정도, 그리고 문제 자체에 대한 정의가 제대로 되었는가, 일의 우선순위는 바르게 결정하였는가 등이다. 나를 포함한 대부분의 사람들은 문제를 제대로 알기도 전에 문제를 풀어내려고 뛰어드는 습성이 있다. 정말 중요한 것은 해야 하는 것이 무엇이며, 그것을 해야 하는 이유와 목표가 주변과 바르게 공유되었는가이다. 일을 시작하기 전에, 시작하고 나서, 진행 도중에, 끝나고 나서도 수시로 체크해야 한다. 그러지 않는다면 열심히 달려가다가 이 산이 아닌가벼 하며 도로 내려와야 하는 일이 생기게 된다.
일은 하면 할수록 어렵다. 하나만 하면 될 것 같은데, 그걸 해내고 나면 더 해야 할 것들이 두 가지 보이고, 두 가지를 끝내면 더 해야 할 것이 열 가지는 보인다. 시야가 넓어지고 있는 것이리라. 잘 차려진 밥상에서 숟갈질만 열심히 하면 되는 일이 있고, 재료부터 다듬어서 요리를 하며 정말 내가 균형있는 밥상을 잘 차려낼 수는 있을까 고민해야 되는 일도 있다. 확신을 스스로에게 부여하고, 옆에도 부여해야 하는 마인드 컨트롤을 잘 하시는 분들을 존경하며, 어쩌면 이것이 단순히 일의 일부가 아니라 인생의 삶 자체가 아닌가 생각하게 된다. 다음 길모퉁이까지의 거리가 점점 더 길어지는 것 같다. 혈기 넘치는 20대에 일을 시작해서, 인생을 긴 호흡으로 바라보며 쉽게 바꾸기 어려워지는 40대를 향해 달려가는 중간의 먹먹함이리라 짐작한다. 가정에서의 변화도 있었고, 직장에서의 변화도 있었다. 마음에 드는, 내가 주도한 변화도 있지만, 외부에서 밀려들어와 어쩔 수 없이 바뀌어버린 것들도 있다. 이런 것들 사이에서 호흡 호흡 한 걸음 한 걸음 나아가고 있는 것은 내가 내 일을 좋아하고, 데이터마이닝을 하는 엔지니어로서 자부심이 있기 때문일 것이다. 1인 기업가이자, 훌륭한 중간자가 되어 변화를 수용하고 그 안에서 더 나은 발전을 꾀할 것이다. 일단 안식휴가 갔다와서... ㅎㅎㅎ
'일 > Data Mining' 카테고리의 다른 글
데이터 사이언티스트? (0) | 2016.02.20 |
---|---|
Triangle numbers (0) | 2014.08.09 |
맥킨지, 차트의 기술 (0) | 2014.02.27 |
[샘플링 가이드] 신뢰구간과 표준오차에 따른 샘플 수 계산. (0) | 2014.01.02 |
연관분석 lift confidence support (0) | 2013.08.22 |