성훈이네- Product Manager & Data Miner 의 일상

이런 청첩장을 만들 수 있는 사람은 적어도 내가 아는 사람 중엔 한사람 밖에 없다.

최주식...멋진넘이다.. 이 녀석이 얼마나 멋진넘인지 궁금하시면 http://www.poodree.net 에 가보시라.

하루 24시간, 지난 3년간어쩌면 가족보다도 오랜시간을 함께 지내온 이들과의 이별...

그저께는 아쉬움으로 그렇게 꽤 오랜시간을 함께 있었다...은선대리가 보내온 멋진 사진들...

주식과장이 내 트럼프 점을 봐주고 있다...

썰을 풀다보니...디렉토리에 관해 모아두었던 자료들을 하나씩 찾아보게되는군요.

오늘은 디렉토리에 대해서 보다 세부적으로 그리고 새로운 시도들에 대해서 한번 알아보자구요.

디렉토리의 장점은 사용자의 mentalobjective 가 확증적이라면, 즉 사용자가 찾고 있는 것을 알고 있다면, 그 결과가 대부분의 경우에 유효하다는 점입니다.단점은 분류체계가 충분히 분화 되지 않고, 모든 컨텐츠가공평한 기준으로 분류되기가 힘들다는 점이죠.

누구나 분류하는 관점이 다를 수 있으며, 어떤 사물이나 사실에 관한 정보는 고유의 속성체계(혹자는 이를 유식하게 ontology라고도 합니다.)를 가지기 때문에 이를 공평한 기준으로 나눈다는거 자체가 불가능에 가까운 겁니다.

예를 들어 설명합니다. 자동차라는 디렉토리를 만든다고 하면, 소형, 중형, 대형 이렇게도 나눌 수 있을거구, 일반승용, 승합, SUV, 상용 등으로 나눌 수도 있을겁니다. 근데 음악이라는 디렉토리는 소형음악, 중형음악, 대형음악 이렇게 나눌 수가 없잖습니까? ㅋㅋ, 같은 음악도 장르, 스타일에 따라 매우 달리 나뉘어질 수 있습니다. 장르라면 jazz, pop, rock 등이 있을테고, style 은 무거운 곡, 빠른 비트 등등등으로 나뉠 수 있을겁니다.

그래서, 웹서퍼들은 기본적인 정보분류에 대한 공부도 하지만, 해당 디렉토리에 전문적인 식견을 가지고 있어야 합니다. 그래서, 예전에 야후에서는 전직 선생님께서 어린이 컨텐츠 디렉토리를 담당하셨고, 한의사가 의학 컨텐츠 디렉토리를 담당하셨다고 하는겁니다.

사실, 돈만 좀 많이 받는다면웹서퍼라는 직업 만큼 재미있는 직업도 없을거예요. ^^ 그리고, 대부분의 웹서퍼들은 매우전문가적인 식견과 해당 정보체계에대한 긍지를 가지고 있는 멋진친구들이랍니다.

이러한 디렉토리의 단점을 개선하기 위한 시도들이 있었습니다.

Visualization 과 Text Clustering 기법들이 그러한 시도들인데요.

Visulaization 은 Webbrain, NorthernLight (지금은 기업용 솔루션을 맹급니다), Xerox의Cat-a-con 모델들입니다. 이는 디렉토리의 구조와 관계를 3차원으로 시각화하여, 보다 향상된 항해구조를 지원합니다.

또한, Alexa, Ranky.com의 경우에서 처럼 인기도를보조적인 항해구조로 지원할 수 도 있을 겁니다.

이게 왜 재밌냐? 항해 구조가 3차원으로 펼쳐지는 구조랍니다. 사실 더 헷갈릴지도 몰라요.

<웹브레인의 항해 및 검색결과>

Text Clustering 은 인위적인 Directory 가 아니라 문서간의 유사성(키워드, 패턴, 정보관성, 참조구조)를 통해서 동적으로 문서를 재분류해내는 기법입니다. 대표적인 Text Clustering 검색엔진으로는 mysimon 으로 유명한 윤여걸 사장이 맹근 Wisenut , 메타 검색엔진으론 Vivisimo 등이 있습니다. 근데 문제는 한글은 그 특수성때문에 아직 이엔진들이 효과적인 클러스터링을 지원하고 있지는 못하답니다.

디렉토리가 아주 쉬운것 처럼 보이셨겠지만, 기~~인 역사만큼이나 많은 연구들이 있었고, 이게 있었기에 오늘날 검색기술이 많이 발전했다는 것은 여러분들 꼭 알아주셨으면 합니다.

다음시간엔 키워드 서치로 넘어갈까 하는데요..음...우선 정보요구의 불균형 즉 키워드 검색에서의 8:2의 법칙을 잠시 이야기 하고, 최근 검색엔진의 상업화에 대해 한번 고민해보기로 하겠습니다.