데이타마이닝 Data mining

▣ 데이터마이닝의 등장배경 ▣ 데이터마이닝의 등장배경 데이터마이닝의 개념은 정보기술의 발달과 비즈니스적 요구에 의해 시장에 등장하게 되었다. 먼저 정보시스템의 발전과정을 살펴보면 정보화의 초창기에 EDPS라는 개념이 한때 유행을 하다가 MIS의 개념으로 옮겨지게 되었다. 경영층의 의사결정에 도움을 주는 고급정보를 가공하고 축적하는데 관심을 가졌던 의사결정지원시스템(DSS : Decision Support System)은, 정보화의 개념을 조직의 하부계층의 반복업무를 지원하는 자동화 업무에서 전사적인 개념으로 확장 시키는 역할을 하였다. 그런데 이를 구축하기 위하여 선결과제가 발견되었는데 바로 전사인 시스템을 통합 관리하는 통합 데이타베이스의 구축이었다. 각 부서별로 독립적으로 운영되는 시스템으로는 경영층이 의사결정을 내리는데 별로 도움이 되지 않았던 것이다. 통합 데이터베이스 구축이 어느 정도 이루어졌을 때 발생한 또 다른 문제점은, 방대한 데이터와 정보들 가운데서 찾고자 하는 정보를 정확하고 빠르게 찾는다는 것이 아주 힘들다는 점이다. 이러한 문제는 실제 비즈니스에서 더욱 개선의 필요성이 드러났고, 결국 이를 해결하고자 하는 노력으로 등장한 개념 중에 하나가 바로 데이터마이닝이다. 즉, 고객, 상품, 경쟁사 관련 데이터 등 기업이 얻고자 하는 정보를 보다 손쉽게 접근할 수 있고 효과적으로 활용할 수 있도록 하는 도구가 필요하게 된 것이다. 점점 심해지고 있는 기업 경쟁의 상황에서 더욱 다양해지고 개성화되고 있는 고객들의 필요를 만족시키기 위하여는 그런 요구에 대한 빠른 대응이 요구되었고 이것이 기업간의 경쟁력 척도가 되었다. 또한 지속적으로 경쟁우위를 확보하기 위하여는 효과적이고 합리적인 신속한 의사결정이 더욱 중요하게 되었다. 따라서 기업들의 관심은 데이터를 잘 쌓아놓는 단계에서 벗어나 방대한 데이터의 창고에서 보다 가치 있는 정보를 효과적으로 신속하게 찾아내고자 하는 방법으로 모아지고 있는 것이다. ................................................................................................................................. ▣ Data Mining의 등장배경 기술적 요인 1980년대 거의 모든 조직이 고객과 경쟁자 및 제품에 관한 데이터를 담고 있는 데이터베이스를 정보 인프라로 인식하고 구축하게 되었다. 이런 데이터베이스는 SQL이나 간단한 질의도구로는 찾아내기 어려운 정보를 포함하는 방대한 규모의 데이터베이스를 형성하게 되었다. 네트워크의 사용이 지속적으로 증가함에 따라 다수의 데이터베이스에 접속하는 것이 훨씬 쉬워졌다. 따라서 고객정보 데이터를 인구통계학적이 데이터와 연결시켜 특정집단의 고객의 소비행위를 파악함으로써 이제까지 알 수 없었던 새로운 지식을 얻을 수 있게 되었다. 과거 수년간에 걸쳐서 기계학습기법이 급속히 발전하였다. 신경 망 이론, 유전자 알고리즘 및 일반적인 학습기법 등의 발전으로 데이터베이스에서 지식을 발견하는 것이 용이해졌다. ................................................................................................................................. 기업환경적 요인 기업데이터 자산의 급격한 증가로 인하여 의사결정자는 정보분석 환경에서 경쟁력을 높이기 어렵게 되었고, 이러한 대량의 데이터를 효과적으로 분석하여 정보화하려는 노력이 증가 하였다. 데이터베이스 마케팅의 성공으로 고객을 세분화하고, 특정 고객 층을 표적으로 차별화 된 제품을 차별화 된 접근방법으로 제공하려는 시도가 데이터베이스 마케팅에서 지속적으로 이루어지고 있다 ▣ 데이터마이닝의 등장배경 데이터마이닝의 개념은 정보기술의 발달과 비즈니스적 요구에 의해 시장에 등장하게 되었다. 먼저 정보시스템의 발전과정을 살펴보면 정보화의 초창기에...

데이타마이닝, DM, 데이터마이닝

▣ 데이터마이닝의 특징 ▣ 데이터마이닝의 특징 대용량(massive)의 관측 가능한 자료(observational data) - 운영계에 축적된 과거자료로부터 비계획적으로 수집된 대용량의 데이터를 다룸 ................................................................................................................................. 컴퓨터 중심적 기법(computer-intensive method) - 컴퓨터의 강력한 처리능력을 이용하여 실용화되고 있다. 사용자가 미리 가설을 세우지 않아도 컴퓨터 시스템이 가능한 가설을 스스로 생성하고 이를 검증 ................................................................................................................................. 경험적 방법(adhockery method)에 근거 - 대다수의 Data Mining 기법들은 수학적으로 증명되고 발전된 것이 아니라 경험적으로 개발 .................................................................................................................................. 일반화에 초점 - Data Mining의 주요 관심은 통계적 추론과 검정보다는 예측모형의 일반화에 있음 ................................................................................................................................. 어떤 특정 문제에 한정된 솔루션이 아니라 숨겨진 정보를 찾아내는 하나의 개념적 방법론이며 기술적 조합 ................................................................................................................................. 기업의 다양한 의사결정 활동에 활용하기 위해서 사용 ................................................................................................................................. Data Mining은 통계학, 전산과학, 인공지능, 공학 분야에서 개발되기 시작 - 복잡한 통계학의 분석기법과 모델링의 기법을 이용해서 조직적인 데이터 베이스 내에서 숨은 관계를 발견 ................................................................................................................................. 데이터 마이닝 툴은 데이터로부터 가장 짧은 시간에 가능한 한 많은 유용한 사실을 산출해 내는 방식으로 데이터를 탐사하도록 설계 ................................................................................................................................. 그러나 실제로 이를 활용하는 전문가들은 경영, 경제, 정보기술 분야에서 배출되고 있음 ▣ 데이터마이닝의 특징 대용량(massive)의 관측 가능한 자료(observational data) - 운영계에 축적된 과거자료로부터 비계획적으로 수집된 대용량의 데이터를 다...

데이타마이닝, DM

데이터 마이닝 > D/M의 적용기법 > 연관규칙 연관규칙 | 순차규칙 | 클러스터링 | 의사결정수 | 인공신경망 | 유전기법 | 사례추출 ▣ 연관규칙 (Association rules) 상품 혹은 서비스간의 관계를 살펴보고 이로부터 유용한 규칙을 찾아내고자 할 때 이용될 수 있는 기법 연관성측정(Associations)은 어떤 특정 문제에 대해 아직은 일어나지 않은 답(예를 들어, 부도 · 건전)을 얻고자 하는 예측(Prediction)의 문제나 고객들을 특정목적에 따라 분류(Segmentation)하는 문제가 아니라, 상품 혹은 서비스(이하 상품)의 거래기록(Historical)데이터로부터 상품간의 연관성 정도를 측정하여 관성이 많은 상품들을 그룹화하는 클러스터링(clustering)의 일종 동시에 구매될 가능성이 큰 상품들을 찾아냄으로써 시장바구니분석(Market Basket Analysis)에서 다루는 문제들에 적용 연관성측정에서의 연관규칙은 "상품 A가 구매되어진 경우는 상품 B도 구매된다." 라고 해석된다. 연관 규칙기법을 이용할 수 있는 데이터는 판매시점에서 기록되어진 거래와 품목에 관한 정보를 담고 있어야 한다. 데이터의 형태는 결과변수(targets)를 갖지 않는Unsupervised data이며 특별히 각 고객들이 누구인지에 대한 구분이나 고객들에 관한 성별, 나이 등의 인구 통계학적인 자료를 비롯한 기타 정보들을 필요로 하지는 않는다. .......................................................................................................................... ▣ 측정기준 측정의 기본은 얼마나 자주 구매되었는가 하는 빈도(Count)이다. 이 빈도를 기반으로 연관 정도를 정량화 하기 위해서 다음 세 가지 기준을 고려해야한다. (1) 지지도(Support) - 전체 거래 중 항목 X와 항목 Y를 동시에 포함하는 거래가 어느 정도 인가를 나타내주며 전체적 구매도에 대한 경향을 파악할 수 있다. (2) 신뢰도(Confidence) - 항목 X를 포함하는 거래 중에서 항목 Y가 포함될 확률은 어느 정도인가를 나타내주며 연관성의 정도를 파악할 수 있다. (3) 리프트(Lift / Improvement) - 항목 X를 구매한 경우 그 거래가 항목 Y를 포함하는 경우와 항목 Y가 임의로 구매되는 경우의 비를 나타내 준다. 아래 표는 리프트 값에 대한 설명을 요약하여 나타낸 표이다. "If 운동화, then 야구모자"라는 연관규칙에 대해 위의 세 가지 기준 값을 구해보면, ㆍSupport = 20,000 / 1,000,000 = 2% · ㆍ Confidence = 20,000/ 200,000 = 10% ㆍ Lift = (20,000/ 200,000) / (50,000/1,000,000)= 2 .......................................................................................................................... ▣ 제 약 조 건 두 항목의 기본적인 구매율이 어느 정도 수준이 되어야만 의미가 있다. 즉, 지지도가 어느 정도 수준에 도달해야만 한다. 신뢰도가 높을 경우에는 두 항목 A→B에서 항목 B의 확률이 커야지 이 연관성 규칙에 의미가 있다. 원래 B상품이 구매되는 기본 확률보다 커야 A를 고려해서 B를 생각하는 이 의미가 있을 것이다. 즉, Lift가 1보다 큰 값을 주어야 유용한 정보를 준다고 볼 수 있다. 비즈니스의 니즈(needs)에 따라 어느 정도까지 상세한 상품데이터가 준비되어져야 하는가를 사전에 고려해야 한다. 예를 들어 운동화를 종류에 따라 다르게 취급할 것인지 아니면 운동화라는 큰 이름으로 묶을 것인지에 따라 요구되는 데이터의 상세 정도가 달라질 수 있다. 또한, 어떠한 상품들을 고려할 것인가, 몇 가지 합까지 고려할 것인가를 생각해야 한다. 상품과 그 조합의 수를 줄이는 방법 : Minimum Support Pruning이는 적어도 얼마 이상의 거래가 일어난 상품들만을 고려대상으로 삼는 것으로 데이터의 상황에 따라 각기 다른 Minimum support가 선택되어질 수 있다. 따라서, 연관성측정을 수행하는 방법은 다양한 Minimum support를 선택하는 것이 가능해야 한다. 연관규칙 | 순차규칙 | 클러스터링 | 의사결정수 | 인공신경망 | 유전기법 | 사례추출 ▣ 연관규칙 (Association rules) 상품 혹은 서비스간의 관계를 살...

데이타마이닝, 연관규칙

데이터 마이닝 > D/M의 적용기법 > 순차패턴 ▣ 순차패턴 (Sequential patterns) 동시에 구매될 가능성이 큰 상품 군을 찾아내는 연관성측정(Associations)에서 시간이라는 개념이 포함되어 순차적인 구매 가능성이 큰 상품 군을 찾아내는 것 .......................................................................................................................... 이벤트나 행동의 시간적인 순서를 나타내는 규칙- 예를 들면, "새 컴퓨터를 구입한 사람들 중 25%는 그 다음달에 레이저프린터를 구입할 것이다", "휴대폰은 구입한 40대 남성고객이 3개월 이내에 다시 핸즈프리를 구입하고, 12개월 이내에 배터리를 구입하는 경향이 있다." 와 같은 연관 규칙을 찾아내는 것 .......................................................................................................................... 순차적 패턴발견에서의 연관 규칙 A→B 은 "상품 A가 구매되면 일정시간의 경과한 다음에는 상품 B가 구매된다."라고 해석 .......................................................................................................................... 순차적 패턴발견은 구매의 순서가 고려되어 상품간의 연관성이 측정되고 이의 정도에 따라 유용한 연관 규칙을 찾는 기법이다. .......................................................................................................................... 위의 연관성측정에서의 데이터 형태에서 각각의 고객으로부터 발생한 구매의 시점에 대한 정보가 포함되어져야 한다. ▣ 순차패턴 (Sequential patterns) 동시에 구매될 가능성이 큰 상품 군을 찾아내는 연관성측정(Associations)에서 시간이라는 개념이 포함되어 순차적인 구...

데이타마이닝, 순차패턴

계량정보분석을 위한 프로그래밍 활용사례연구 -PERL을 중심으로- 원동균, 이방래, 정용일, 이준영, 『KISTI 기술혁신 정보분석보고서』 102 면 2005-12 원문 : 계량정보분석을 위해서는 프로그래밍기술이 필요하다는 것을 인식하고 펄(Perl) 프로그램을 학습하여, 실제연구에 적용한 것으로 이를 정리한 것이다. 펄 프로그램의 특징 및 이용방법과, 펄의 문법을 계량정보분석에 필요한 내용을 위주로 하였으며, 직접 활용한 사례를 가지고, 소스코드를 설명함