디자이너 개발로그

의사결정나무(Decision Tree)는 원본 데이터로부터 필터링을 거쳐 순도가 높은 데이터 그룹을 추출해가는 과정이다. 원본 데이터는 다양한 성질(불순도; Impurity)을 가지고 있기 때문에 목적에 맞게 사용하려면 적절한 분류와 그룹화가 필요한데, 이 과정을 시각화하면서 정리하는 방법이 의사결정나무이다.의사결정나무는 뿌리마디로부터 줄기마디(중간마디), 잎마디(끝마디)의 순으로 '성장'하는데, 이 과정을 가지치기(pruning)라고 한다. 이 도식은 실제 나무와는 달리 위에서부터 아래로 자라는 형태로 표현되는데, 상위노드는 '부모마디'가 되며 하위노드는 '자식마디'가 된다. 그리고 뿌리마디를 제외한 잎마디까지의 전체 마디수가 '깊이(Depth)'가 된다.좋은 의사결정나무는 좋은 분할(가지치기)로부터 ..

기계가 학습을 하는 방법에 대해 이제까지 살펴보았는데, 물론 이러한 논리적인 측면도 중요하지만 결국에는 이 모든 논리가 일어나는 실질적인 주체가 필수적일 것이다. 이러한 학습이 일어나는 곳이 바로 인공신경망(人工神經網; Artificial Neural Network)인데, 이번 글에서는 이에 대해 다루고자 한다. 인공 신경망은 인체의 정보 처리를 모방하여 만든 소프트웨어 알고리즘으로, 우리 몸의 신경 조직인 뉴런(Neuron)과 그 주변 조직의 움직임을 본딴 형태로 구성되어 있다. 즉, 뉴런과 비슷한 역할을 하는 노드(Node)로 연결된 망(Net)을 만들어 동작하도록 함으로써, 인간과 유사하게 정보를 처리할 수 있도록 한 것이다. 각 노드는 작업의 여러 요인 중 각 하나에 대해 가설 H(x)=Wx+b에..

이전 글을 통해 기계가 어떤 식으로 학습을 하며, 어떤 목표로 학습을 하는 지까지 살펴보았다. 즉, 선형 회귀라는 이론적 배경을 바탕으로 데이터와 가설 간의 격차를 줄여나가며 가장 적은 격차를 갖는 가설을 향해 알고리즘을 수정해간다는 것이다. 이 과정에서 자신의 알고리즘을 검증하고 오차(비용)을 계산하기 위해 제곱오차함수를 사용하여 비용을 계산하는데, 이 함수로부터 최소의 오차를 찾아나가는 방식이 오늘 공부할 경사하강법(傾斜下降法; Gradient Descent)이다. 경사하강이란 이름 그대로 보여주듯이, 경사(傾斜; Gradient, 비스듬히 기울어짐)를 하강(下降; Descent, 내려옴)하는 식으로 극점(極占)을 찾는 것을 의미한다. 즉, 가장 낮은 곳을 찾기 위해 경사를 비스듬히 내려오는 식의 방..