Tensorflow 시작하기 4 (Validation)
사용 버전: Python 3.7.6, Tensorlfow 2.1.0
이번 시간에는 Validation Dataset을 만들어보겠습니다.
우리가 열심히 학습 시킨 인공지능을 test 데이터에 바로 테스트를 하면서 조정을 하다 보면, test set에 오버 피팅(overfitting) 되게 됩니다.
그래서 우리는 확인용 데이터 셋(Validation dataset)을 이용합니다.
하지만 이전 시간에 우리가 불러온 데이터에는 train과 test 밖에 없습니다.
validation은 어떻게 구해야 할까요?
train에서 나누어야 합니다.
train_image 개수와 test_image 개수를 한 번 확인해 봅시다.
train 데이터는 육만 개, test 데이터는 일만 개가 있네요.
train 데이터를 한, 8: 2로 나눠봅시다.
mnist_util.py라는 파일을 만듭니다.
train과 validation을 나누는 함수를 만듭니다.
이제 나눠봅시다.
train dataset은 48,000 개, validation dataset은 12,000 개로 나누어졌습니다.
끝.
코드:
기획: MNIST 데이터 셋을 이용하여, 손글씨 숫자를 맞추는 AI(인공지능) 만들기
이번 시간에는 Validation Dataset을 만들어보겠습니다.
우리가 열심히 학습 시킨 인공지능을 test 데이터에 바로 테스트를 하면서 조정을 하다 보면, test set에 오버 피팅(overfitting) 되게 됩니다.
그래서 우리는 확인용 데이터 셋(Validation dataset)을 이용합니다.
하지만 이전 시간에 우리가 불러온 데이터에는 train과 test 밖에 없습니다.
validation은 어떻게 구해야 할까요?
train에서 나누어야 합니다.
train_image 개수와 test_image 개수를 한 번 확인해 봅시다.
train 데이터는 육만 개, test 데이터는 일만 개가 있네요.
train 데이터를 한, 8: 2로 나눠봅시다.
mnist_util.py라는 파일을 만듭니다.
train과 validation을 나누는 함수를 만듭니다.
이제 나눠봅시다.
train dataset은 48,000 개, validation dataset은 12,000 개로 나누어졌습니다.
끝.
코드:
카테고리: Tensorflow, BlackSmith
댓글
댓글 쓰기
궁금한 점은 댓글 달아주세요.
Comment if you have any questions.