Tensorflow 시작하기 4 (Validation)

사용 버전: Python 3.7.6, Tensorlfow 2.1.0
​

기획: MNIST 데이터 셋을 이용하여, 손글씨 숫자를 맞추는 AI(인공지능) 만들기

​
이번 시간에는 Validation Dataset을 만들어보겠습니다.
​
우리가 열심히 학습 시킨 인공지능을 test 데이터에 바로 테스트를 하면서 조정을 하다 보면, test set에 오버 피팅(overfitting) 되게 됩니다.
그래서 우리는 확인용 데이터 셋(Validation dataset)을 이용합니다.
​
하지만 이전 시간에 우리가 불러온 데이터에는 train과 test 밖에 없습니다.
validation은 어떻게 구해야 할까요?
train에서 나누어야 합니다.
​
​
train_image 개수와 test_image 개수를 한 번 확인해 봅시다.










​
train 데이터는 육만 개, test 데이터는 일만 개가 있네요.
train 데이터를 한, 8: 2로 나눠봅시다.
​
​
mnist_util.py라는 파일을 만듭니다.


​
train과 validation을 나누는 함수를 만듭니다.






​
​
이제 나눠봅시다.






​
​
train dataset은 48,000 개, validation dataset은 12,000 개로 나누어졌습니다.
​
끝.
​
코드:


카테고리: Tensorflow, BlackSmith
세계적인 앱 개발자(The world-class application developer)
반구저기(反求諸己)

댓글

댓글 쓰기

궁금한 점은 댓글 달아주세요.
Comment if you have any questions.

이 블로그의 인기 게시물

일본어 문장부호

일본어 문장부호를 알아보겠습니다. ​ ​ 우리나라 대한민국에서 사용하는 문장부호들과 비교해보겠습니다. ​ 한국의 작은따옴표('')를 일본에서는 낫표(「」)로 표시합니다.  한국의 큰따옴표("")를 일본에서는 겹낫표(『』)로 표시합니다. 한국의 쉼표(,)를 일본에서는 모점(、)으로 표시합니다. 한국의 마침표(.)를 일본에서는 고리점(。)으로 표시합니다. 한국의 느낌표(!)를 일본에서는 고리점(。)으로 표시합니다. 한국의 물음표(?)를 일본에서는 고리점(。)으로 표시합니다. ​ ​ 일본에는 마침표, 물음표, 느낌표가 모두 고리점으로 표시되기 때문에 잘 생각해서 문장을 이해해야 할 것 같네요. ​ ​ 끝. 카테고리: 언어 공부 ​
자세히 보기 »

KiCad 시작하기 7 (FreeRoute 사용하기 2)

이미지
사용 버전: Kicad 5.1.4 ​ 저번 시간에 이어서 Freeroute를 사용해보겠습니다. ​ 각 PCB 제조사마다 디자인 룰이란 것이 존재합니다. 우리는 그것에 맞추어서 선이나 구멍을 만들어줘야 합니다. ​ 디자인 룰 설정을 합시다. 우선 PCB Layout Editor을 실행합니다. 파일 - Board Setup을 누릅니다. Design Rules - Net Classes를 누릅니다. 위의 창에서 디자인 룰을 설정합니다. '+'를 눌러 디자인 룰을 새롭게 만들든지, 기존의 Default를 변경하든지 편하신 대로 조정해줍니다. ​ 유격: 선과 선 사이 간격 트랙 두께: 선 굵기 Via Size: Via 납 지름 비아 드릴: Via 구멍 지름 uVia Size: 모름 uVia Drill: 모름 dPair Width: 모름 dPair Gap: 모름 ​ ​ 저는 Power Class를 추가하여, +5V와 GND에 Assign To Selected Nets로 한꺼번에 적용시켰습니다. 나머지 전선은 Default Class 적용을 받고, +5V와 GND만 Power class 적용을 받습니다. ​ Ctrl + S로 저장을 한 번 해줍니다. 파일 - 내보내기 - Specctra DSN... 을 눌러줍니다. 적당한 위치에 dsn 파일을 저장합니다. NetBeans에서 Autoroute를 실행합니다. Open Your Own Design을 눌러, 아까 저장한 dsn 파일을 불러옵니다. Autorouter를 눌러줍니다. 전선 긋기, 최적화하기 순으로 진행되고, 완료가 되면, Postroute completed라는 문구가 나옵니다.전선 긋기나 최적화 중 마우스 왼쪽 버튼을 누르면, 그 상태로 정지됩니다. 최적화가 필요 없으면, 정지 후 바로 PCB에 사용하셔도 됩니다. File - Export Specctra S...
자세히 보기 »

KiCad 시작하기 3 (새로운 소자 추가하기)

이미지
사용 버전 : KiCad 5.1.0 ​ kicad 새로운 소자 추가하기에 대해서 알아보겠습니다. 추가할 소자는 시멘트 저항을 추가해 보겠습니다. 'Symbol Editor'를 눌러줍니다. 아래와 같은 화면이 나옵니다. 파일 - 'New Library...' 적당한 위치에 저장합니다. 만든 라이브러리를 KiCad의 어떤 프로젝트든 적용하고 싶다면, 전체 적용을 눌러주고, 이번 KiCad 프로젝트에만 적용하고 싶다면, Project를 눌러줍니다. 라이브러리에 추가된 것을 확인할 수 있습니다. 클릭 후, 'Create new symbol'을 눌러줍니다. 이름과 레퍼런스 이름을 적어주고, 확인을 누릅니다. 입력한 문구가 나타났습니다. 라이브러리에 수정 중인 상태는 색깔과 '*'문자가 생성됩니다. 우리가 추가할 시멘트 저항은 핀이 2 개입니다. 그리고, 네모난 형태를 가지고 있습니다. ​ ​ '키보드 M'으로 적당히 이동시켜줍니다. 'Add graphic rectangle to symbol body'를 눌러줍니다. 다음과 같이 네모를 그려줍니다. 네모 위에 마우스를 대고, '키보드 E'를 눌러줍니다. background를 선택해주고, 확인 누릅니다. 다음과 같이 네모에 색깔이 채워졌습니다. '키보드 P'를 눌러, 핀을 추가해줍니다. 저항이라, 'Pin name'은 안 적으셔도 상관없습니다. 'Pin number'은 'footprint'와 연결되기 때문에 잘 적어주셔야 합니다. 적당한 위치에 놔둡니다. 동일하게 한 번 더 합니다. 핀 회전은 '키보드 R'입니다. 저장해줍니다. 'Save a...
자세히 보기 »

Python urllib.parse.quote()

이미지
사용 버전: Python 3.6.8 사용 프로그램: Atom 1.40.1 x64 ​ 파이썬 urllib.parse.quote()에 대해서 알아보겠습니다. 괄호 안에는 string, safe, encoding, errors 인자가 들어갑니다. ​ urllib.parse.quote()는 아스키코드 형식이 아닌 글자를 URL 인코딩 시켜줍니다. ​ String 인자에는 string, bytes 형식이 들어갑니다. String 형식. Bytes 형식 Safe 인자에는 URL encoding에서 제외할 문자를 넣습니다. 기본으로 '/'이 설정되어 있습니다. Encoding 인자에는 인코딩 이름이 들어갑니다.  string에 들어가는 문자와 맞지 않으면 오류가 나옵니다. 기본적으로 'utf-8'이 들어갑니다. Error 인자에는 'strict', 'ignore', 'replace', 'xmlcharrefreplace', 'backslashreplace', 'namereplace', 'surrogateescape', 'surrogatepass'가 들어갑니다. 기본적으로 strict가 설정되어 있습니다. unicode 오류를 알려줍니다. Ignore의 경우 오류는 무시하고, 변환할 수 있는 것만 변환합니다. Replace는 에러 글자를 '?'로 변환해줍니다. 그리고 quote(...
자세히 보기 »

음악 총보(Score), 파트보(Part)

이미지
사용 프로그램 : MuseScore 3 ​ 총보와 파트보에 대해서 알아보겠습니다. ​ 총보는 모든 악기들의 보표가 표시된 악보입니다. 보표의 악기 순서는 다음과 같습니다. 목관악기, 금관악기, 타악기, 독주 악기(피아노, 하프), 현악기 ​ 파트보는 자신이 연주하는 악기에 대한 보표만 존재하는 악보입니다. ​ 총보(score) 파트보(part) 위의 악보에서 Flute 1은 첫마디를 한 뒤, 31마디는 아무 음도 없습니다. 그래서 뒤에 31로 숫자 적힌 긴 막대로 표시됩니다. ​ Flute 2의 경우는 앞 2마디를 쉬고, 연주하고, 뒤 29마디를 쉽니다. 끝. 카테고리: Music
자세히 보기 »

Forensics .pyc 파일 .py로 복구하기

이미지
사용 버전: Python 3.7 운영 체제: Windows 10 Home x64 1909 사용 도구: Uncompyle6 ​ 포렌식 .pyc 파일 .py로 복구하기에 대해서 알아보겠습니다. ​ 만약 여러분이 파이썬 파일을 지워버렸는데, .pyc 파일은 남아있다면 다시 복구할 수 있습니다. ​ 보통 .pyc 파일은 수동으로 만들지 않는 이상 main 함수가 남아있지는 않습니다. 자동 생성되는 경우는 다른 python script를 참조할 때, 참조한 script가 pyc로 생성합니다. ​ uncompyle6를 설치합니다. python -m pip install uncomply6 ​ 저는 해당 .pyc 파일을 사용하겠습니다. 아래 git에 들어가면 동일한 파일을 사용할 수 있습니다. https://github.com/shwoghk14/mnist_tensorflow/tree/master/Start%204/__pycache__ 사용법은 다음과 같습니다. cmd 창을 엽니다. ​ uncompyle6 [복구할 .pyc 파일 이름] 완료되면, 다음과 같이 원본 py 내용이 나옵니다. ​ uncompyle6 version python bytecode 버전 python 버전 file name compiled 날짜 Size 등의 중요한 정보와 함께 원본 python script가 출력됩니다. ​ 해당 파일의 원본은 mnist_util.py입니다. 비교해 보시면 좋을 것 같네요. https://github.com/shwoghk14/mnist_tensorflow/tree/master/Start%204 ​ 끝. 카테고리: forensic [계수기] 앱 광고 외국: Hand Counter https://play.google.com/store/apps/details?id=starlight.jaehwa.handcounter 계수기 앱. 하나씩 개수를 셀 때 사용해보세요. ...
자세히 보기 »

KiCad 시작하기 6 (FreeRoute 사용하기 1)

이미지
사용 버전: KiCad 5.1.4 ​ 오늘은 KiCad의 숨겨진(?) 기능, 지금은 비활성화가 된 기능 Freeroute 또는 Autoroute를 해보겠습니다. ​ 먼저, Freeroute 기능을 사용하려면, Java JDK를 설치해야 합니다. Freeroute 기능은 Java 파일이기 때문입니다. ​ 저는 NetBeans IDE를 사용하겠습니다. License 수락을 하고, 운영체제에 맞는 실행파일을 내려받습니다. 받은 파일을 실행합니다. 다음으로 Freeroute 코드를 내려받습니다. https://github.com/nikropht/FreeRouting 압축을 풀어서 적당한 위치에 둡니다. (한글 경로는 피해주세요.) ​ ​ 자바 도움 파일인 jh.jar 파일을 아래 사이트에서 내려받습니다. https://github.com/kellertuer/Gravel/blob/master/javahelp/jh2.0/javahelp/lib/jh.jar 내려받은 jh.jar 파일을 적당한 위치에 둡니다.(한글 경로는 피해주세요.) 이제, 설치된 NetBeans IDE 8.2를 실행합니다. File-New Project를 누릅니다. Java - Java Project with Existing Sources를 누르고 Next를 누릅니다. 이름을 변경해주고, 저장 위치를 원하는 곳으로 설정합니다. Add Folder...를 누릅니다. 압축을 푼 FreeRouting-master를 찾아 열기를 누릅니다. 추가된 것을 확인하고, Next를 누릅니다. Finish를 누릅니다. 프로젝트를 우 클릭하여, Properties를 누릅니다. Libraries를 누르고, Add JAR/Folder를 누릅니다. ...
자세히 보기 »

Kivy 시작하기 12 (Pyinstaller로 exe 파일 만들기)

이미지
사용 버전: Python 3.6.8, Kivy 1.11.1 사용 프로그램: Atom 1.43.0 x64 ​ 기획: URL 소스 자료를 내 컴퓨터에 저장하는 앱. ​ 파이썬 파일을 exe 파일로 만들어 보겠습니다. PyInstaller를 사용합니다. ​ pip로 설치합니다. pip install pyinstaller ​ 설치가 다 되었으면, 확인해봅니다. 잘 설치되었네요. ​ 자, 만들어 봅시다. Shift + 마우스 오른쪽을 눌러 프로젝트가 있는 창에 PowerShell을 엽니다. cmd를 쳐서 cmd를 실행합니다. ​ ​ python -m PyInstaller --name [exe 파일 이름] [메인 python 파일 위치] ​ 다시 명령어 창이 뜨면, 진행이 다 된 것입니다. ​ ​ dist와 build 폴더가 생기고, spec 파일이 생깁니다. ​ URL Download.spec 파일을 열어줍니다. ​ coll 부분을 다음과 같이 수정합니다. ​ ​ 저장 후, 다시 pyinstaller를 사용합니다. ​ 기존의 파일이 사라진다는 경고문이 나오는데, y를 눌러줍니다. ​ ​ 완료되면, dist 폴더로 가서 Download.exe를 실행합니다. ​ ​ 실행이 됩니다. ​ 하지만 Location을 누르면, 정상 작동하지 않고 꺼집니다. 이를 해결하려면, 다시 만들어야 합니다. cmd로 실행해보면, 이러한 문구가 나옵니다. 모듈 win32timezone이 없다. ​ ​ spec에 추가해줍니다. hiddenimports에 적어줍니다. ​ ​ 다시 pyinstaller로 exe 파일을 만듭니다. 잘 작동되는 것을 확인할 수 있습니다. ​ 끝. ​ 앱: https://play.google.com/store/apps/details?id=starlight.jaehwa.one 코드: https://github.com/shwoghk14/Kivy_for_Starter 카테고리: BlackSmith,...
자세히 보기 »

KiCad 시작하기 2 (PCB 만들기)

이미지
사용 버전 : KiCad 5.1.0 ​ kicad PCB 만들기에 대해서 알아보겠습니다. ​ 'PCB Layout Editor'를 눌러줍니다. 만약 아래와 같은 알림 창이 뜬다면, 선택은 자유입니다. 내용은 그래픽 카드를 사용할 것인지, 말것인지 입니다. 쓰면 속도도 좋고, 부드러워진다고 설명하고 있군요. 다음과 같은 창이 뜹니다. 'Update PCB from schematic'을 눌러줍니다. 'Match Method'와 설정을 적절히 선택해줍니다.(저처럼 하셔도 됩니다.) 그리고 'Update PCB'를 눌러줍니다. 다음과 같이 마우스를 따라다니는, footprint가 생성됩니다. 적당한 곳에 클릭합니다. footprint 이동은 '키보드 M', footprint 회전은 '키보드 R'입니다. 'Hide board ratsnest'를 켜면, 전선이 연결되어야 할 가이드 선이 표시됩니다. 'Ctrl + 좌 클릭'은 선택된 패드에 연결될 부분만 밝게 표시합니다. 해제 방법은 빈 땅에 'Ctrl + 좌 클릭'하면 됩니다. 옆에 있는 '레이어'는 PCB의 어느 영역에 그릴 것인지를 선택할 수 있게 해줍니다. F.Cu는 PCB 윗부분 전선 B.Cu는 PCB 뒷부분 전선 F.Paste는 PCB 윗부분 SMT 접착제 B.Paste는 PCB 뒷부분 SMT 접착제 F.Mask는 PCB 윗부분 패드 B.Mask는 PCB 뒷부분 패드 Edge.Cuts는 PCB의 전체 모양 F.SilkS는 PCB 윗부분 하얀 선 또는 글자 B.SilkS는 PCB 뒷부분 하얀 선 또는 글자 전선을 그려봅시다. 'Route tracks'를 눌러줍니다. 레이어를 보시면, F.Cu에 화살표가 있으니, 전선은 F.Cu 레이어에 그려집니다...
자세히 보기 »

RFC 9421

이미지
오늘은 RFC 9421에 대해 알아보겠습니다. https://datatracker.ietf.org/doc/html/rfc9421 1. 기술이 생겨난 이유 보통 TLS를 많이 사용합니다. TLS는 하나의 연결만 보증하지 중계기 간의 연결은 보증할 수 없습니다. 또한, Application은 검증을 위해 TLS 인증서와 독립적인 key가 필요하기도 합니다. 그리고, 전체적인 message를 모르더라도 message를 보호할 수 있어야 합니다. JSON Web Signature의 경우 매번 중복된 payload가 필요하게 됩니다. HTTP message만을 위한 무결성과 검증 기술을 만들게 되었습니다. 2. 구성 목록   •  Signature base   •  Signature-Input   •  Signature   •  Accept-Signature 3. Signature base 중계기에서 HTTP 변형이 가능하기 때문에 bit 단위를 비교할 순 없습니다. 대신, 의미가 같은지를 확인합니다. 여기에 사용되는 것이 Signature base입니다. 아래는 signature base를 만드는 표현식입니다. 예시를 보시죠. 위의 HTTP Header는 아래의 Signature base로 표현될 수 있습니다. (Signature-Input을 바탕으로 생성) Component Identifier는 아래와 같습니다. •  Derived Component @method @target-url @authority @scheme @request-target @path @query @query-param @status •  Field-content accept 등 @signature-params Signature base 제일 마지막에 추가되며, 생성, 검증을 위한 metadata를 포함합니다. 서명되는 모든 항목과 추가적인 signature parameters로 구성됩니다. •  ...
자세히 보기 »