Stochastic Gradient Descent

Stochastic Gradient Descent(SGD)를 알아보겠습니다.

​
Stochastic Gradient Descent는 우리나라 말로 확률적 경사 하강법이라고 부릅니다.
해당 개념은 Mini Batch Gradient Descent와 동일합니다.
다만 Mini Batch Gradient Descent와 다른 점은 Batch Size(크기)가 1이라는 겁니다.
​
10,000 개의 데이터가 있다고 한다면, 데이터 1 개씩을 넣어서 Gradient Descent를 진행합니다.
그래서 이 방법은 Cost 함수가 수렴하지 않고 계속해서 움직입니다.
데이터 하나에 대한 Cost 함수이기 때문에 한곳에 모일 수가 없습니다.







데이터 하나씩 계산하기 때문에 속도가 빠르긴 하지만, 이 하나씩 구한 것을 다시 Vectorization(1 차원 행렬화) 할 때 오랜 시간이 걸려서 그다지 이점이 있지는 않습니다.

그리고 Cost의 Minimum에 머물러 있다는 보장이 없습니다.

​

​

끝.


카테고리: Machine Learning

세계적인 앱 개발자(The world-class application developer)
반구저기(反求諸己)

댓글

댓글 쓰기

궁금한 점은 댓글 달아주세요.
Comment if you have any questions.

이 블로그의 인기 게시물

Python urllib.parse.quote()

이미지
사용 버전: Python 3.6.8 사용 프로그램: Atom 1.40.1 x64 ​ 파이썬 urllib.parse.quote()에 대해서 알아보겠습니다. 괄호 안에는 string, safe, encoding, errors 인자가 들어갑니다. ​ urllib.parse.quote()는 아스키코드 형식이 아닌 글자를 URL 인코딩 시켜줍니다. ​ String 인자에는 string, bytes 형식이 들어갑니다. String 형식. Bytes 형식 Safe 인자에는 URL encoding에서 제외할 문자를 넣습니다. 기본으로 '/'이 설정되어 있습니다. Encoding 인자에는 인코딩 이름이 들어갑니다.  string에 들어가는 문자와 맞지 않으면 오류가 나옵니다. 기본적으로 'utf-8'이 들어갑니다. Error 인자에는 'strict', 'ignore', 'replace', 'xmlcharrefreplace', 'backslashreplace', 'namereplace', 'surrogateescape', 'surrogatepass'가 들어갑니다. 기본적으로 strict가 설정되어 있습니다. unicode 오류를 알려줍니다. Ignore의 경우 오류는 무시하고, 변환할 수 있는 것만 변환합니다. Replace는 에러 글자를 '?'로 변환해줍니다. 그리고 quote(...
자세히 보기 »

KiCad 시작하기 3 (새로운 소자 추가하기)

이미지
사용 버전 : KiCad 5.1.0 ​ kicad 새로운 소자 추가하기에 대해서 알아보겠습니다. 추가할 소자는 시멘트 저항을 추가해 보겠습니다. 'Symbol Editor'를 눌러줍니다. 아래와 같은 화면이 나옵니다. 파일 - 'New Library...' 적당한 위치에 저장합니다. 만든 라이브러리를 KiCad의 어떤 프로젝트든 적용하고 싶다면, 전체 적용을 눌러주고, 이번 KiCad 프로젝트에만 적용하고 싶다면, Project를 눌러줍니다. 라이브러리에 추가된 것을 확인할 수 있습니다. 클릭 후, 'Create new symbol'을 눌러줍니다. 이름과 레퍼런스 이름을 적어주고, 확인을 누릅니다. 입력한 문구가 나타났습니다. 라이브러리에 수정 중인 상태는 색깔과 '*'문자가 생성됩니다. 우리가 추가할 시멘트 저항은 핀이 2 개입니다. 그리고, 네모난 형태를 가지고 있습니다. ​ ​ '키보드 M'으로 적당히 이동시켜줍니다. 'Add graphic rectangle to symbol body'를 눌러줍니다. 다음과 같이 네모를 그려줍니다. 네모 위에 마우스를 대고, '키보드 E'를 눌러줍니다. background를 선택해주고, 확인 누릅니다. 다음과 같이 네모에 색깔이 채워졌습니다. '키보드 P'를 눌러, 핀을 추가해줍니다. 저항이라, 'Pin name'은 안 적으셔도 상관없습니다. 'Pin number'은 'footprint'와 연결되기 때문에 잘 적어주셔야 합니다. 적당한 위치에 놔둡니다. 동일하게 한 번 더 합니다. 핀 회전은 '키보드 R'입니다. 저장해줍니다. 'Save a...
자세히 보기 »

일본어 문장부호

일본어 문장부호를 알아보겠습니다. ​ ​ 우리나라 대한민국에서 사용하는 문장부호들과 비교해보겠습니다. ​ 한국의 작은따옴표('')를 일본에서는 낫표(「」)로 표시합니다.  한국의 큰따옴표("")를 일본에서는 겹낫표(『』)로 표시합니다. 한국의 쉼표(,)를 일본에서는 모점(、)으로 표시합니다. 한국의 마침표(.)를 일본에서는 고리점(。)으로 표시합니다. 한국의 느낌표(!)를 일본에서는 고리점(。)으로 표시합니다. 한국의 물음표(?)를 일본에서는 고리점(。)으로 표시합니다. ​ ​ 일본에는 마침표, 물음표, 느낌표가 모두 고리점으로 표시되기 때문에 잘 생각해서 문장을 이해해야 할 것 같네요. ​ ​ 끝. 카테고리: 언어 공부 ​
자세히 보기 »

음악 총보(Score), 파트보(Part)

이미지
사용 프로그램 : MuseScore 3 ​ 총보와 파트보에 대해서 알아보겠습니다. ​ 총보는 모든 악기들의 보표가 표시된 악보입니다. 보표의 악기 순서는 다음과 같습니다. 목관악기, 금관악기, 타악기, 독주 악기(피아노, 하프), 현악기 ​ 파트보는 자신이 연주하는 악기에 대한 보표만 존재하는 악보입니다. ​ 총보(score) 파트보(part) 위의 악보에서 Flute 1은 첫마디를 한 뒤, 31마디는 아무 음도 없습니다. 그래서 뒤에 31로 숫자 적힌 긴 막대로 표시됩니다. ​ Flute 2의 경우는 앞 2마디를 쉬고, 연주하고, 뒤 29마디를 쉽니다. 끝. 카테고리: Music
자세히 보기 »

KiCad 시작하기 2 (PCB 만들기)

이미지
사용 버전 : KiCad 5.1.0 ​ kicad PCB 만들기에 대해서 알아보겠습니다. ​ 'PCB Layout Editor'를 눌러줍니다. 만약 아래와 같은 알림 창이 뜬다면, 선택은 자유입니다. 내용은 그래픽 카드를 사용할 것인지, 말것인지 입니다. 쓰면 속도도 좋고, 부드러워진다고 설명하고 있군요. 다음과 같은 창이 뜹니다. 'Update PCB from schematic'을 눌러줍니다. 'Match Method'와 설정을 적절히 선택해줍니다.(저처럼 하셔도 됩니다.) 그리고 'Update PCB'를 눌러줍니다. 다음과 같이 마우스를 따라다니는, footprint가 생성됩니다. 적당한 곳에 클릭합니다. footprint 이동은 '키보드 M', footprint 회전은 '키보드 R'입니다. 'Hide board ratsnest'를 켜면, 전선이 연결되어야 할 가이드 선이 표시됩니다. 'Ctrl + 좌 클릭'은 선택된 패드에 연결될 부분만 밝게 표시합니다. 해제 방법은 빈 땅에 'Ctrl + 좌 클릭'하면 됩니다. 옆에 있는 '레이어'는 PCB의 어느 영역에 그릴 것인지를 선택할 수 있게 해줍니다. F.Cu는 PCB 윗부분 전선 B.Cu는 PCB 뒷부분 전선 F.Paste는 PCB 윗부분 SMT 접착제 B.Paste는 PCB 뒷부분 SMT 접착제 F.Mask는 PCB 윗부분 패드 B.Mask는 PCB 뒷부분 패드 Edge.Cuts는 PCB의 전체 모양 F.SilkS는 PCB 윗부분 하얀 선 또는 글자 B.SilkS는 PCB 뒷부분 하얀 선 또는 글자 전선을 그려봅시다. 'Route tracks'를 눌러줍니다. 레이어를 보시면, F.Cu에 화살표가 있으니, 전선은 F.Cu 레이어에 그려집니다...
자세히 보기 »

Python OpenCV 빈 화면 만들기

이미지
사용 버전: Python 3.7.6, OpenCV 4.2.0 ​ 파이썬 OpenCV 빈 화면 만들기를 해보겠습니다. ​ 검정 빈 화면을 만들기 위해서는 numpy가 필요합니다. ​ img1의 경우는 color로 불러들었을 때를 위한 빈 화면이고, img2의 경우는 grayscale로 불러들었을 때의 빈 화면입니다. ​ 끝. 카테고리: Python, cv2
자세히 보기 »

KiCad 시작하기 1 (회로도 만들기)

이미지
사용 버전 : KiCad 5.1.0 ​ kicad 회로도 만들기에 대해서 알아보겠습니다. ​ 우선, 프로젝트를 만듭니다. ​ 파일 - 새 파일 - Project... 'Create a new directory for the project'를 눌러주면, 폴더도 같이 생성됩니다. 'Schematic Layout Editor'를 눌러줍니다. 맨 처음 실행하면, 라이브러리 설정이 나옵니다. 추천(recommended) 하는 항목을 선택합시다. 위와 같은 화면이 나옵니다. '키보드 A'를 눌러줍니다. led와 저항이 있는 간단한 회로를 그려보겠습니다. 적당한 위치에 '마우스 좌 클릭'을 합니다. 화면 이동은 '마우스 휠 버튼'입니다. 같은 과정으로 저항도 추가합니다. 소자의 회전은 '키보드 R'입니다. '키보드 P'를 눌러줍니다. 5V를 넣어줍니다. GND도 넣어줍니다. 사이에 전선을 넣어줍니다.'키보드 W'입니다. 저항과 LED 위에 '?'가 있습니다.이것은 소자가 확정되지 않았다는 뜻입니다. 확정해줍니다. Annotate schematic symbols를 눌러줍니다. Annotate를 눌러줍니다. complete(완료) 되면, 닫기를 눌러줍니다. 아래 그림과 같이 '?'가 사라지고, 숫자가 자리 잡은 것을 볼 수 있습니다. 저항 위에 있는 'R'을 저항값으로 변경해봅시다. 위와 같이, 마우스를 올리고 '키보드 E'를 눌러줍니다. 변경 창이 나옵니다. 5k로 변경하고, 확인을 눌러줍니다. R이 5k로 변경된 것을 확인할 수 있습니다. ​ ​ 다음은 풋프...
자세히 보기 »

Kivy 시작하기 6 (상단 바 팝업 만들기)

이미지
사용 버전: Python 3.6.8, Kivy 1.11.1 사용 프로그램: Atom 1.42.0 x64 ​ 기획: URL 소스 자료를 내 컴퓨터에 저장하는 앱. ​ 이번 시간에는 상단 바 팝업을 만들겠습니다. 지금은 상단 바에 버튼을 눌러도 아무런 반응이 없습니다. ​ 버튼에 기능을 구현해 줍시다. HelpPop과 AboutPop을 만들어주고, @를 사용하여 Popup의 상속을 받습니다. ​ 팝업창을 불러오기 위해서는 Factory 모듈을 불러와야 합니다. ​ 그리고 버튼에 on_press 속성을 작성해줍니다. on_press는 버튼을 눌렀을 때라는 뜻입니다. HelpPop 위젯에는 title 속성을 적어줍니다. ​ 실행해줍니다. Help를 누르면, 다음과 같은 팝업창이 나옵니다. title 속성이 저기 위에 보입니다. 끄는 법은 esc를 누르면 되는데, 너무 불편하니 버튼을 하나 만듭시다. 크기도 너무 커서 화면을 다 가리니 조금 줄여줍니다. 그리고, 내용을 적어줍시다. ​ auto_dismiss 속성은 팝업창 외부를 클릭하였을 때, 창이 사라지게 할 거면 True를 적습니다. 닫기 버튼은 root.dismiss()가 실행되도록 하면, 팝업창이 닫힙니다. height는 높이를 나타내며, dp는 높이 단위입니다. ​ About 창도 똑같은 방식으로 만들어 줍니다. ​ 전체 코드는 아래에 있습니다. ​ 지금까지 팝업창 만들기를 해보았습니다. 다음 시간에는 URL 입력 칸 만들기를 해보겠습니다. ​ 코드: https://github.com/shwoghk14/Kivy_for_Starter 앱: https://play.google.com/store/apps/details?id=starlight.jaehwa.one 끝. 카테고리: BlackSmith, Kivy
자세히 보기 »

딩기 요트 명칭

이미지
딩기 요트 명칭을 알아보겠습니다. ​ 딩기 요트(Dinghy Yacht)란 엔진이 없고 바람으로 가는 작은 요트(1~3 인승)를 말합니다. 돛단배랑 비슷하다고 보면 되는데, 돛단배와의 차이점은 바람을 거슬러 올라갈 수 있다는 점입니다. 엔진이 없는데 바람을 거슬러 올라간다? 신기하죠? 어떤 장치가 있기 때문인데요. 아래 명칭을 보면서 어떤 장치가 바람을 거슬러 오를 수 있게 해주는 지도 알려드릴게요. 고화질 참고 자료를 기대하셨다면 아쉽게도 그런 거 없습니다. ​ 위에가 대략적인 딩기 요트의 명칭을 적은 그림입니다. 메인 세일: 주 동력원입니다. 바람이 요트를 움직일 수 있게 만들어 줍니다. 마스트: 메인 세일을 다는 기둥입니다. 붐: 메인 세일 밑에 자리하며 메인 세일을 펼쳐지게 만드는 막대기입니다. 붐뱅: 붐과 마스트를 연결해 주는 시트(밧줄)입니다. 블록(도르래)들이 달려 있습니다. 바우: 배의 앞 부분을 말합니다. 대거보드: 바람을 거슬러 오를 수 있게 해줍니다. 옆으로 뒤집히면 요트를 세우는 역할도 합니다. 완전히 빠지지 않는 것은 센터보드라고 부릅니다. 메인시트: 메인 세일의 각도를 조정할 수 있는 시트(밧줄)입니다. 러더: 배의 방향을 조정하는 부위입니다. 틸러: 러더를 조작할 수 있는 조정장치입니다. ​ ​ 대략 이 정도가 있는 것 같아요. 위에서 말한 바람을 거슬러 갈 수 있게 해주는 게 바로 대거보드 였습니다. 돛단배는 이 대거보드가 없기 때문에 바람을 거슬러 갈 수 없답니다. ​ ​ 끝. 카테고리: Yacht
자세히 보기 »

Android Custom IME(Input method editor) 만들기

이미지
사용 버전: Android Studio 4.0 사용 언어: Kotlin 1.3.72 ​ 안드로이드 Custom IME(Input method editor) 만들기를 해보겠습니다. ​ IME를 간단히 설명하면 키보드입니다. 키보드를 만들어봅시다. ​ ​ 키보드로 사용할 Custom View가 필요합니다. https://shwoghk14.blogspot.com/2020/07/android-custom-view.html Class를 하나 만듭니다.  저는 MyIMEservice로 만들었습니다. 아래와 같이 수정합니다. res 우 클릭 - New - Android resource File을 누릅니다. File name, Resource type을 설정합니다. 다음과 같이 적습니다. 그리고, manifests로 갑니다. <application> </application> 사이에 service를 넣습니다. 앱을 설치하고 실행합니다. 달라진 게 없습니다. 우리가 강제로 설정할 수 없습니다. 그 이유는 보안 문제 때문에 구글에서 막았습니다. 자, 이제 키보드를 설정해봅시다. ​ ​ 설정 - 언어 및 입력 가상 키보드 키보드 관리 우리가 만든 inAppKeyboard가 보입니다. Manifest의 label이 이름으로 사용되고, xml의 imeSubtypeLocale이 아래 작은 설명으로 사용됩니다. 다시 돌아와서 키보드 관리로 들어갑니다. ...
자세히 보기 »