Deep Learning

[PyTorch] 모델 파라미터 초기화 하기 (parameter initialization)

Introduction 슬슬 딥러닝 프레임워크에 대해서도 포스트를 올리려 한다. 주로 쓰는 프레임워크는 파이토치(PyTorch) 이며, 간간히 유용하다 싶은 기능들을 찾으면 하나씩 정리해 올릴 생각이다. 새롭게 안 정보를 정리도 할 겸, 공유도 할 겸 적는 글들이니 편하게 봐 줬으면 한다. 이번에는 파이토치에서 모델의 파라미터를 초기화(initialize) 하는 방법에 대해 포스팅한다. 1. Weight Initialization Mechanism 사실 파이토치에서는 기본적인 모듈 클래스(Linear, ConvNd 등) 를 초기화 할 때, 자동으로 파라미터를 적절히 초기화 해 주고 있다. 하나의 예시로, nn.modules의 Linear 클래스의 이니셜라이저를 살펴 보자. class Linear(Modu..

[Review] Patch SVDD (2부: Method & experiment)

이전 포스트: Patch SVDD Review 1부 paper link: arxiv.org/pdf/2006.16067.pdf github (PyTorch): github.com/nuclearboy95/Anomaly-Detection-PatchSVDD-PyTorch 지난 번 포스트에 이어서 리뷰를 작성한다. 1부에서는 논문에서 풀고자 했던 문제인 (image) anomaly detection과 anomaly segmentation, 그리고 성능 지표인 AUROC에 대해서 간략히 알아봤다. 이번에는 논문에서 제시된 새로운 anomaly detection 방법론과 그 결과에 대해 정리할 예정이다. (In-line LaTeX 구문을 써 봤는데 모바일 버전에선 제대로 보여지지 않는 것 같다! 방법을 찾으면 추후 ..

[Review] Patch SVDD (1부: Anomaly detection 개요)

최근에 anomaly detection에 관련된 페이퍼들을 읽을 일이 많이 있었는데, 개인적으로도 하나씩 다시 정리해볼 겸 논문 리뷰 글을 주기적으로 올릴 생각이다. paper link: arxiv.org/pdf/2006.16067.pdf github (PyTorch): github.com/nuclearboy95/Anomaly-Detection-PatchSVDD-PyTorch 이번 논문은 Patch SVDD로, 새로운 image anomaly detection method를 제시한다. 자세한 내용을 설명하기 이전에, 여기서 다루고자 하는 문제인 image anomaly detection이 무엇인지에 대해 먼저 짚고 넘어가자. (편의를 위해 각종 definition과 notation은 논문의 내용을 빌린다..