IT 44

DL - Neural Net

Neural Network (신경망) 신경세포 = Neuron 이 뉴런을 이용해 layer 만든 것을 우리는 Perceptron 이라고 부른다. 퍼셉트론 자 그럼 각각 weight 들이 있고 이게 vector로 나타날거고 이것들을 합하고. bias더하고.이렇게 입력과 가중치가 곱해져서 나온 것에 activation function을 적용시킨다.sigmoid 를 자주 쓰는데, 시그모이드 함수를 이용하면back propagation에서 학습계산처리가 쉬워지므로 역전파 이용할때 전달함수로 자주 사용한다.예를 들어 하나의 신경망에 두개의 입력(x1, x2) = (0,0) 입력이 들어왔다고 가정해보자. 그리고 w1=1, w2=1, bias값은 -1.5, activation은 계단함수를 이용한다.그럼 1*0+1*0..

IT/Deep learning 2017.06.29

Computer vision - Sliding window, Detection

Object Classification vs Object Detection Object Classification전체 이미지를 보고 알맞는 클래스 라벨을 assign하는것image전체가 x이고,, f(x:w) = y 알맞은 라벨이 y Object Detection이미지 안에 있는 bounding box안에 각각 알맞는 클래스 라벨을 할당하는 것각 픽셀좌표에 대한 label이 붙어있다면.. 물체 검출할때sliding window쓰지 Non Maximum Suppression 엣젤 가장 강한거 뽑고 주변을 죽인다. Object Detection with HOGHog을 통한 Object detection은? 1. 먼저 이미지를 SIFT를 통해 HOG로 표현하고2. data 들을 training시킨다. posi..

IT/Computer vision 2017.06.29

Computer vision - Blob, SIFT, HOG

Scale-Invariant Feature Transform(SIFT)는 특징점의 검출과 특징량의 기술을 하는 알고리즘이다. 검출된 특징점들은 영상의 회전, 스케일 변화, 조명 변화등에 강한 특징점을 기술하기 때문에 이미지 모자이크등의 영상 매칭과 물체인식, 검출에 사용되고 있다. 또한 SIFT와 동등한 gradient 기반의 특징추출법인 Histograms of Oriented Gradients(HOG) 영상으로부터 특징점을 검출하려면edge검출도 있고 blob 검출도 있다. blob은 여러 scale 을 뜻하는데, 이미지에서 *주변에 비해 어둡거나 밝은점/영역을 뜻한다.* 그러니까 엣지 detection에서 한단계 더 나아간게 blob이다. 라플라시안 가우시안으로 구해지고, 그라디언트 변화의 변화가 ..

IT/Computer vision 2017.06.29

Computer vision - convolution kernel, linear filtering

Feature extraction, Image matching, Object recognition 0) Warming upComputer Vision 에는 크게- Image Processing- Geometric Reasoning- Recognition- Deep Learning이렇게 포함된다한다. Invariant(변하지않는) to view point, lighting, pose 가 좋은 feature이긴 함 1) Convolution 이란?특정 함수(=커널)을 통해 Input image를 새로운 output image로 변화시키는 것이다.Input Image f(x,y) Kernel h(x,y) ------> output Image g(x,y) 여기서 쓰이는 convolution kernel은 작은 ..

IT/Computer vision 2017.06.29

Python class, magic method

Classc언어에서랑 비슷생성자는def __init__(self)set get 개념은 다 동일static variable은 모든 인스턴스끼리 공통으로 슬수잇음 상속 Inheritance기존 클래스 필드와 method 모두 물려받기 가능class Magician(Hero): 이렇게 상속받을 클래스명 안에 넣어주기Method 오버라이딩 및 연산자 오버로딩 가능.상속관계내의 다른클래스 인스턴스들이 서로 다른 동작 가능같은종류의 동작을 하지만 , 반응은 다르게 안에서 값 수치 변경하여 가독성.길이 Method Overriding연산자 오버로딩class Test:def__add__(self, hero):self.hp += hero.hpreturn self p1 + p2 이면 새로운 객체 반환

IT/Python 2017.06.25

플젝) Spark Streaming 이용한 온라인러닝 시작1

요즘 포공에서 머신러닝 수업을 듣고 있다. 과목별로 1주씩.. 비율이 1주일에 이론/실습/자유실습 이라 실상 이론은 16시간 뿐이다. 훌륭하신 교수님들과 조교님들께 배우고 있고 많은 것을 알아가고 있지만, 1 아쉬운 게 있다. 너무 이론에만 치우쳐있다는 것 ㅠㅠ 교육 과정 막판에 1-2주정도로 빡세게 하도록 개인 or 팀플 같은걸 추가했다면 좋지 않았을까 하는 생각이 든다.여기엔 전문가들께서 많이 계시니까, 실전에서 플젝하며 부딪혀보고 많은걸 물어볼 수 있었을텐데 ㅠㅠ 좀 아쉽다.물론 이론을 탄탄하게 다져놔야 하는게 맞고, 기존엔 그냥 라이브러리만 사용하는 단계였다면, 이번 교육을 통해서 각 알고리즘 수식들이 어떻게 도출되었는지, 또 어떤 다른 알고리즘과 결합된 것 인지 등 본질적인 이해를 깊게 하게 되..

IT/Spark 2017.06.25

3) 시작하기 앞서 간단

1. 스파크 클러스터 - 여러대 서버가 마치 한대처럼..- 클러스터 환경, 대량의 데이터를 나누어 각 서버에서 병렬로 처리- 네트워크 , 장애, 자원스케쥴링등 스파크에서 관여 2. 분산데이터 - RDD resillient distributed datasets, 회복력 가진 분산 데이터 집합 literally!!회복력이 있다?데이터 처리 중 문제가 생겨도 다시 알아서 회복할 수 있다는 말anyway, 분산 데이터 집합.일정 단위의 작은 집합으로 쪼개져서, 스파크 클러스터에 흩어져서 저장됨 3. RDD 불변성 - 스파크는 RDD 만들어내는 방법을 기억하고 있다.- how?- 리니지. 계보 - 스파크는 데이터가 유실되면 다시 백업해둔걸 불러오는게 아니라. 기억해둔 방식으로 데이터를 다시 만들어낸다. - 한번 ..

IT/Spark 2017.06.15

3) Scala 기본적인 문법들

Scala 기본적인 문법들은 집고 가야 할 것 같아서..ㄷㄷ //class 선언 없이도 object로만 돌아갈수도 잇다. //object test { // single ton 객체 느낌. static 변수같은 느낌// // var bb = 1// def main(args:Array[String]): Unit ={// // var mutable = 1// // val immutable = 2// // println("aaaaaa")// // //immutable = 3// var a:Int = 3// // //java랑 다르게 기본형 타입이 다 클래스이다. java는 int, Integer 따로 있었는데..// // //Byte, Short, Int, Long..등 있고// // //Python이랑 진짜 ..

IT/Spark 2017.06.12