오늘도 slide 3까지밖에 이해를 못했음

  재밌겠다. 내가 요새 3D reconstruction과 관련된 과제를 하고 있기 때문에 좀더 기대가 됨... 앱스트랙을 보니 다시점 깊이맵으로부터 포인트 클라우드를 추출하고 융합해서 3D 표면을 나타내는 방법, 그리고 단시점 정면 깊이맵으로부터 후면 깊이맵을 생성하는 방법 이 두 가지를 나타내는 거 같은데... 기대가 된다. 최욱 교수님은 카이스트에서 학석박을 모두 다 하셨고 주로 컴퓨터 비전을 연구하신듯. 삼성전자와 ... 뭔가 하셨음. 아무튼 뭔가 많이 하셨음. 영어를 잘 못해서 못알아들었음. 인천대? 교수님이심 필기 시작! 3D reconstruction 휘트니스, 헬스케어, 가상 옷입히기 등 아무튼 사람을 3D 모델링하는게 여기저기 많이 쓰임. 그래서 어떻게 정확하게 3D human reconstruction을 할 것이냐? laser scanner, multi-view camera system 이런 두가지 방식이 있음. 아마 다시점 카메라에 대해서 설명하실 예정인듯. multi-view camera system 다시점 카메라 시스템은 일단 두개의 카메라 세트로 되어잇는데 하나는 RGB, 하나는 depth camera로 되어있고, 이렇게 쌍으로 된 카메라들이 여러 각도에서 대상을 찍게 됨. 이때 다시점 카메라 각각에서 좌표계가 다르고, 서로 어떻게 좌표 변환을 해야 하는지 알기 힘드므로 문제가 됨. X1 = R1X0+T1 이런 식으로 좌표끼리 변환하는 공식임. 이러한 extrinsic calibration을 하기 위해서는 이론적으로 최소 4쌍의 좌표가 있어야 2개의 좌표계를 서로 변환하는 파라미터들을 모두 구할 수 있음. 3D point cloud 이렇게 extrinsic calibration을 하고 나면 다시점 카메라로부터 얻은 여러 3D point cloud를 융합할 수가 있게 됨. depth camera에서 point cloud의 위치를, color camera로부터 색을 알아서 3D 형태를 구성할 수가 있음. <Iterative K...

서울대 Jae W. Lee 교수님의 세미나입니다 "Multi-disciplinary Challenge" 알고리즘/모델, 소프트웨어/프레임워크, 하드웨어가 모두 중요하며, 서로 독립적이지 않음 A3/ELSA - Attention Accelerator 'Attention' DNNs for NLP, Vision, etc. 에서 가장 중요한 advancement임 ??? Attention이 뭐지 content- based similarity search finds data relevant to the query, then returns the weighted sum of such data (query)dot(key matrix) -> attention score -> softmax computation (sharpening the values) -> weighted sum computation ?? cost of attention" substantial portion of the total runtime (>35% and often >60%) in many NN models specialized accelerator for attention mechanism we can do better than this opportunities for Approximation --> after softmax, most of the values are 0 : actually sparse operation -->> can avoid large amount of computations identify a few largest and a few smallest component multiplication results "Hopefully you get the basic idea" i don't do column-wise sorting in increasing order prepro...

내가 학기 중에 제일 좋아하는 시간인 세미나 시간!! 오늘은 딥러닝 액셀레러이팅에 관한 내용이다. 내 연구주제와 관련있어서 오늘은 특히 좋다. 오늘은 한양대학교에서 오신 최정욱 교수님이 세미나를 해주신다!! 근데 왜 담당 교수님이 안 계시지..?? 아무튼. 그럼 필기 시작!!! Accelerating Deep Learning: Algorithm - software - hardware 딥러닝 트레이닝, 인퍼런스 시에 많은 컴퓨팅파워가 필요함. --> 딥러닝 엑셀러레이터들이 많이 나온다. 인텔 Nervana, 구글 TPU, IBM 뭐시기 뭐시기... 여러 딥러닝 프레임워크들이 많은 MatMul 오퍼레이션을 요구함 컴파일러: Nvidia 텐서RT, 구글, 인텔 nGraph ...... DL-SW(Perf-Driven SW) 하드웨어: Nvidia V100, Google TPU, Intel NPU, ..... DL-HW(Versatile DL HW) compute-Efficient Deep Learning Algorithms "reduced-precision computation" for efficient DL inference and training - 90% of DNN conputation is MatMul (GEMM) 이때 이 2^e-127의 precision이 필요한가? 아니라는것 그래서 Bit reduction을 통해 에너지를 절약할 수 있다. (Horowits, 연도는못봄) - Reducing precision of all GEMMs into 8-bit Floating Point >> 인제 fwd/bwd/upd에서 다 8비트 곱셈을 하겠다는것이다 - Two key ideas to avoid "swamping error" 큰 수와 작은 수를 더할때 생기는 에러. 정보를 잃어버림 1. chunk-based accumulation implement할때 for 루프를 2번써서 chunk 단위로 더하고 전체 ch...