오늘도 slide 3까지밖에 이해를 못했음

지난 주는 중간고사 주간이어서 세미나가 없었다. 이번주는 카이스트 나오신 포스텍 컴공과 김동우 교수님의 세미나이다. 머신러닝 주제라서 좋다. 나는 오늘 세미나로 임성빈 교수님 얼굴 처음 뵀다... (임교수님은 우리 학교 에타 네임드시다... 심지어 담당 애완견도 있으심...) >교수님 애완견의 모습 아무튼 필기 시작 캡쳐한거 다 저작권 김동우교수님께 잇ㅆ음 (Discrete) Sequence modeling DNA나 말 같은 거 From HMM to RNN: State transition approach 은닉 마르코프 모델이나 recurrent NN 등이 있는데 이들은 underlying state가 있다는것이 특징이다 Example: HMM for behaviour sequence prediction Rainly, Sunny가 은닉상태가 되는 것. 이러한 은닉상태에 기반하여 결정을 내리게 된다. 그런데 문제는 이들 모델은 long term dependency는 딱히 신경쓰지 않는다. 그래서 LSTM이나 DGRU를 쓰기도 하지만 아주 긴 롱텀 의존성은 X Part 1: Sequence prediction 진짜 세미나 페이스 개빨라 필기를 할수가 없다 Discrete sequence prediction: Given a sequence of discrete symbols y1, ... yn-1 where y ㅌ Y and |Y|=m, predict the next symbol yn 보케뷸러리에 포함된 심벌들의 시퀀스가 주어졌을 때 그 다음 심벌이 무엇일지를 예측하는 것 시퀀스들은 반복된다고 생각할수 있으니까 예측이 가능하다 Motivation: repeating subsequences 섭시퀀스가 반복되는 경우가 많다. 예를들면 음악에서 반복되는 훅, DNA에서 자주 반복되는 섭시퀀스 등 반복되는 섭시퀀스를 가지고 장거리의존성을 반영한 예측 어케 할것인가 가 문제 Motivation: Motif Motifs: frequently occurred subseque...

지난주 세미나 진짜 듣고 싶었는데 너무 바빴다 ㅂㄷㅂㄷ 온라인 세미나의 몇 안되는 장점이 녹화를 해놓고 다시 들을 수 있다는 건데 녹화가 자꾸 끊겨서 그마저도 포기했다... 이번주는 구글에서 일하시는 이준석 박사님께서 강연을 해주셨다. 영어 진짜 넘 잘하시고 간지 폭발임... 주제는 Two-Stage Approach for Grounding Text Queries with Moments in Large-Scale Video Corpus.  corpus가 말뭉치라는 뜻인 걸 난 오늘 처음 알았다. 포스터 참고하시고, 이제 필기 시작~ "Moment"  영상에서 semantically meaningful한 짧은 클립/부분을 뜻한다. 인간에 의해 자연어로 묘사될 수 있음. Moment localization in a single video 비디오에서, 자연어 쿼리로 묘사된 부분의 time window를 찾는 것이 목표이다. "Can you show me how to line the pan with the parchment paper?" 하면 그 부분을 찾아주는거. Moment localization in >Video Corpus< 유튜브에 'how to butterfly a chicken'이라고 쳤을때 여러가지 영상에서 딱 그부분에 해당하는 time window를 찾아서 보여주고 싶은 것.. 'untrimmed, unsegmented' 영상에서?? 왜 어려운가? 1. (발표자님 인터넷이 끊겨서 첫번째껀 놓침) 2. 영상이 엄청 많음. (scaling to arbitrarily large corpus) 3. 아직 evaluation 기준이 딱히 없음 Two-stage Approach 이해가 안가서 그냥 내 필기 들고옴... --> 왜 어려운가? 의 2번째 항목 Video Retrieval(VR) 타겟 쿼리에서 해당 비디오의 확률을 최대화하고 싶은데... 그... 아무튼 빨간 글자는 neg...