끄적끄적

논문 : arxiv.org/pdf/1511.06939.pdf 코드 : https://github.com/paxcema/KerasGRU4Rec Matrix Factorization(MF) 기반의 추천의 경우 현재 가장 관심을 갖는 상품을 추천하기어려우며, 같은 유저라도 서로 다른 세션 활동을 가지므로 이를 독립적으로 보고 유저가 아닌 세션 이벤트 기준으로 모델링. 유정정보를 사용하지않아 비교적 단순함 2.1 Session-Based recommendation 기존 방법들의 경우, 사용자의 마지막 클릭 아이템을 기준으로 유사한 아이템을 찾기 때문에 과거 클릭 정보를 무시하게 되는 문제점이 있다. 해당 문제를 해결하기 위해 2가지 방법을 적용 MDP(Markov Decision Process) - 아이템 간 ..

IT/논문리뷰 2021. 6. 13. 19:30

Attention Is All You Need 논문 링크 : Attention Is All You Need pytorch code : harvardnlp 1. 배경 기존 좋은 성능의 번역 모델은 RNN, CNN을 사용하였으나 RNN계열의 모델에서는 sequential하게 학습하는 구조로 병렬처리가 어려워 시간이 오래걸리며, 고정된 크기의 벡터에 모든 정보를 압축하여 정보 손실 문제가 있었습니다.(Long term dependency, Vanishing gradient, Fixed context vector) CNN에서는 위치상 거리가 먼 단어간의 관계를 학습하기 위해서는 여러개의 합성곱 층을 쌓아 계산량이 많아지는 단점이 있었습니다. 이러한 문제를 해결하기 위해 제안된 모델이 Transformer입니다...

IT/논문리뷰 2021. 4. 3. 21:27