Featured Posts
Machine_Learning
꼼꼼하고 이해하기 쉬운 Reformer 리뷰
Review of Reformer: The Efficient Transformer
이번 ICLR 2020에서는 여러 특기할 만한 구조들이 제안되었습니다. 그 중에서 저희가 인상깊게 본 구조는 구글에서 제안한 Reformer입니다. 기존의 Transformer 구조는 데이터 토큰이 조금만 많아져도 모델 크기가 엄청나게 커지는 문제가 있었습니다. 이는 Attention 모델이 데이터 열에서...
TensorFlow TPU 학습 101
Google ML 서비스의 심장으로 학습하기
핑퐁팀은 PyTorch뿐만 아니라 TensorFlow 2.0도 활발하게 사용하고 있습니다. 최근 팀 내에서 TPU를 활용하여 학습하는 프로젝트를 진행하고 있는데, 이 글에서는 TF 2.0을 기반으로 짜여진 모델을 Google Colab과 Google Cloud Platform (GCP)을 활용하여 어떻게 TPU 위에서 훈련하는지...
핑퐁팀 ML 세미나, 그 네번째
핑퐁 ML 리서치 사이언티스트들의 시즌 4 세미나 자료
새해가 밝은 지 얼마 되지도 않았는데 벌써 2020년도 1/6이나 지나갔습니다. 그 짧은 시간에도 수많은 좋은 논문들이 발표되었습니다. 우리의 불쌍한 핑퐁팀 ML 사이언티스트들은 이에 뒤처지지 않게 늘 공부하고 또 공부합니다. 우리의 슬로건 "Make AI Social (Again)"을 달성하기...
딥러닝 모델 서비스 A-Z 1편 - 연산 최적화 및 모델 경량화
딥러닝 모델 서비스 A-Z 1편
대화를 더 잘하기 위해 딥러닝 모델들은 점점 더 크고 무거워지고 있습니다. 그에 비례해서 빠르고 효율적으로 서비스하기 위한 난이도 또한 나날이 높아지고 있습니다. 이번 글에서는 핑퐁팀이 딥러닝 모델을 서비스하기 위해 고려한 것들을 소개해드리고자 합니다. ...
구글의 Open-Domain 챗봇 'Meena' 논문 리뷰
구글의 Meena에 대해서 살펴보기
최근에 인터넷을 떠들썩하게 한 논문이 하나 발표되었습니다. 바로 구글 브레인이 발표한 'Towards a Human-like Open-Domain Chatbot'이라는 제목의 논문입니다. 이 논문이 주목받은 이유는 End-to-end의 Generation 모델로 이전 모델에 비해 압도적으로 높은 수준의 대화를 구현했고, 거의 인간 수준에 맞먹는...
Transformer - Harder, Better, Faster, Stronger
Transformer 구조체와 이 구조를 향상시키기 위한 기법들을 같이 알아봅시다.
이번 블로그에서는 2017년에 발표되어 자연어처리 분야의 한 획을 그었던 Transformer 구조와 이를 활용한 GPT / BERT 구조에 대해서 다룹니다. 아울러 어떠한 문제들이 있었고 연구자들이 어떻게 그 문제들을 풀려 노력했는지에 대해서 같이 알아보고자 합니다. ...
EMNLP 2019 Review - 핑퐁팀이 보고, 듣고, 느낀 점
핑퐁팀이 EMNLP 2019에 가서 보았던 인상 깊었던 논문들을 리뷰해 보았습니다.
안녕하세요, 여러분! 며칠 전 핑퐁팀 ML 엔지니어들은 홍콩에서 열린 EMNLP 2019에 다녀왔습니다. 지난번 포스트에서는 EMNLP 에 Accept 된 논문 중에 관심이 있었던 페이퍼들을 학회에 가기 전에 미리 보고 리뷰를 해봤었는데요. (https://tech.scatterlab.co.kr/emnlp2019-preview/) 이번 포스트에서는 핑퐁팀이 직접 학회에...
EMNLP-IJCNLP 2019 프리뷰
EMNLP-IJCNLP 2019 in Hong Kong (Nov 3-7, 2019) 미리 한번 살펴보자!
EMNLP는 자연어 처리(NLP) 분야를 주도하는 주요 국제 컨퍼런스 중 하나로, 매년 많은 NLP 연구자들이 주목하는 학회입니다. 올해는 11월 3일부터 7일까지 5일간, IJCNLP와 함께 홍콩에서 진행됩니다. 이번에는 저희 핑퐁팀도 컨퍼런스에 참가하게 되었는데요, 기대에 부푼 마음으로 EMNLP-IJCNLP 2019의 핫...
핑퐁팀 ML 세미나, 그 세번째
핑퐁 ML 리서치 사이언티스트들의 시즌 3 세미나 자료
ML 리서치 사이언티스트들의 세번째 세미나 발표자료 묶음을 갈무리하여 올립니다. 본 세미나는 2019년 8월 28일부터 2019년 10월 2일까지 진행되었으며, 시즌 3은 특정 주제의 선정 없이 자유롭게 논문을 선택하는 방식으로 진행되었습니다. 첫 자유 주제 세미나이니만큼 팀원들의 기술에 대한 선호도를...
핑퐁팀 ML 세미나, 그 두 번째
핑퐁 ML 리서치 사이언티스트들의 시즌 2 (Question Answering) 세미나 자료
ML 리서치 사이언티스트들의 두 번째 세미나 발표자료 묶음을 갈무리하여 올립니다. 본 세미나는 2019년 6월 19일부터 2019년 8월 2일까지 진행되었습니다. 시즌 2의 주제는 Question Answering입니다. 기존의 핑퐁과 드리미 등 스캐터랩의 대화 엔진은 범용적인 응답 문장(리액션류의 문장)들을 적절하게...