Featured Posts
ALL
꼼꼼하고 이해하기 쉬운 Reformer 리뷰
Review of Reformer: The Efficient Transformer
이번 ICLR 2020에서는 여러 특기할 만한 구조들이 제안되었습니다. 그 중에서 저희가 인상깊게 본 구조는 구글에서 제안한 Reformer입니다. 기존의 Transformer 구조는 데이터 토큰이 조금만 많아져도 모델 크기가 엄청나게 커지는 문제가 있었습니다. 이는 Attention 모델이 데이터 열에서...
TensorFlow TPU 학습 101
Google ML 서비스의 심장으로 학습하기
핑퐁팀은 PyTorch뿐만 아니라 TensorFlow 2.0도 활발하게 사용하고 있습니다. 최근 팀 내에서 TPU를 활용하여 학습하는 프로젝트를 진행하고 있는데, 이 글에서는 TF 2.0을 기반으로 짜여진 모델을 Google Colab과 Google Cloud Platform (GCP)을 활용하여 어떻게 TPU 위에서 훈련하는지...
핑퐁팀 ML 세미나, 그 네번째
핑퐁 ML 리서치 사이언티스트들의 시즌 4 세미나 자료
새해가 밝은 지 얼마 되지도 않았는데 벌써 2020년도 1/6이나 지나갔습니다. 그 짧은 시간에도 수많은 좋은 논문들이 발표되었습니다. 우리의 불쌍한 핑퐁팀 ML 사이언티스트들은 이에 뒤처지지 않게 늘 공부하고 또 공부합니다. 우리의 슬로건 "Make AI Social (Again)"을 달성하기...
딥러닝 모델 서비스 A-Z 1편 - 연산 최적화 및 모델 경량화
딥러닝 모델 서비스 A-Z 1편
대화를 더 잘하기 위해 딥러닝 모델들은 점점 더 크고 무거워지고 있습니다. 그에 비례해서 빠르고 효율적으로 서비스하기 위한 난이도 또한 나날이 높아지고 있습니다. 이번 글에서는 핑퐁팀이 딥러닝 모델을 서비스하기 위해 고려한 것들을 소개해드리고자 합니다. ...
친근하고 귀여운 챗봇 디자인 2편 - 대화 디자인 편
친근한 관계를 맺는 대화는 어떻게 디자인할까요?
지난 글에서는 어떤 점을 고려해서 귀여운 루나의 페르소나를 디자인했는지 소개해드렸어요. 이번 블로그 글에서는 루나 사례를 통해 사람들과 친근한 관계를 맺을 수 있는 대화를 어떻게 디자인하면 좋을지 얘기해보려고 해요. 사람들도 처음 만난 사이에서 친근한 사이가 되기 위해서는 서로에...
구글의 Open-Domain 챗봇 'Meena' 논문 리뷰
구글의 Meena에 대해서 살펴보기
최근에 인터넷을 떠들썩하게 한 논문이 하나 발표되었습니다. 바로 구글 브레인이 발표한 'Towards a Human-like Open-Domain Chatbot'이라는 제목의 논문입니다. 이 논문이 주목받은 이유는 End-to-end의 Generation 모델로 이전 모델에 비해 압도적으로 높은 수준의 대화를 구현했고, 거의 인간 수준에 맞먹는...
핑퐁팀의 Python 문화 구축기
본격 Python 문화 바로잡기
핑퐁팀은 머신러닝 모델 실험 코드부터 프로덕션에 이르기까지 Python을 많이 사용합니다. 하나의 프로젝트는 여러 명의 협업으로 진행되기 때문에 그 특성상 스타일, 구조의 불일치로 많은 문제를 겪을 수 밖에 없습니다. 이 문제를 핑퐁팀이 어떻게 해결해나갔는지 소개합니다. ...
친근하고 귀여운 챗봇 디자인 1편 - 페르소나 편
루나같이 귀엽고 친근한 챗봇은 어떻게 만드나요?
핑퐁팀에서 구글 어시스턴트에 출시한 '파이팅 루나'라는 일상대화 챗봇을 아시나요? 루나는 작년 초 구글 어시스턴트에 탑재된 귀여운 여고생 챗봇이에요. 유치할 것 같기도 한 이런 챗봇을 사람들이 정말 좋아하는지 긴가민가 하시죠? 이래봬도 루나는 말도 잘하고, 응원의 말도 잘 해주다보니...
Transformer - Harder, Better, Faster, Stronger
Transformer 구조체와 이 구조를 향상시키기 위한 기법들을 같이 알아봅시다.
이번 블로그에서는 2017년에 발표되어 자연어처리 분야의 한 획을 그었던 Transformer 구조와 이를 활용한 GPT / BERT 구조에 대해서 다룹니다. 아울러 어떠한 문제들이 있었고 연구자들이 어떻게 그 문제들을 풀려 노력했는지에 대해서 같이 알아보고자 합니다. ...
EMNLP 2019 Review - 핑퐁팀이 보고, 듣고, 느낀 점
핑퐁팀이 EMNLP 2019에 가서 보았던 인상 깊었던 논문들을 리뷰해 보았습니다.
안녕하세요, 여러분! 며칠 전 핑퐁팀 ML 엔지니어들은 홍콩에서 열린 EMNLP 2019에 다녀왔습니다. 지난번 포스트에서는 EMNLP 에 Accept 된 논문 중에 관심이 있었던 페이퍼들을 학회에 가기 전에 미리 보고 리뷰를 해봤었는데요. (https://tech.scatterlab.co.kr/emnlp2019-preview/) 이번 포스트에서는 핑퐁팀이 직접 학회에...