Featured Posts
ALL
개발자를 위한 AWS 클라우드 보안 (2) - 로깅 및 모니터링과 데이터 보호
이것만 알아도 클라우드 보안 마스터
지난 글에 이어 이번 글에서는 로깅 및 모니터링 영역과 데이터 보호 영역에 대해 살펴보겠습니다. ...
Apache Beam으로 머신러닝 데이터 파이프라인 구축하기 1편 - 도입과 사용
빠르고 효율적인 병렬 데이터 파이프라인 도입기
핑퐁팀은 Apache Beam을 사용하여 사용자 데이터의 가명처리, 대규모 데이터 정제, 임베딩 벡터를 사용한 데이터 샘플링과 TFRecord 변환에 이르는 다양한 작업을 처리하고 있습니다. 핑퐁팀이 왜 Apache Beam을 사용하는지, 어떻게 사용하는지 자세하게 소개해볼게요. ...
알라꿍달라꿍의 대화요약 이모저모
2021 한국어 인공지능 자연어 경진대회 대화요약 수상기
저(박상준), 최기원, 오혜린 셋은 작년에 열렸던 2021 한국어 음성·자연어 인공지능 경진대회에 함께 팀을 이뤄 대화요약 부문에 참가했습니다. 회사에서 공식적으로 참가한 건 아니지만 자주 보면서 이야기를 나눠야 하다 보니 자연스레 회사 동료들과 함께 참가하게 되었습니다. 대회...
개발자를 위한 AWS 클라우드 보안 (1) - 클라우드 설계 원칙과 IAM
이것만 알아도 클라우드 보안 마스터
스캐터랩에서는 루다를 비롯한 회사의 서비스를 배포하고 운영하기 위해 AWS를 사용하고 있습니다. 컴퓨팅, 네트워크 장비를 직접 구매해서 모든 것을 세팅할 필요 없이, 클라우드에서 인프라 구축, 자동 스케일링, 네트워크, DNS 구성 등을 간편하게 할 수 있다는 것은...
TensorFlow Custom Op으로 데이터 변환 최적화하기
4.697ms → 17.147μs
핑퐁팀에서는 모델 학습의 효율성을 위해 자주 TFRecord를 생성합니다. 하지만 정제할 데이터가 많은 경우에는 변환이 느려지고, 속도 최적화가 필요합니다. 이 때의 병목점을 Custom Op으로 교체하면 처리 속도를 매우 빠르게 만들 수 있습니다. 실제로 이번 최적화를 통해 한...
하나의 조직에서 TensorFlow와 PyTorch 동시 활용하기
불타는 텐서 흐름!
보통 제품이 있는 조직은 TensorFlow를, 리서치 조직은 PyTorch를 활용하는 것이 좋다고 알려져 있습니다. 그리고 하나의 조직에서는 하나의 프레임워크만 사용하는 것이 일반적이죠. 하지만 핑퐁팀의 형태는 다소 특이합니다. TensorFlow와 PyTorch를 동시에 사용하고 있습니다. 어떻게 둘 다 동시에...
딥러닝 모델 서비스 A-Z 2편 - Knowledge Distillation
난 선생이고 넌 학생이야
핑퐁팀이 내부적으로 활용하는 대형 언어 모델은 실제 서비스화하기에는 연산량이 많고, 많은 메모리를 요구합니다. 이런 모델을 실제로 활용하기 위해서는 잘 알려진 경량화 기법을 적용해야 하는데, 그 중 가장 대표적인 Knowledge Distillation 방법을 적용한 사례를 소개해보고자 합니다. ...
EMNLP 2020 프리뷰
알아두면 쓸데있는 신비한 EMNLP 2020! 저희가 준비해보았습니다.
Conference on Empirical Methods in Natural Language Processing (EMNLP)은 자연어 처리(NLP) 분야를 주도하는 국제 컨퍼런스 중 하나로 매년 많은 NLP 연구자들이 주목하는 학회입니다. 올해 EMNLP는 COVID-19로 인해서 온라인 형식으로 진행됩니다. 그래서 핑퐁팀은 메인 컨퍼런스가 진행되는...
사람들은 AI와 대화를 얼마나 잘할까?
'이루다'의 베타 테스트 분석 결과를 공개합니다.
제품을 출시하기 전 Product-market fit을 찾거나 사용성을 점검하기 위한 테스트는 꼭 필요한 과정입니다. 새로운 형태의 제품이라면 테스트를 통해 문제를 발견하고 보완하는 과정이 더더욱 중요하죠. 지난 6월, 핑퐁팀에서도 1,000명의 테스터를 대상으로 AI 친구 '이루다'의 베타 테스트를...
핑퐁 팀이 '팀워크'를 발휘할 팀원을 찾는 법
팀워크 역량 = 업무 역량 X 커뮤니케이션 역량 X 컬처 핏
앞서 컬처코드 글에서도 보셨듯 핑퐁 팀은 최고의 팀이 되기 위해 노력하고 있어요. 최고의 팀이 되기 위해서는 서로 잘 맞는 팀원들이 모여, 팀워크를 발휘할 수 있어야 합니다. 핑퐁 팀이 어떤 채용 프로세스를 통해 팀워크를 잘 발휘할...