Featured Posts
Engineering
GitHub Actions로 App 자동으로 배포하기
루다와 함께 사용하는 메신저 'Nutty' 자동으로 배포하기
핑퐁팀은 2022년 상반기에 루다와 유저를 만나게 하는 수단으로 더 이상 페이스북 메신저를 사용하지 않고 자체 메신저 앱을 개발하기로 결정했습니다. 저희는 빠르게 MVP 형식의 메신저 앱을 완성하여 배포한 후 지속적인 업데이트를 통해 앱의 완성도를 올리자는 계획을 세웠고,...
AWS Inferentia를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 2탄
우당탕탕 Inferentia 배포하기
지난 글에서는 AWS Inferentia 소개와 사용법, GPU와의 성능 비교 등을 설명해 드렸어요! 이번 글에서는 Inferentia를 실제 서비스에 도입하기 위해 핑퐁팀에서 어떤 과정들을 거쳤는지 소개해드릴게요.😋 preview ...
쿠버네티스에서 노드가 추가될 때마다 슬랙 알람 쏘기
나만의 Kubernetes event watcher 만들기
AWS의 Elastic Kubernetes Service나 GCP의 Google Kubernetes Engine 등, 대부분의 대형 클라우드 서비스는 독자적인 관리형 쿠버네티스 서비스를 제공하고 있습니다. 이러한 서비스는 해당 클라우드 벤더사에서 제공하는 컴퓨팅 엔진을 간편하게 연동할 수 있다는 장점을 갖습니다. Cluster Autoscaler를 활용하면 노드...
AWS Inferentia 를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 1탄
AWS 고객감사 특별 할인... 모델 서빙 비용 최대 80% 초특가 할인전
머신러닝 엔지니어링(MLE)팀에서는 제품에 사용되는 여러 딥러닝 모델을 최대한 낮은 지연 시간과 적은 비용으로 서빙하기 위해서 여러 하드웨어 및 소프트웨어 최적화 기법을 실험해보고 실제 프로덕트에 적용하고 있습니다. 높은 수준으로 최적화된 모델 서빙은 실제 서비스에서 더 큰...
개발자를 위한 AWS 클라우드 보안 (3) - 인프라 보안과 사고 대응
이것만 알아도 클라우드 보안 마스터
핑퐁팀에서 AWS 보안 강화를 위해 작업했던 내용을 AWS Well-Architected Framework와 함께 소개하는 마지막 글로, 인프라 보안 영역과 사고 대응 영역을 소개하려고 합니다. 이전 내용이 궁금하신 분들은 1편과 2편에서 확인하실 수 있습니다. ...
Apache Beam으로 머신러닝 데이터 파이프라인 구축하기 2편 - 개발 및 최적화
대규모 머신러닝 데이터 파이프라인 개발하고 최적화하기
지난 글에서는 핑퐁팀이 어떻게 Apache Beam을 도입하였는지를 설명드렸어요! 이번 글에서는 본격적으로 유지보수성을 높이면서 어떻게 머신러닝 데이터 파이프라인을 개발하였는지 차근차근 설명해 드릴게요. 😄 ...
개발자를 위한 AWS 클라우드 보안 (2) - 로깅 및 모니터링과 데이터 보호
이것만 알아도 클라우드 보안 마스터
지난 글에 이어 이번 글에서는 로깅 및 모니터링 영역과 데이터 보호 영역에 대해 살펴보겠습니다. ...
Apache Beam으로 머신러닝 데이터 파이프라인 구축하기 1편 - 도입과 사용
빠르고 효율적인 병렬 데이터 파이프라인 도입기
핑퐁팀은 Apache Beam을 사용하여 사용자 데이터의 가명처리, 대규모 데이터 정제, 임베딩 벡터를 사용한 데이터 샘플링과 TFRecord 변환에 이르는 다양한 작업을 처리하고 있습니다. 핑퐁팀이 왜 Apache Beam을 사용하는지, 어떻게 사용하는지 자세하게 소개해볼게요. ...
개발자를 위한 AWS 클라우드 보안 (1) - 클라우드 설계 원칙과 IAM
이것만 알아도 클라우드 보안 마스터
스캐터랩에서는 루다를 비롯한 회사의 서비스를 배포하고 운영하기 위해 AWS를 사용하고 있습니다. 컴퓨팅, 네트워크 장비를 직접 구매해서 모든 것을 세팅할 필요 없이, 클라우드에서 인프라 구축, 자동 스케일링, 네트워크, DNS 구성 등을 간편하게 할 수 있다는 것은...
TensorFlow Custom Op으로 데이터 변환 최적화하기
4.697ms → 17.147μs
핑퐁팀에서는 모델 학습의 효율성을 위해 자주 TFRecord를 생성합니다. 하지만 정제할 데이터가 많은 경우에는 변환이 느려지고, 속도 최적화가 필요합니다. 이 때의 병목점을 Custom Op으로 교체하면 처리 속도를 매우 빠르게 만들 수 있습니다. 실제로 이번 최적화를 통해 한...