<aside> 💡 발표자료
[116-2] Dialog-BERT 100억 건의 메신저 대화로 일상대화 인공지능 서비스하기.pdf
발표영상
Dialog-BERT: 100억 건의 메신저 대화로 일상대화 인공지능 서비스하기
</aside>
Dialog-BERT: 100억 건의 메신저 대화로 일상대화 인공지능 서비스하기
이 세션에서는 다양한 NLP Task에서 State-of-the-art 성능을 보이며 세상에 충격을 주었던 BERT모델을 100억 건의 카카오톡 일상대화 데이터로 직접 학습시키고 서비스까지 해보는 모든 과정을 소개합니다.
일상대화 데이터는 대화체/채팅체로 이루어져서 문어체에 비해 변형이나 생략이 많고, 대화의 문맥도 고려해야 하며, 비유를 하거나 비꼬는 말처럼 숨겨진 의미도 존재하기 때문에 언어에 대한 깊은 이해가 필요합니다. BERT가 많은 태스크에서 정말 좋은 성능을 보이고 있지만 논문과 달리 언어도 한국어이고 Wiki 데이터처럼 깔끔하지도 않은 일상대화 데이터를 학습시키는 건 정말 어려운 일이었습니다. 또한 BERT는 매우 큰 모델이기에 실제로 서비스하기에는 Inference 속도 측면에서 한계가 있습니다. 이런 문제들을 극복해나가면서 Dialog-BERT를 개발하고 서비스하기까지의 모든 과정에서 겪은 Dialog-BERT 학습, 현실 문제로의 적용, BERT 경량화 등에 대한 경험을 나누고자 합니다.