AI 서비스
저희 서비스에는 배팅에 참여한 사용자들끼리 채팅이 가능합니다. 하지만 채팅에 관련한 어떠한 규칙도 존재하지 않기 때문에 사용자간 대화를 제재할 수 없어 배팅에 참여한 사용자간 비난이 가능하다는 문제가 있습니다. 그래서 이러한 문제를 해결하기 위해 많이 사용되는 클린 봇 기능을 추가하여 사용자들이 다른 사용자에게 불쾌하지 않게끔 하여 서비스의 질을 더 높일 수 있을것이라고 판단하였습니다.
저희 서비스는 기본적으로 다른 사용자가 모집이 되지 않으면 서비스를 이용할 수 없다는 제한이 있습니다. 이러한 제약 사항을 어떻게 벗어날 수 있을 지 고민하였을 때 AI를 활용하여 챗봇을 만들고 해당 챗봇이 참가한 사용자와 실제 대화를 하는 것과 같이 대화를 하고 게임에 참여하여 배팅도 진행할 수 있다면 저희의 서비스의 매력이 더 올라갈 수 있을 것이라고 판단 하였습니다.
최대한 적은 비용을 사용하여 서비스를 개발하고 싶다고 생각 하였습니다. 이번에 네이버 클라우드를 활용하여 서비스를 개발하는 경험을 해보니 비용을 절감하는 일도 굉장히 중요하다는 생각이 들었습니다.
저희 서비스는 규모가 작고 예상할 수 있는 사용자의 수도 적기 때문에 토큰 당 비용이 발생하는 AI 모델을 사용하는 것은 과하다고 생각 되었습니다. 그래서 저희는 오픈 소스 모델을 최대한 활용하여 서비스에 맞게끔 파인 튜닝을 해보는 경험들을 하는 것이 저희 그룹원 모두에게 좋은 경험이 될 것 같다고 판단 했습니다.
HugginFace에는 다양한 오픈소스 AI 모델들이 등록되어 있기 때문에 프로젝트에 사용하고자 하는 목적에 맞춰서 AI를 튜닝할 수 있고 오픈소스이기 때문에 사용에 자유롭고 비용을 절감할 수 있다는 장점이 있습니다. 그래서 실험으로 개발 해보기 위한 용도로는 비용이 발생하지 않는 모델을 활용하여 개발하는 것이 좋다고 생각 했습니다.
모델을 실행시킬 수 있는 환경은 우선 크게 Hugging Face Inference API를 활용하는 방법과 로컬에서 실행시키는 방법이 있었습니다. 이 중 저희의 목적인 최대한 비용을 절감하는 방법으로 서비스를 구현하기 위해서는 Hugging Face Inference API를 활용하는 것이 좋다고 생각 했습니다.
저희의 프로젝트는 클라우드 서버에 배포되어 있는데 AI 모델을 클라우드에서 구동시킬 경우 실험단계에서 사용하기에는 과도한 비용이 발생할 수 있기 때문에 초기에는 Hugging Face Inference API에서 무료로 사용이 가능한 가벼운 모델을 사용하여 개발을 하는 것이 좋다고 생각했습니다.
저희가 생각하고 있는 채팅 필터링 기능의 경우 자연어를 정규식 기반으로 필터링을 하는 기능이 뛰어나고 문맥을 이해하는 능력이 우수한 AI 모델을 사용하는 것이 적절하다고 생각 했습니다. 실제로 Huggin Face에는 부적절한 텍스트를 감지하기 위해 설계된 BERT 기반 모델들이 많으니 이 모델들을 활용하여 구현하는 것에 대해서 고려하고 있습니다.
채팅 봇 기능의 경우 Llama2 모델을 활용하여 채팅을 진행하고 사용자가 입력한 채팅에 대한 감정 분석 모델, 예를 들어 roberta-base-go_emotions와 같은 모델을 추가로 사용하여 적절한 톤의 대화를 생성하는 방법을 사용하면 적절하게 기능을 구현할 수 있을 것 같다고 고려하고 있습니다.