Deep learning/논문

BERT

BERT는 2018년 구글이 개발한 자연어 처리 신경망 구조이다. 기존의 단방향 자연어 처리 모델들의 단점을 보완한 양방향 자연어 처리 모델이다. BERT는 트랜스포머를 이용해 구현되었다. 여기서 기존의 단방향 자연어 처리 모델들은 앞에서 뒤로 순서대로 읽을 수 밖에 없다는 문제점을 지니고 있다. 이러한 문제점 때문에 predict를 할 때 이전 토큰만 참조한다는 단점이 있다. 하지만 BERT는 양방향 자연어 처리 모델이다. 이러한 방법은 기존의 단방향 자연어 처리 모델의 문제점을 해결한 방식이다. 그렇기 때문에 BERT는 SOTA 성능을 보였고 현재 가장 많이 사용하는 모델이다. BERT Input BERT에 들어가는 데이터의 형식은 아래와 같다. 기존의 단방향 자연어 처리 모델들과 똑같이 문장의 시작..