자연어 생성 도구 상자-파종-수확 (2)

ACL-2020 텍사스 오스틴 대학 (University of Acl-2020) 은 제어 해석에 의해 생성 된 신경 구문의 사전 정렬을 제어하는 ​​데 사용됩니다

이 글의 목적은 통제할 수 있는 높은 커버율의 복창 샘플을 생성하는 것이다. 기계 번역의 사전 정렬 사상을 바탕으로 저자는 2 계층 seq2seq 해석 생성 아키텍처를 구축했습니다. 첫 번째 계층, SOW 계층, 먼저 소스 문장의 다양한 가능한 정렬 (의미, 열거는 있지만 구문 논리에 따라 필터링) 을 생성하고 소스 문의 위치 포함을 생성합니다. 2 층, REAP 레이어, SOW 가 제시한 위치 임베딩과 함께 해석을 생성합니다.

마지막 섹션에서는 SOW-REAP 생성 해석의 목적과 아이디어, 그리고 두 개의 독립 하위 모듈이 필요한 정보를 생성하고 함께 작업하는 방법에 대해 설명합니다. 이 섹션에서는 순서를 재정리하는 세 단계의 세부 사항과 파종 수확을 훈련시키는 방법에 대해 계속 설명하겠습니다.

재정렬의 세 단계는 반복 구문 트리의 각 계층을 통해 이루어지며 seq2seq 를 사용하여 재정렬 후보 시퀀스를 생성합니다. 그럼 어떻게 작동할까요? 동시에, 순서 변경 결과 후 SOW 는 어떻게 최종 순서 변경 세트를 얻을 수 있으며, SOW 와 REAP 2 계층 모델의 장점은 어떻게 훈련됩니까?

우선, 재정렬의 전반적인 틀을 검토해 보겠습니다.

첫 번째 단계: 구문 조각을 선택할 때 먼저 구문 트리에서 한 레벨을 선택합니다. 예를 들어 그림의 레벨 S0 (루트 노드 레벨), A=S 및 B=VP2 (다른 소스 문의 내용 유지) 두 구성 요소를 추상화하여 대체할 튜플 S0, S, VP2 를 얻습니다.

두 번째 단계에서는 reorders 를 생성할 때 작성자는 이전 단계에서 얻은 튜플을 사용하여 추상문 (예: IfSIwillVP) 을 얻습니다. 그런 다음 SOW(seq2seq) 모델을 사용하여 추상적인 문장을 입력으로 사용하여 재정렬된 문장을 생성합니다. 마지막으로 단어 벡터의 코사인 거리로 정렬합니다. 즉, 생성된 문장 단어가 원래 문장에 없으므로 소스 문장의 단어로 대체됩니다.

재 배열 문장의 로그 확률은 재 배열 점수로 저장된다는 점은 주목할 만하다.

세 번째 단계에서는 정렬 결과를 병합할 때 작성자가 각 하위 구문 트리를 재귀적으로 재정렬하고, 각 하위 구문 트리는 top-k 의 재정렬 결과를 얻습니다. 이러한 결과는 리프 레벨로 재귀적으로 재정렬된 문장으로 반환되며, 각 계층의 재정렬된 점수의 평균은 최종 재정렬 점수로 사용됩니다.

SOW 모델은 또한 seq2seq 의 모델로, 재정렬된 정렬된 문장 튜플 (예: If S I will VP, I will VP if S) 을 사용하여 예측 시 수신을 생성할 수 있도록 교육합니다.

SOW 는 작성자가 정의한 스위치 변수로서 소스 문장에서 추상적인 구 (이 경우 S 와 VP) 의 순서 (단조로움) 를 유지할지 아니면 대칭 이동할지를 나타내는 스위치 변수라고 공식적으로 정의할 수 있습니다. 구체적인 예는 논문을 참고하세요. 예측 시 조정 및 순서 유지를 포함한 두 가지 스케줄 조정 결과를 생성합니다.

REAP 모델에는 삼원 입력이 필요하지만 일반적으로 코퍼스에만 구축하면 됩니다. 훈련 샘플에서 작성자는 소스 문장의 단어 벡터와 대상 문장의 단어 벡터의 코사인 유사성을 사용하여 정렬합니다. 구체적인 방법은 먼저 소스 문장과 대상 문장의 벡터 표현 [1], 구문 트리 [2] 에 따라 레이어별로 정렬한 다음 마지막으로 얻는 것입니다.

SOW 모델을 교육하려면 구문 레벨 정렬 튜플이 필요합니다. 작가는 [3] 의 방법을 따라 소스 문장과 대상 문장 사이의 구 수준 정렬 점수를 계산합니다. 구를 정렬하면 다음 그림과 같이 구문과 일대일 매핑된 정렬 샘플을 얻을 수 있습니다. 즉, 일부 단어는 이해하지 못하고 일대일 매핑의 예만 교환합니다. 이러한 코퍼스는 교육 SOW 를 모니터링하는 데 사용할 수 있습니다.

작성자가 재정렬된 소스 문장을 생성할 때 제어 스위치를 사용하여 재정렬 순서를 세밀하게 제어합니다. 개인적인 느낌은 매우 교묘한 디자인으로, 다양한 수준의 재정렬된 문장을 얻어 다양성을 보장하는 데 사용할 수 있다.

제이콥 데블린, 장명위, 켄튼 리, 크리스티나 투타노바. 20 19. 버트: 언어 이해 심도 있는 양방향 변환기에 대한 사전 훈련. 전산언어학 협회 북미 지부 2065438+ 09 회의 논문집: 인류언어기술, 65438+ 0 권 (장논문 및 단문 논문), 4171–4/Kloc-

[2] 유리 레너와 슬라브 페트로프. 20 13. 기계 번역의 소스 측 분류자 사전 정렬. 20 13 자연어 처리 경험 방법 회의록, 513–523 페이지.

[3] 장천익, 발사 키쇼르, 펠릭스 오, 킬리안 Q 와인버그 요프 아치. 2020.BERTScore: BERT 평가 텍스트로 생성됩니다. 국제 학습 대표 회의.