자연어 생성 도구 상자-파종-수확 (2)

ACL-2020 텍사스 오스틴 대학 (University of Acl-2020) 은 제어 해석에 의해 생성 된 신경 구문의 사전 정렬을 제어하는 ​​데 사용됩니다.

이 글의 목적은 통제할 수 있고 커버율이 높은 복창 샘플을 생성하는 것이다. 기계 번역의 사전 정렬 사상을 바탕으로 저자는 2 계층 seq2seq 해석 생성 아키텍처를 구축했습니다. 첫 번째 계층, SOW 계층, 먼저 소스 문장의 다양한 가능한 정렬 (의미, 열거는 있지만 구문 논리에 따라 필터링) 을 생성하고 소스 문의 위치 포함을 생성합니다. 2 층 REAP 레이어는 SOW 가 제시한 위치 포함과 결합하여 해석을 생성합니다.

마지막 섹션에서는 SOW-REAP 생성 해석의 목적과 아이디어, 그리고 두 개의 독립 하위 모듈이 필요한 정보를 생성하고 함께 작업하는 방법에 대해 설명합니다. 이 섹션에서는 순서를 재정리하는 세 단계의 세부 사항과 파종-수확을 훈련시키는 방법에 대해 계속 설명하겠습니다.

재정렬의 세 단계는 반복 구문 트리의 모든 레벨을 통해 구현되며 seq2seq 를 사용하여 재정렬 후보 시퀀스를 생성합니다. 그럼 어떻게 작동할까요? 동시에, 순서 변경 결과가 있을 때, SOW 는 어떻게 최종 순서 변경 세트를 얻을 수 있으며, SOW 와 REAP 2 계층 모델의 장점은 어떻게 훈련됩니까?

우선, 재정렬의 전반적인 틀을 검토해 보겠습니다.

첫 번째 단계: 구문 조각을 선택할 때 먼저 구문 트리에서 레벨을 선택합니다 (예: 그림의 레벨 S0 (루트 노드 레벨). 두 구성 요소 A=S 및 B=VP2 (다른 소스 문장의 내용 유지) 를 추상화하여 대체할 튜플 S0, S, VP2 를 가져옵니다.

두 번째 단계에서 작성자는 reorders 를 생성할 때 이전 단계에서 얻은 튜플을 사용하여 추상 문장 (예: IfSIwillVP) 을 얻습니다. 그런 다음 SOW(seq 2 seq) 모델을 사용하여 추상적인 문장을 입력으로 사용하여 재정렬된 문장을 생성합니다. 마지막으로 단어 벡터의 코사인 거리를 사용하여 정렬합니다. 즉, 생성된 문장 단어는 원래 문장에 없으므로 소스 문장의 단어로 대체됩니다.

재 배열 문장의 로그 확률은 재 배열 점수로 저장된다는 점은 주목할 만하다.

단계 3, 정렬 결과를 병합할 때 작성자는 각 하위 구문 트리를 재귀적으로 재정렬하고, 각 하위 구문 트리는 top-k 의 재정렬 결과를 얻습니다. 이러한 결과는 리프 레벨로 재귀적으로 재정렬된 문장으로 반환되며, 각 계층의 재정렬된 점수의 평균은 최종 재정렬 점수로 사용됩니다.

SOW 모델은 seq2seq 의 모델이기도 하며, 재정렬된 정렬된 문장 튜플 (예: If S I will VP 및 I will VP if S) 을 사용하여 예측 중 수신을 생성할 수 있도록 교육합니다.

SOW 는 공식적으로 정의할 수 있습니다. 여기서 작성자가 정의한 스위치 변수는 소스 문장에서 추상 구 (이 경우 S 와 VP) 의 순서 (단조로움) 를 유지할지 아니면 대칭 이동할지를 나타냅니다. 구체적인 예는 논문을 참고하세요. 예측 시 조정 및 순서 유지를 포함한 두 가지 스케줄 조정 결과를 생성합니다.

REAP 모델에는 삼원 입력이 필요하지만 일반적으로 코퍼스에만 구축하면 됩니다. 훈련 샘플에서 작성자는 소스 문장의 단어 벡터와 대상 문장의 단어 벡터의 코사인 유사성을 사용하여 정렬합니다. 구체적인 방법은 먼저 소스 문장과 대상 문장의 벡터 표현 [1], 문법 트리 [2] 에 따라 레이어별로 정렬한 다음 마지막으로 얻는 것입니다.

SOW 모델을 교육하려면 구문 레벨 정렬 튜플이 필요합니다. 저자는 [3] 의 방법에 따라 소스 문장과 대상 문장 사이의 구 수준 정렬 점수를 계산합니다. 구를 정렬하면 다음 그림과 같이 구문과 일대일로 매핑된 정렬 샘플을 얻을 수 있습니다. 즉, 일부 단어는 이해하지 못하지만 매핑 샘플은 다음 그림과 같이 하나씩 교환됩니다. 이러한 코퍼스는 교육 SOW 를 모니터링하는 데 사용할 수 있습니다.

작성자가 재정렬된 소스 문장을 생성할 때 제어 스위치를 사용하여 재정렬 순서를 세밀하게 제어합니다. 개인적인 느낌은 매우 교묘한 디자인으로, 다양한 수준의 재정렬된 문장을 얻고 다양성을 보장하는 데 사용할 수 있다.

제이콥 데블린, 장명위, 켄튼 리, 크리스티나 투타노바. 20 19.BERT: 언어 이해를 위한 깊이 있는 양방향 변환기에 대한 사전 교육. 전산언어학 협회 북미 지부 2065438+ 09 회의 논문집: 인류언어기술, 65438+ 0 권 (장논문 및 단문 논문), 4171–4/Kloc-

[2] 우리레나와 슬라브 페트로프. 20 13. 기계 번역의 소스 측 분류자 사전 정렬. 20 13 자연어 처리 경험 방법 회의록, 513–523 페이지.

[3] 장천익, 발사 키쇼르, 필릭스 오, 킬리안 Q 와인버그 요프 아치. 2020.BERTScore: BERT 평가 텍스트로 생성됩니다. 국제 학습 대표 회의에서.