[2022-03-03] 오늘의 자연어처리

 

EPPAC: Entity Pre-typing Relation Classification with Prompt AnswerCentralizing

 

Relation classification (RC) aims to predict the relationship between a pair of subject and object in a given context. Recently, prompt tuning approaches have achieved high performance in RC. However, existing prompt tuning approaches have the following issues: (1) numerous categories decrease RC performance; (2) manually designed prompts require intensive labor. To address these issues, a novel paradigm, Entity Pre-typing Relation Classification with Prompt Answer Centralizing(EPPAC) is proposed in this paper. The entity pre-tying in EPPAC is presented to address the first issue using a double-level framework that pre-types entities before RC and prompt answer centralizing is proposed to address the second issue. Extensive experiments show that our proposed EPPAC outperformed state-of-the-art approaches on TACRED and TACREV by 14.4% and 11.1%, respectively. The code is provided in the Supplementary Materials.

 

관계 분류(RC)는 쌍 간의 관계를 예측하는 것을 목표로 한다. 대상과 객체에 대한 특정 문맥의. 최근 신속한 조정 접근 방식 RC에서 높은 성능을 달성했다. 그러나 기존의 프롬프트 튜닝은 접근방식에는 다음과 같은 문제가 있다. (1) 수많은 범주가 RC를 감소시킨다. 성능. (2) 수동으로 설계된 프롬프트는 집중적인 노동력을 필요로 합니다. 주소 지정 이러한 문제, 새로운 패러다임, 엔티티 사전 유형 관계 분류 본 논문에서는 EPPAC(정답형 중앙 집중화)를 제안한다. 실체 EPPAC의 사전 분류는 이중 수준을 사용하여 첫 번째 문제를 해결하기 위해 제시된다. RC 전에 엔티티를 미리 입력하고 중앙 집중화를 요청하는 프레임워크는 다음과 같습니다. 두 번째 문제를 다루기 위해 제안되었다. 광범위한 실험에 따르면 제안된 EPPAC는 TACRED 및 TACREV에 대해 최첨단 접근 방식을 능가했다. 각각 14.4%, 11.1%였다. 코드는 부록에 나와 있습니다. 자재 

 

 

VScript: Controllable Script Generation with Audio-Visual Presentation

 

Automatic script generation could save a considerable amount of resources and offer inspiration to professional scriptwriters. We present VScript, a controllable pipeline that generates complete scripts including dialogues and scene descriptions, and presents visually using video retrieval and aurally using text-to-speech for spoken dialogue. With an interactive interface, our system allows users to select genres and input starting words that control the theme and development of the generated script. We adopt a hierarchical structure, which generates the plot, then the script and its audio-visual presentation. We also introduce a novel approach to plot-guided dialogue generation by treating it as an inverse dialogue summarization. Experiment results show that our approach outperforms the baselines on both automatic and human evaluations, especially in terms of genre control.

 

자동 스크립트 생성은 상당한 양의 리소스를 절약할 수 있으며 전문 대본 작가에게 영감을 주다 우리는 VScript, a를 제시한다. 제어 가능한 파이프라인은 다음과 같은 전체 스크립트를 생성합니다. 장면 설명, 그리고 시각적인 비디오 검색과 청각적 표현을 사용합니다. 음성 대화를 위해 텍스트에서 텍스트로 변환합니다. 인터랙티브 인터페이스로, 우리의 시스템은 사용자가 장르를 선택하고 시작 단어를 입력할 수 있도록 한다. 생성된 스크립트의 주제 및 개발. 우리는 위계질서를 채택한다. 플롯을 생성하는 구조, 스크립트와 해당 시청각 발표 우리는 또한 줄거리 유도 대화에 대한 새로운 접근법을 도입한다. 역대화 요약으로 간주하여 생성. 실험. 결과는 우리의 접근법이 자동과 양쪽 모두에서 기준선을 능가한다는 것을 보여준다. 특히 장르 통제 측면에서 인간의 평가. 

 

 

Investigating Selective Prediction Approaches Across Several Tasks in IID, OOD, and Adversarial Settings

 

In order to equip NLP systems with selective prediction capability, several task-specific approaches have been proposed. However, which approaches work best across tasks or even if they consistently outperform the simplest baseline 'MaxProb' remains to be explored. To this end, we systematically study 'selective prediction' in a large-scale setup of 17 datasets across several NLP tasks. Through comprehensive experiments under in-domain (IID), out-of-domain (OOD), and adversarial (ADV) settings, we show that despite leveraging additional resources (held-out data/computation), none of the existing approaches consistently and considerably outperforms MaxProb in all three settings. Furthermore, their performance does not translate well across tasks. For instance, Monte-Carlo Dropout outperforms all other approaches on Duplicate Detection datasets but does not fare well on NLI datasets, especially in the OOD setting. Thus, we recommend that future selective prediction approaches should be evaluated across tasks and settings for reliable estimation of their capabilities.

 

NLP 시스템에 선택적 예측 능력을 갖추기 위해, 몇 가지 과제별 접근방식이 제안되었다. 그러나, 그것은 작업에 접근한다. 여러 작업에 걸쳐 최적의 성능을 발휘하거나 가장 간단한 기준보다 일관되게 높은 성능을 발휘하는 경우에도 'MaxProb'은 아직 탐색해야 합니다. 이를 위해 체계적으로 공부한다. 여러 NLP에 걸쳐 17개 데이터 세트의 대규모 설정에서 '선택적 예측' 작업. 도메인 내(IID)에 따른 포괄적인 실험을 통해 도메인 외 (OOD) 및 적대적(ADV) 설정을 활용함에도 불구하고 추가 리소스(보류된 데이터/컴퓨팅), 기존 리소스 없음 이 세 가지 방법 모두에서 MaxProb을 일관되고 상당히 능가합니다. 설정. 더욱이, 그들의 성과는 업무 전반에 걸쳐 잘 번역되지 않는다. 예를 들어, 몬테카를로 드롭아웃은 중복에 대한 다른 모든 접근법보다 우수하다. 탐지 데이터셋이지만 특히 NLI 데이터셋에서는 잘 작동하지 않습니다. 함교사관 설정. 따라서, 우리는 미래의 선택적 예측 접근법을 권장한다. 신뢰할 수 있는 평가 작업을 위해 작업 및 설정 전반에 걸쳐 평가되어야 한다. 능력.