[2022-03-24] 오늘의 자연어처리

 

Building Robust Spoken Language Understanding by Cross Attention between Phoneme Sequence and ASR Hypothesis

 

Building Spoken Language Understanding (SLU) robust to Automatic Speech Recognition (ASR) errors is an essential issue for various voice-enabled virtual assistants. Considering that most ASR errors are caused by phonetic confusion between similar-sounding expressions, intuitively, leveraging the phoneme sequence of speech can complement ASR hypothesis and enhance the robustness of SLU. This paper proposes a novel model with Cross Attention for SLU (denoted as CASLU). The cross attention block is devised to catch the fine-grained interactions between phoneme and word embeddings in order to make the joint representations catch the phonetic and semantic features of input simultaneously and for overcoming the ASR errors in downstream natural language understanding (NLU) tasks. Extensive experiments are conducted on three datasets, showing the effectiveness and competitiveness of our approach. Additionally, We also validate the universality of CASLU and prove its complementarity when combining with other robust SLU techniques.

 

자동 음성으로 견고한 구어 이해(SLU) 구축 인식(ASR) 오류는 다양한 음성 지원에서 필수적인 문제입니다. 가상 어시스턴트 ASR 오류의 대부분은 음성으로 인해 발생한다는 점을 고려했을 때 직감적으로 유사한 표현 사이의 혼동을 이용하여 음소 시퀀스는 ASR 가설을 보완하고 강화시킬 수 있습니다. SLU의 견고성. 이 논문은 Cross Attention을 가진 새로운 모델을 제안한다. SLU(CASLU로 표시). 크로스 어텐션 블록은 다음 신호를 포착하기 위해 고안되었습니다. 만들기 위해 음소와 단어 삽입물 사이의 세밀한 상호작용 공동 표현은 입력의 음성적 및 의미적 특징을 포착한다 동시에 다운스트림 자연어에서의 ASR 오류를 극복하기 위해 이해(NLU) 태스크에 대해 설명합니다. 세 가지에 대해 광범위한 실험이 실시된다. 데이터셋을 통해 NAT 접근 방식의 효과와 경쟁력을 보여줍니다. 또, CASLU의 범용성을 검증해, CASLU의 범용성을 증명합니다. 다른 강력한 SLU 기법과 결합할 때 상호보완성. 

 

 

Dynamically Refined Regularization for Improving Cross-corpora Hate Speech Detection

 

Hate speech classifiers exhibit substantial performance degradation when evaluated on datasets different from the source. This is due to learning spurious correlations between words that are not necessarily relevant to hateful language, and hate speech labels from the training corpus. Previous work has attempted to mitigate this problem by regularizing specific terms from pre-defined static dictionaries. While this has been demonstrated to improve the generalizability of classifiers, the coverage of such methods is limited and the dictionaries require regular manual updates from human experts. In this paper, we propose to automatically identify and reduce spurious correlations using attribution methods with dynamic refinement of the list of terms that need to be regularized during training. Our approach is flexible and improves the cross-corpora performance over previous work independently and in combination with pre-defined dictionaries.

 

헤이트 스피치 분류기는 다음과 같은 경우 상당한 성능 저하를 보인다. 소스와 다른 데이터 세트에 대해 평가됩니다. 이것은 학습 덕분이다. 반드시 관련되지 않는 단어 사이의 가짜 상관 관계 증오어, 증오어, 훈련 말뭉치의 증오어. 이전의 작업은 특정 용어를 정규화함으로써 이 문제를 완화하려고 시도하고 있습니다. 사전 정의된 정적 사전 이 방법은 개선되는 것으로 입증되었습니다. 분류자의 일반화 가능성, 그러한 방법의 적용범위는 제한된다. 사전에는 인간 전문가의 정기적인 수동 업데이트가 필요합니다. 이 점에서. 논문, 우리는 자동으로 가짜 상관관계를 식별하고 줄일 것을 제안한다. 귀속법을 사용하여 다음과 같은 용어 목록을 동적으로 세분화합니다. 훈련 중에 정규화할 필요가 있다. 델의 접근방식은 유연하고 개선됩니다. 이전 작품과 독립적으로 그리고 에서 교차하는 기업 퍼포먼스 사전 정의 사전과의 조합. 

 

 

AbductionRules: Training Transformers to Explain Unexpected Inputs

 

Transformers have recently been shown to be capable of reliably performing logical reasoning over facts and rules expressed in natural language, but abductive reasoning - inference to the best explanation of an unexpected observation - has been underexplored despite significant applications to scientific discovery, common-sense reasoning, and model interpretability. We present AbductionRules, a group of natural language datasets designed to train and test generalisable abduction over natural-language knowledge bases. We use these datasets to finetune pretrained Transformers and discuss their performance, finding that our models learned generalisable abductive techniques but also learned to exploit the structure of our data. Finally, we discuss the viability of this approach to abductive reasoning and ways in which it may be improved in future work.

 

최근 변압기는 신뢰성 높은 성능을 발휘하는 것으로 나타났습니다. 자연어로 표현된 사실과 규칙에 대한 논리적 추론, 하지만 유괴적 추론 - 예기치 않은 일에 대한 최선의 설명에 대한 추론 관찰 - 중요한 응용 프로그램에도 불구하고 충분히 조사되지 않았습니다. 과학적 발견, 상식적 추론, 모델 해석 가능성. 우리는 다음을 위해 설계된 자연 언어 데이터 집합인 UngagueRules를 제시한다. 자연어 지식 기반에 대한 일반 유괴 훈련 및 테스트. 이러한 데이터셋을 사용하여 사전 검증된 변압기를 미세 조정하고 변압기에 대해 논의합니다. 퍼포먼스, 모델들이 일반화 가능한 납치 기술을 배웠다는 것을 알게 되었습니다. 데이터 구조를 이용하는 방법도 배웠습니다. 마지막으로 다음 사항에 대해 설명하겠습니다. 유괴적 추론에 대한 이 접근법의 실행 가능성 및 방법 앞으로의 작업이 향상되었습니다.