[2022-01-11] 오늘의 자연어처리

 

The Defeat of the Winograd Schema Challenge

 

The Winograd Schema Challenge -- a set of twin sentences involving pronoun reference disambiguation that seem to require the use of commonsense knowledge -- was proposed by Hector Levesque in 2011. By 2019, a number of AI systems, based on large pre-trained transformer-based language models and fine-tuned on these kinds of problems, achieved better than 90% accuracy. In this paper, we review the history of the Winograd Schema Challenge and assess its significance.

 

Winograd Schema Challenge - 대명사를 포함하는 쌍둥이 문장 집합 상식적인 지식의 활용을 필요로 하는 것 같은 명확성을 참조하다. -- 헥터 레베스케가 2011년에 제안했다. 2019년까지 수많은 AI 시스템이 사전 교육을 받은 대형 변압기 기반 언어 모델을 기반으로 하고 세부 정보를 제공합니다. 90% 이상의 정확도를 달성했습니다. 이 논문에서, 우리는 위노그라드 스키마 챌린지의 역사를 검토하고 그것을 평가한다. 의미심장함. 

 

 

Phrase-level Adversarial Example Generation for Neural Machine Translation

 

While end-to-end neural machine translation (NMT) has achieved impressive progress, noisy input usually leads models to become fragile and unstable. Generating adversarial examples as the augmented data is proved to be useful to alleviate this problem. Existing methods for adversarial example generation (AEG) are word-level or character-level. In this paper, we propose a phrase-level adversarial example generation (PAEG) method to enhance the robustness of the model. Our method leverages a gradient-based strategy to substitute phrases of vulnerable positions in the source input. We verify our method on three benchmarks, including LDC Chinese-English, IWSLT14 German-English, and WMT14 English-German tasks. Experimental results demonstrate that our approach significantly improves performance compared to previous methods.

 

NMT(End-to-Endeural Machine Translation)는 인상적인 성과를 거두었습니다. 진행, 시끄러운 입력은 보통 모델을 취약하고 불안정하게 만든다. 증강된 데이터가 다음과 같은 경우에 유용한 것으로 증명됨에 따라 적대적 예시를 생성한다. 이 문제를 완화하다. 대립적 예제 생성을 위한 기존 방법 (AEG)는 단어 수준 또는 문자 수준입니다. 본 논문에서, 우리는 다음을 제안한다. 구문 수준의 적대적 예제 생성(PAEG) 방법: 모형의 견고성. 우리의 방법은 그라데이션 기반 전략을 활용하여 다음을 수행한다. 소스 입력에서 취약한 위치의 구문을 대체합니다. 우리는 우리의 LDC 중국어-영어, IWSLT14를 포함한 세 가지 벤치마크에 대한 방법 독일어-영어 및 WMT14 영어-독일어 태스크가 있습니다. 실험 결과 우리의 접근 방식이 에 비해 성능을 크게 향상시킨다는 것을 입증한다. 이전 방법. 

 

 

Fortunately, Discourse Markers Can Enhance Language Models for Sentiment Analysis

 

In recent years, pretrained language models have revolutionized the NLP world, while achieving state of the art performance in various downstream tasks. However, in many cases, these models do not perform well when labeled data is scarce and the model is expected to perform in the zero or few shot setting. Recently, several works have shown that continual pretraining or performing a second phase of pretraining (inter-training) which is better aligned with the downstream task, can lead to improved results, especially in the scarce data setting. Here, we propose to leverage sentiment-carrying discourse markers to generate large-scale weakly-labeled data, which in turn can be used to adapt language models for sentiment analysis. Extensive experimental results show the value of our approach on various benchmark datasets, including the finance domain. Code, models and data are available at this https URL.

 

최근 몇 년 동안, 사전 훈련된 언어 모델은 NLP에 혁신을 일으켰다. 다양한 하류에서 예술 공연의 상태를 성취하는 동안, 세계 그러나 많은 경우 이러한 모델들은 라벨이 붙었을 때 잘 수행되지 않는다. 데이터가 부족하고 모델이 제로 샷 또는 퓨 샷으로 수행될 것으로 기대됨 세팅. 최근, 몇몇 연구들은 지속적인 사전 훈련이나 더 나은 사전 훈련의 두 번째 단계 수행(간 훈련) 다운스트림 작업에 맞춰 조정된, 특히 에서 개선된 결과로 이어질 수 있습니다. 부족한 데이터 설정 여기서, 우리는 감정을 전달하는 것을 제안한다. 담화 마커를 사용하여 레이블이 약한 대규모 데이터를 생성합니다. 정서 분석을 위한 언어 모델을 적응시키는 데 사용될 수 있다. 광범위한 실험 결과는 다양한 벤치마크에서 우리의 접근 방식의 가치를 보여준다. 데이터셋(재무 도메인 포함) 코드, 모델 및 데이터는 다음 사이트에서 확인할 수 있습니다. 이 https URL.