[2022-01-07] 오늘의 자연어처리

 

An Adversarial Benchmark for Fake News Detection Models

 

With the proliferation of online misinformation, fake news detection has gained importance in the artificial intelligence community. In this paper, we propose an adversarial benchmark that tests the ability of fake news detectors to reason about real-world facts. We formulate adversarial attacks that target three aspects of "understanding": compositional semantics, lexical relations, and sensitivity to modifiers. We test our benchmark using BERT classifiers fine-tuned on the LIAR arXiv:arch-ive/1705648 and Kaggle Fake-News datasets, and show that both models fail to respond to changes in compositional and lexical meaning. Our results strengthen the need for such models to be used in conjunction with other fact checking methods.

 

온라인 오보의 확산과 함께, 가짜 뉴스 탐지는 인공지능 사회에서 중요해졌다. 이 논문에서, 우리는 가짜 뉴스 탐지기의 능력을 시험하는 적대적 벤치마크를 제안하다 현실 세계의 사실들을 추론하기 위해서요 우리는 목표물을 목표로 하는 적대적 공격을 공식화한다. "이해"의 세 가지 측면: 구성적 의미론, 어휘적 관계, 수식어에 대한 민감도. BERT 분류기를 사용하여 벤치마크를 테스트한다. LIARA arXiv:arch-ive/1705648 및 Kaggle Fake-News 데이터 세트에 미세 조정되었습니다. 그리고 두 모델 모두 구성 요소의 변화에 반응하지 못한다는 것을 보여준다. 어휘적 의미 우리의 결과는 그러한 모델이 사용될 필요성을 강화한다. 다른 사실 확인 방법과 연계한다. 

 

 

Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding

 

Domain classification is the fundamental task in natural language understanding (NLU), which often requires fast accommodation to new emerging domains. This constraint makes it impossible to retrain all previous domains, even if they are accessible to the new model. Most existing continual learning approaches suffer from low accuracy and performance fluctuation, especially when the distributions of old and new data are significantly different. In fact, the key real-world problem is not the absence of old data, but the inefficiency to retrain the model with the whole old dataset. Is it potential to utilize some old data to yield high accuracy and maintain stable performance, while at the same time, without introducing extra hyperparameters? In this paper, we proposed a hyperparameter-free continual learning model for text data that can stably produce high performance under various environments. Specifically, we utilize Fisher information to select exemplars that can "record" key information of the original model. Also, a novel scheme called dynamical weight consolidation is proposed to enable hyperparameter-free learning during the retrain process. Extensive experiments demonstrate that baselines suffer from fluctuated performance and therefore useless in practice. On the contrary, our proposed model CCFI significantly and consistently outperforms the best state-of-the-art method by up to 20% in average accuracy, and each component of CCFI contributes effectively to overall performance.

 

도메인 분류는 자연어에서 기본적인 작업이다. 이해(NLU), 이것은 종종 새로운 신흥국에 대한 빠른 수용을 필요로 한다. 도메인. 이 제약은 이전의 모든 도메인을 재교육하는 것을 불가능하게 한다. 새 모델에 접근할 수 있다고 해도 좋습니다. 대부분의 기존 연속 학습 접근 방식은 특히 낮은 정확성과 성능 변동으로 어려움을 겪는다. 이전 데이터와 새 데이터의 분포가 유의하게 다른 경우 안으로 사실, 현실 세계의 중요한 문제는 오래된 데이터의 부재가 아니라 비효율적으로 이전 데이터 집합 전체를 사용하여 모델을 재교육할 수 있습니다. 잠재력? 높은 정확도를 산출하고 안정성을 유지하기 위해 오래된 데이터를 활용한다. 추가 하이퍼 파라미터를 도입하지 않고도 성능을 높일 수 있습니까? 본 논문에서, 우리는 다음을 위한 초 매개 변수가 없는 연속 학습 모델을 제안했다. 다양한 환경에서 안정적으로 고성능을 낼 수 있는 텍스트 데이터. 구체적으로, 우리는 할 수 있는 예시를 선택하기 위해 Fisher 정보를 활용한다. 원본 모델의 주요 정보를 "기록"합니다. 또한, 라고 불리는 참신한 계획. 하이퍼 파라미터가 없는 동적 가중치 통합이 제안된다. 재교육 과정 중 학습. 광범위한 실험을 통해 이 입증되었다. 기준선은 성능 변동으로 인해 실제로 사용할 수 없습니다. 반대로, 우리의 제안 모델 CCFI는 중요하고 일관성 있게 평균 정확도에서 최고 20%까지 최첨단 방법을 능가합니다. 또한 CCFI의 각 구성요소는 전반적인 성능에 효과적으로 기여합니다. 

 

 

DigNet: Digging Clues from Local-Global Interactive Graph for Aspect-level Sentiment Classification

 

In aspect-level sentiment classification (ASC), state-of-the-art models encode either syntax graph or relation graph to capture the local syntactic information or global relational information. Despite the advantages of syntax and relation graphs, they have respective shortages which are neglected, limiting the representation power in the graph modeling process. To resolve their limitations, we design a novel local-global interactive graph, which marries their advantages by stitching the two graphs via interactive edges. To model this local-global interactive graph, we propose a novel neural network termed DigNet, whose core module is the stacked local-global interactive (LGI) layers performing two processes: intra-graph message passing and cross-graph message passing. In this way, the local syntactic and global relational information can be reconciled as a whole in understanding the aspect-level sentiment. Concretely, we design two variants of local-global interactive graphs with different kinds of interactive edges and three variants of LGI layers. We conduct experiments on several public benchmark datasets and the results show that we outperform previous best scores by 3\%, 2.32\%, and 6.33\% in terms of Macro-F1 on Lap14, Res14, and Res15 datasets, respectively, confirming the effectiveness and superiority of the proposed local-global interactive graph and DigNet.

 

측면 수준 정서 분류(ASC)에서 최첨단 모델은 구문 그래프 또는 관계 그래프를 인코딩하여 로컬 구문 캡처 정보 또는 글로벌 관계 정보. 문법의 장점에도 불구하고 관계 그래프에는 각각의 부족함이 있지만 무시되고 있다. 그래프 모델링 공정의 표현력 제한. 해결하려면 그들의 한계, 우리는 새로운 로컬-글로벌 인터랙티브 그래프를 설계한다. 에서는 대화형 모서리를 통해 두 그래프를 스티치하여 장점을 결합합니다. 로. 이 로컬-글로벌 인터랙티브 그래프를 모델링하고, 우리는 새로운 신경망을 제안한다. DigNet이라는 이름의 핵심 모듈이 LGI(Stacked Local-Global Interactive)인 경우 두 가지 프로세스(그래프 내 메시지 전달 및 교차 그래프)를 수행하는 도면층 메시지 전달. 이런 식으로, 국소 통사론 및 글로벌 관계형 정보는 측면 수준을 이해하는 데 전체적으로 조정될 수 있다. 감정. 구체적으로, 우리는 로컬-글로벌 인터랙티브의 두 가지 변형을 설계한다. 서로 다른 종류의 대화형 모서리와 세 가지 LGI 변형을 가진 그래프 레이어. 우리는 여러 공개 벤치마크 데이터셋과 데이터셋에 대한 실험을 수행한다. 결과는 우리가 이전의 최고 점수를 3\%, 2.32\%, 6.33\% 능가한다는 것을 보여준다. 각각 Lap14, Res14 및 Res15 데이터 세트의 매크로-F1 측면에서, 제안된 지역-글로벌의 효과와 우수성 확인 대화형 그래프 및 DigNet.