[2022-01-27] 오늘의 자연어처리

 

Modeling Multi-level Context for Informational Bias Detection by Contrastive Learning and Sentential Graph Network

 

Informational bias is widely present in news articles. It refers to providing one-sided, selective or suggestive information of specific aspects of certain entity to guide a specific interpretation, thereby biasing the reader's opinion. Sentence-level informational bias detection is a very challenging task in a way that such bias can only be revealed together with the context, examples include collecting information from various sources or analyzing the entire article in combination with the background. In this paper, we integrate three levels of context to detect the sentence-level informational bias in English news articles: adjacent sentences, whole article, and articles from other news outlets describing the same event. Our model, MultiCTX (Multi-level ConTeXt), uses contrastive learning and sentence graphs together with Graph Attention Network (GAT) to encode these three degrees of context at different stages by tactically composing contrastive triplets and constructing sentence graphs within events. Our experiments proved that contrastive learning together with sentence graphs effectively incorporates context in varying degrees and significantly outperforms the current SOTA model sentence-wise in informational bias detection.

 

정보 편향은 뉴스 기사에 널리 존재한다. 제공하는 것을 말합니다. 특정 측면의 일방적이고 선택적이거나 암시적인 정보 특정 해석을 안내하는 기업, 따라서 독자의 생각을 편향시킨다. 의견. 문장 수준의 정보 편향 감지는 매우 어려운 작업이다. 그러한 편견이 문맥과 함께만 드러날 수 있는 방식으로, 다양한 출처로부터 정보를 수집하거나 분석하는 것을 예로 들 수 있다. 전체 기사를 배경과 결합합니다. 이 논문에서, 우리는 문장 수준의 정보 편향을 감지하기 위한 세 가지 수준의 맥락 영어 뉴스 기사: 인접한 문장, 전체 기사 및 기사 같은 사건을 보도하는 다른 언론사들 모델인 MultiCTX(멀티 레벨) ConTeXt)는 그래프와 함께 대비 학습 및 문장 그래프를 사용합니다. 이러한 세 가지 수준의 컨텍스트를 서로 다르게 인코딩하기 위한 주의 네트워크(GAT) 전략적으로 대조적인 세 쌍둥이를 구성하고 문장을 구성하는 단계들 그래프로 표시합니다. 우리의 실험은 대조적인 학습이 함께 있다는 것을 증명했다. 문장 그래프로 다양한 수준의 맥락을 효과적으로 통합한다. 정보 측면에서 현재의 SOTA 모델을 크게 능가한다. 바이어스 감지 

 

 

Do Transformers Encode a Foundational Ontology? Probing Abstract Classes in Natural Language

 

With the methodological support of probing (or diagnostic classification), recent studies have demonstrated that Transformers encode syntactic and semantic information to some extent. Following this line of research, this paper aims at taking semantic probing to an abstraction extreme with the goal of answering the following research question: can contemporary Transformer-based models reflect an underlying Foundational Ontology? To this end, we present a systematic Foundational Ontology (FO) probing methodology to investigate whether Transformers-based models encode abstract semantic information. Following different pre-training and fine-tuning regimes, we present an extensive evaluation of a diverse set of large-scale language models over three distinct and complementary FO tagging experiments. Specifically, we present and discuss the following conclusions: (1) The probing results indicate that Transformer-based models incidentally encode information related to Foundational Ontologies during the pre-training pro-cess; (2) Robust FO taggers (accuracy of 90 percent)can be efficiently built leveraging on this knowledge.

 

프로빙(또는 진단 분류)의 방법론적 지원을 통해 최근의 연구들은 트랜스포머가 통사론을 인코딩하고 있다는 것을 증명했다. 의미 있는 정보를 어느 정도. 이 연구 라인을 따라, 이것은 종이는 목표를 가지고 극단적인 추상화로 의미론적 탐색을 하는 것을 목표로 한다. 다음의 연구 질문에 대답하는 것: 동시대의 수 있는가? 변압기 기반 모델은 기본 온톨로지를 반영합니까? 이것까지 마지막으로, 우리는 체계적인 기초 온톨로지 (FO) 탐색 방법론을 제시한다. 트랜스포머 기반 모델이 추상적 의미론을 인코딩하는지 조사한다. 정보 다양한 사전 훈련 및 미세 조정 체제에 따라, 우리는 다양한 대규모 언어 모델에 대한 광범위한 평가를 제시하다 세 가지의 구별되고 보완적인 FO 태그 실험에 걸쳐. 특히, 우리는 다음의 결론을 제시하고 토론한다: (1) 조사 결과는 다음을 나타낸다. 트랜스포머 기반 모델은 부수적으로 관련 정보를 인코딩한다. 사전 교육 과정에서의 기본 온톨로지, (2) 강력한 FO 태거 이러한 지식을 활용하여 효율적으로 구축할 수 있습니다. 

 

 

The Ninth Advances in Cognitive Systems (ACS) Conference

 

ACS is an annual meeting for research on the initial goals of artificial intelligence and cognitive science, which aimed to explain the mind in computational terms and to reproduce the entire range of human cognitive abilities in computational artifacts. Many researchers remain committed to this original vision, and Advances in Cognitive Systems provides a place to present recent results and pose new challenges for the field. The meetings bring together researchers with interests in human-level intelligence, complex cognition, integrated intelligent systems, cognitive architectures, and related topics.

 

ACS는 인공적인 목표의 초기 연구를 위한 연례 회의이다. 지능과 인지과학, 그것은 마음을 설명하는 것을 목표로 했다. 컴퓨터 용어와 인간 인지력의 전체 범위를 재현하는 것 컴퓨터 아티팩트에 대한 능력. 많은 연구원들이 이것에 전념하고 있다. 독창적인 비전, 그리고 인지 시스템의 발전은 발표할 장소를 제공한다 최근의 결과와 그 분야에 새로운 도전을 제기한다. 그 모임은 가져온다. 인간 수준의 지능에 관심을 가진 연구자들과 함께, 복잡한 인지, 통합된 지능 시스템, 인지 아키텍처 및 관련 주제.