[2022-01-02] 오늘의 자연어처리

A Survey on Gender Bias in Natural Language Processing

 

Language can be used as a means of reproducing and enforcing harmful stereotypes and biases and has been analysed as such in numerous research. In this paper, we present a survey of 304 papers on gender bias in natural language processing. We analyse definitions of gender and its categories within social sciences and connect them to formal definitions of gender bias in NLP research. We survey lexica and datasets applied in research on gender bias and then compare and contrast approaches to detecting and mitigating gender bias. We find that research on gender bias suffers from four core limitations. 1) Most research treats gender as a binary variable neglecting its fluidity and continuity. 2) Most of the work has been conducted in monolingual setups for English or other high-resource languages. 3) Despite a myriad of papers on gender bias in NLP methods, we find that most of the newly developed algorithms do not test their models for bias and disregard possible ethical considerations of their work. 4) Finally, methodologies developed in this line of research are fundamentally flawed covering very limited definitions of gender bias and lacking evaluation baselines and pipelines. We suggest recommendations towards overcoming these limitations as a guide for future research.

 

언어는 해로운 것을 재생산하고 집행하는 수단으로 사용될 수 있다. 고정관념과 편견으로 수많은 연구에서 분석되었다. 안으로 이 논문, 우리는 자연적인 성 편견에 대한 304개의 논문의 조사를 제시한다. 언어 처리 우리는 성별과 성별의 범주에 대한 정의를 분석한다. 사회과학을 NLP에서 성별 편견의 공식 정의에 연결한다. 연구하다 우리는 성별 편견에 대한 연구에 적용된 어휘와 데이터 세트를 조사한다. 그런 다음 성별 편향을 감지하고 완화하기 위한 접근 방식을 비교하고 대조한다. 우리는 성별 편견에 대한 연구가 네 가지 핵심 한계로 인해 어려움을 겪는다는 것을 발견했다. 1) 대부분의 연구는 성별을 그것의 유동성을 무시한 이진 변수로 취급한다. 연속성 2) 대부분의 작업은 다음을 위한 단일 언어 설정으로 수행되었다. 영어 또는 기타 고자원 언어. 3) 에 관한 수많은 논문에도 불구하고 NLP 방법에서 성별 편향, 우리는 새로 개발된 알고리즘의 대부분이 모델에 편견이 있는지 테스트하지 않고 가능한 윤리적 고려 사항을 무시한다. 그들의 일에 대해서요. 4) 마지막으로, 이 연구 라인에서 개발된 방법론은 다음과 같다. 근본적으로 결함이 있는 성 편견의 매우 제한된 정의를 덮는다. 평가 기준선 및 파이프라인이 부족합니다. 에 대한 권장 사항을 제안합니다. 향후 연구의 지침으로서 이러한 한계를 극복한다. 

 

 

What do Large Language Models Learn about Scripts?

 

Script Knowledge (Schank and Abelson, 1975) has long been recognized as crucial for language understanding as it can help in filling in unstated information in a narrative. However, such knowledge is expensive to produce manually and difficult to induce from text due to reporting bias (Gordon and Van Durme, 2013). In this work, we are interested in the scientific question of whether explicit script knowledge is present and accessible through pre-trained generative language models (LMs). To this end, we introduce the task of generating full event sequence descriptions (ESDs) given a scenario in the form of natural language prompts. In zero-shot probing experiments, we find that generative LMs produce poor ESDs with mostly omitted, irrelevant, repeated or misordered events. To address this, we propose a pipeline-based script induction framework (SIF) which can generate good quality ESDs for unseen scenarios (e.g., bake a cake). SIF is a two-staged framework that fine-tunes LM on a small set of ESD examples in the first stage. In the second stage, ESD generated for an unseen scenario is post-processed using RoBERTa-based models to filter irrelevant events, remove repetitions, and reorder the temporally misordered events. Through automatic and manual evaluations, we demonstrate that SIF yields substantial improvements ($1$-$3$ BLUE points) over a fine-tuned LM. However, manual analysis shows that there is great room for improvement, offering a new research direction for inducing script knowledge.

 

대본 지식 (생크와 아벨슨, 1975)은 오랫동안 인정되어 왔다. 언어 이해에 매우 중요하다. 왜냐하면 그것은 비연속적인 내용을 채우는데 도움을 줄 수 있기 때문이다. 내러티브의 정보. 그러나 그러한 지식은 생산 비용이 많이 든다. 보고 편향으로 인해 텍스트에서 수동으로 유도하기 어렵다(Gordon 및 Van Durme, 2013). 이 작품에서, 우리는 의 과학적 질문에 관심이 있다. 사전 교육을 통해 명시적인 스크립트 지식이 존재하는지 여부 생성 언어 모델(LM)입니다. 이를 위해, 우리는 다음의 과제를 소개한다. 다음 형식의 시나리오에 따라 전체 이벤트 시퀀스 설명(ESD) 생성 자연어 화답의. 제로샷 프로빙 실험에서, 우리는 다음을 발견한다. 생성 LM은 대부분 생략, 무관, 반복, 또는 불량 ESD를 생성한다. 순서가 잘못된 이벤트 이를 해결하기 위해 파이프라인 기반 스크립트를 제안한다. 보이지 않는 것에 대해 양질의 ESD를 생성할 수 있는 유도 프레임워크(SIF) 시나리오(예: 케이크 굽기) SIF는 LM을 미세 조정하는 2단계 프레임워크입니다. 첫 번째 단계에서 ESD 예제의 작은 세트입니다. 2단계에서는 ESD. 보이지 않는 시나리오에 대해 생성된 것은 RoBERTa 기반 모델을 사용하여 후 처리된다. 관련 없는 이벤트를 필터링하고, 반복을 제거하고, 임시로 순서를 변경하려면 순서가 잘못된 이벤트 자동 및 수동 평가를 통해 SIF는 보다 상당한 개선(1$-3$ BLUE 포인트)을 산출한다. 미세 조정된 LM. 그러나 수동 분석에 따르면 다음과 같은 작업을 수행할 수 있는 여지가 매우 큽니다. 개선, 스크립트 지식을 유도하기 위한 새로운 연구 방향을 제공합니다. 

 

 

LINDA: Unsupervised Learning to Interpolate in Natural Language Processing

 

Despite the success of mixup in data augmentation, its applicability to natural language processing (NLP) tasks has been limited due to the discrete and variable-length nature of natural languages. Recent studies have thus relied on domain-specific heuristics and manually crafted resources, such as dictionaries, in order to apply mixup in NLP. In this paper, we instead propose an unsupervised learning approach to text interpolation for the purpose of data augmentation, to which we refer as "Learning to INterpolate for Data Augmentation" (LINDA), that does not require any heuristics nor manually crafted resources but learns to interpolate between any pair of natural language sentences over a natural language manifold. After empirically demonstrating the LINDA's interpolation capability, we show that LINDA indeed allows us to seamlessly apply mixup in NLP and leads to better generalization in text classification both in-domain and out-of-domain.

 

데이터 증가의 성공에도 불구하고, 데이터 증가의 적용 가능성 자연어 처리(NLP) 작업은 이산적인 것으로 인해 제한되었다. 그리고 자연 언어의 가변 길이 성질. 최근의 연구들은 다음과 같다. 도메인별 휴리스틱 및 수동으로 조작된 리소스(예: 사전, NLP에서 혼동을 적용하기 위해. 이 논문에서, 우리는 대신 데이터의 목적을 위한 텍스트 보간법에 대한 비지도 학습 접근법 "데이터를 위한 인터폴레이트 학습"이라고 하는 증강 휴리스틱이나 수동이 필요하지 않은 증강"(LINDA) 조작된 리소스이지만 모든 자연 쌍 간에 보간하는 방법을 학습합니다. 자연어 다방면에 걸친 언어 문장 경험적으로 본 후에. 린다의 보간 능력을 증명해 보이죠, 린다가 실제로 우리가 NLP에서 혼동을 원활하게 적용할 수 있게 하고 더 나은 일반화로 이어진다. 텍스트 분류에서 도메인 내부 및 도메인 외부 모두에 대해 설명합니다.