[2022-02-24] 오늘의 자연어처리

 

Items from Psychometric Tests as Training Data for Personality Profiling Models of Twitter Users

 

Machine-learned models for author profiling in social media often rely on data acquired via self-reporting-based psychometric tests (questionnaires) filled out by social media users. This is an expensive but accurate data collection strategy. Another, less costly alternative, which leads to potentially more noisy and biased data, is to rely on labels inferred from publicly available information in the profiles of the users, for instance self-reported diagnoses or test results. In this paper, we explore a third strategy, namely to directly use a corpus of items from validated psychometric tests as training data. Items from psychometric tests often consist of sentences from an I-perspective (e.g., "I make friends easily."). Such corpora of test items constitute 'small data', but their availability for many concepts is a rich resource. We investigate this approach for personality profiling, and evaluate BERT classifiers fine-tuned on such psychometric test items for the big five personality traits (openness, conscientiousness, extraversion, agreeableness, neuroticism) and analyze various augmentation strategies regarding their potential to address the challenges coming with such a small corpus. Our evaluation on a publicly available Twitter corpus shows a comparable performance to in-domain training for 4/5 personality traits with T5-based data augmentation.

 

소셜 미디어에서 저자 프로파일링을 위해 기계로 학습된 모델은 종종 다음과 같이 의존한다. 자가 진단 기반 심리측정 테스트(질문지)를 통해 수집된 데이터 소셜 미디어 사용자가 작성했습니다. 이것은 비싸지만 정확한 데이터입니다. 수집 전략. 비용이 적게 드는 또 다른 대안으로 다음과 같은 이점을 얻을 수 있습니다. 잠재적으로 더 잡음과 편향된 데이터는 다음에서 추론된 라벨에 의존하는 것이다. 사용자 프로필에서 공개적으로 사용 가능한 정보(예: 자가 진단 또는 테스트 결과를 확인합니다. 이 논문에서, 우리는 세 번째를 탐구한다. 전략, 즉 검증된 사이코메트릭의 항목 코퍼스를 직접 사용하는 것 교육용 데이터로 검정을 사용합니다. 심리측정학 시험의 항목은 종종 다음과 같이 구성된다. I-perspective의 문장(예: "나는 친구를 쉽게 사귄다"). 그런 말뭉치 테스트 항목의 '작은 데이터'를 구성하지만, 많은 개념에 대한 테스트 항목 풍부한 자원이다. 우리는 성격 프로파일링을 위해 이 접근 방식을 조사한다. BERT 분류기를 평가하기 위해 그러한 심리측정 테스트 항목에 미세 조정된 BERT 분류기를 평가한다. 큰 다섯 가지 성격 특성(성실, 양심, 외향성, 친화력, 신경증)과 다양한 증강 전략을 분석한다. 그렇게 작은 난제를 해결할 수 있는 그들의 잠재력에 대해 공개적으로 이용 가능한 트위터 코퍼스에 대한 우리의 평가는 4/5 성격 특성에 대한 도메인 내 훈련과 유사한 성과 T5 기반 데이터 확대. 

 

 

Embarrassingly Simple Performance Prediction for Abductive Natural Language Inference

 

The task of abductive natural language inference (\alpha{}nli), to decide which hypothesis is the more likely explanation for a set of observations, is a particularly difficult type of NLI. Instead of just determining a causal relationship, it requires common sense to also evaluate how reasonable an explanation is. All recent competitive systems build on top of contextualized representations and make use of transformer architectures for learning an NLI model. When somebody is faced with a particular NLI task, they need to select the best model that is available. This is a time-consuming and resource-intense endeavour. To solve this practical problem, we propose a simple method for predicting the performance without actually fine-tuning the model. We do this by testing how well the pre-trained models perform on the \alpha{}nli task when just comparing sentence embeddings with cosine similarity to what the performance that is achieved when training a classifier on top of these embeddings. We show that the accuracy of the cosine similarity approach correlates strongly with the accuracy of the classification approach with a Pearson correlation coefficient of 0.65. Since the similarity computation is orders of magnitude faster to compute on a given dataset (less than a minute vs. hours), our method can lead to significant time savings in the process of model selection.

 

다음을 결정하는 자연어 추론(\alpha{}nli)의 과제 어떤 가설이 관측치 집합에 대한 더 가능성 있는 설명인지는 다음과 같다. 특히 어려운 유형의 NLI입니다. 단지 인과관계를 규명하는 것 대신에 관계, 그것은 또한 얼마나 합리적인지를 평가하는 상식이 필요하다 설명하자면. 최근의 모든 경쟁 시스템은 상황에 맞게 구축됨 표현 및 NLI 학습을 위한 변압기 아키텍처의 사용 모델입니다. 누군가가 특정한 NLI 작업에 직면했을 때, 그들은 선택해야만 합니다. 사용 가능한 최상의 모델. 이 작업은 시간과 리소스가 많이 소요됩니다. 노력하다 이 실제적인 문제를 해결하기 위해, 우리는 다음을 위한 간단한 방법을 제안한다. 모델을 실제로 미세 조정하지 않고도 성능을 예측할 수 있습니다. 우리는 이것을 한다. 다음과 같은 경우 사전 훈련된 모델이 \alpha{}nli 작업에서 얼마나 잘 수행되는지 테스트하여 코사인 유사성과 문장 임베딩을 비교하는 것. 여기에 더해 분류기를 교육할 때 달성되는 성능 임베딩 우리는 코사인 유사성 접근법의 정확성을 보여준다. 분류 접근법의 정확성과 강한 상관관계가 있다. Pearson 상관 계수는 0.65입니다. 유사성 계산은 다음과 같기 때문에 주어진 데이터셋에서 계산 속도가 훨씬 빠름(1분 미만) (시간 대비) 우리의 방법은 다음과 같은 과정에서 상당한 시간 절감을 가져올 수 있다. 모델 선택. 

 

 

Statistical and Spatio-temporal Hand Gesture Features for Sign Language Recognition using the Leap Motion Sensor

 

In modern society, people should not be identified based on their disability, rather, it is environments that can disable people with impairments. Improvements to automatic Sign Language Recognition (SLR) will lead to more enabling environments via digital technology. Many state-of-the-art approaches to SLR focus on the classification of static hand gestures, but communication is a temporal activity, which is reflected by many of the dynamic gestures present. Given this, temporal information during the delivery of a gesture is not often considered within SLR. The experiments in this work consider the problem of SL gesture recognition regarding how dynamic gestures change during their delivery, and this study aims to explore how single types of features as well as mixed features affect the classification ability of a machine learning model. 18 common gestures recorded via a Leap Motion Controller sensor provide a complex classification problem. Two sets of features are extracted from a 0.6 second time window, statistical descriptors and spatio-temporal attributes. Features from each set are compared by their ANOVA F-Scores and p-values, arranged into bins grown by 10 features per step to a limit of the 250 highest-ranked features. Results show that the best statistical model selected 240 features and scored 85.96% accuracy, the best spatio-temporal model selected 230 features and scored 80.98%, and the best mixed-feature model selected 240 features from each set leading to a classification accuracy of 86.75%. When all three sets of results are compared (146 individual machine learning models), the overall distribution shows that the minimum results are increased when inputs are any number of mixed features compared to any number of either of the two single sets of features.

 

현대 사회에서, 사람들은 그들의 장애에 근거해서 식별되어서는 안 된다. 오히려 장애를 가진 사람들을 불구로 만들 수 있는 것이 환경이다. 자동 수화 인식(SLR)의 개선으로 더 많은 이점을 얻을 수 있습니다. 디지털 기술을 통한 환경 활성화. 다양한 최첨단 접근 방식 SLR은 정적 손동작의 분류에 초점을 맞추지만, 의사소통은 많은 역동적인 몸짓이 반영되는 시간적 활동이다. 현재의. 이것을 고려할 때, 제스처를 전달하는 동안 시간 정보는 다음과 같다. SLR 내에서 자주 고려되지 않는다. 이 연구의 실험은 다음을 고려합니다. 동적 제스처가 어떻게 변화하는지와 관련된 SL 제스처 인식의 문제 그리고 이 연구는 어떻게 단일 유형의 특징이 다음과 같은지 탐구하는 것을 목표로 한다. 혼합된 특징들이 기계 학습의 분류 능력에 영향을 미치지만 모델. Leap Motion Controller 센서를 통해 기록된 18개의 일반적인 제스처는 다음을 제공합니다. 복잡한 분류 문제 0.6에서 두 가지 특징 세트를 추출한다. 두 번째 시간 창, 통계 설명자 및 공간 분석 속성. 각 집합의 피쳐는 분산 분석 F-점수 및 p-값으로 비교됩니다. 250개의 한계까지 단계당 10개의 특징에 의해 성장된 쓰레기통으로 배열된다. 가장 높은 용모 결과는 최상의 통계 모형이 선택된 것을 보여준다. 240개의 기능과 85.96%의 정확도로 최고의 공간 활용 모델 230개의 피쳐를 선택하고 80.98%의 점수를 받았으며 최상의 혼합 모형 각 세트에서 240개의 피쳐를 선택하여 분류 정확도를 높였습니다. 86.75% 세 가지 결과를 모두 비교할 때(146개의 개별 기계) 학습 모델), 전체 분포에 따르면 최소 결과는 다음과 같다. 입력이 임의의 개수에 비해 혼합된 형상의 수인 경우 두 개의 단일 기능 집합 중 하나.