www.sciencedirect.com/science/article/abs/pii/S0740624X16301253 E-petition popularity: Do linguistic and semantic factors matter? E-petitioning technology platforms elicit the participation of citizens in the policy-making process but at the same time create large volumes of unst… www.sciencedirect.com Reference - Twitter studies: impact of textual patterns on retweets - Communication studies of..

Longformer: The Long-Document Transformer Longformer Transformer complexity O(n^2) scales linearly O(n) scales quadratically attention local windowed attention + global attention (d) self-attention (a) max length 4,096 512 [ Attention Pattern ] 1) Sliding Window • fixed-size window attention for local context • complexity: O(n × w) • n: input sequence length • w: fixed window size (layer마다 달라질 수..

1. GPT (Generative Pre-Training) • goal: learn a universal representation • generative pre-training (unlabeled text) + discriminative fine-tuning (labeled text) 1.1. Unsupervised pre-training 1.2. Supervised fine-tuning 2. GPT-2 • difference from BERT GPT-2 BERT Direction uni-directional auto-regression mask future tokens bi-directional Tokenizer BPE(Byte-pair Encoding) WordPiece Tokenizer Fine-..

BLEU and BLEURT 1. BLEU (Bilingual Evaluation Understudy, 2002) “The closer a machine translation is to a professional human translation, the better it is.” 0-1 사이의 score - BP: Brevity Penalty - p_n: modified n-gram precision - w_n: positive weights (baseline: 1/N) - N: n-gram의 전체 길이 (baseline: N=4) 1.1. modified n-gram precision - unigram precision: 7/7 - (candidate 토큰 중 reference에도 있는 토큰의 개수) ..

StructBERT: incorporated language structures into pre-training (사실상 language structure라기 보단 어순) 1) word-level ordering 2) sentence-level ordering 1) word-level ordering : 기존 BERT처럼 일부 토큰 masking 후, masked되지 않은 토큰 3개(trigram) 골라 순서 섞기 * 4개로 했을 때 성능 차이가 크지 않았고, robustness 고려하여 3개로 선택 → masked된 토큰의 final hidden state → softmax classifier → 본래 토큰 예측 → shuffled된 토큰들의 final hidden state → softmax clas..

점점 성별과 나이의 구분이 무색해지고 있다. 그래서 오히려 개인의 성향에 맞춘 추천, 혹은 행동 속성에 따른 군집화가 적합하다. 특정 기준을 가지고 고객을 집단화하는 것이다. 과거엔 모두에게 광고를 뿌리고spray 그것이 원하는 고객에게 전달되기만을 바라는pray 방식이었다. 이제는 개인이 볼 수 있는 웹이나 앱 플랫폼에서 그들에게 적합한 정보를 제공한다. 광고 비용의 효율화뿐만 아니라, 구매 가능성을 높인다는 데 방점이 찍히는 것이다. 맞춤형 추천 알고리즘 1) 사람 간의 유사성 계산 - A가 구매한 목록과 B가 구매한 목록이 비슷하다면, A는 샀지만 B가 아직 사지 않은 것을 B에게 추천하기 2) 상품 간의 유사성 계산 (사람보다 상품 수가 적으니 더 빨리 계산 가능) - A 상품을 산 사람과 B 상..