1. 인터넷에 있는 데이터 자동으로 긁어오기 '크롤링'이라고 부른다. 쉬운 웹페이지는 requests, BeautifulSoup으로 긁어오면 되고, 중간에 팝업창이 뜬다거나, 데이터를 javascript로 숨겨놨다거나 하면 Selenium을 이용해 긁어올 수 있다! https://codlingual.tistory.com/m/11 네이버 영화/드라마 시놉시스 크롤링 4416개 넷플릭스 시놉시스를 크롤링했다. 이제 이 영화/드라마의 네이버에서의 시놉시스를 크롤링하면 된다. 네이버 영화 API가 있어서 이걸로 수집하면 된다는데 모르겠다.. 그래서 그냥 하던대 codlingual.tistory.com https://codlingual.tistory.com/m/240 Selenium을 이용한 자동 크롤링 우선 여..

썸네일을 자동 포스팅 코드에 포함하는 방법을 몰랐는데 알게 되었다 썸네일 외에 자세한 내용은 아래의 글 참고하기! https://codlingual.tistory.com/277 [블로그 자동포스팅 총정리] API에서 코드 자동 실행까지 이 블로그의 paper-of-the-day 카테고리는 자동 포스팅되고 있다. 아쉽게도 썸네일을 자동으로 설정하는 방법은 없는 거 같아서 썸네일은 수동으로 지정해주었지만! 글은 완전 자동이다. 자동 포스 codlingual.tistory.com 그냥 사진 하나 업로드 하니까 자동으로 그게 썸네일로 설정되네 안 되는줄 알았구만! # 업로드하고 싶은 사진의 path를 입력으로 받음 def upload_png(path): access_token = [각 블로그의 access to..

이 블로그의 paper-of-the-day 카테고리는 자동 포스팅되고 있다. 아쉽게도 썸네일을 자동으로 설정하는 방법은 없는 거 같아서 썸네일은 수동으로 지정해주었지만! 글은 완전 자동이다. 자동 포스팅 방법을 공유한다 ~~ 목차 1. 티스토리 블로그 API 등록 2. 자동 포스팅을 위한 파이썬 코드 3. 파이썬 코드 자동 실행 1. 티스토리 블로그 API 등록 https://www.tistory.com/guide/api/manage/register TISTORY 나를 표현하는 블로그를 만들어보세요. www.tistory.com 1. 1. [앱 등록] 탭에서 다음을 입력해 API를 등록한다 서비스명: 블로그 이름 서비스 URL: 블로그 주소 CallBack: 블로그 주소 이외에 서비스 형태는 '웹서비스'..

https://hacktoberfest.digitalocean.com/ Hacktoberfest '21 Open source is changing the world – one contribution at a time. hacktoberfest.digitalocean.com 나의 소중한 스터디 메이트님이 알려주신 핵토버 페스트! 참 신기한게 많다 깃허브에 10월 한 달 동안 오픈소스에 Pull Request 4개를 하면 티셔츠를 받거나, 나무를 심을 수 있는 이벤트다! hacktoberfest라는 태그가 있는 repo나 Pull Request 자체에 hacktoberfest-accepted라는 라벨이 붙어있으면 다 카운트된다. 심지어 본인 repo도 인정된다 나는 코딩을 commit할 자신이 없어서 몸을 ..

이해하려고 노력할 때마다 항상 sin, cos의 폭격에 정신 못 차렸다. 하지만 귀여운 커피 캐릭터와 함께 드디어 이해가 좀 간다...... https://www.youtube.com/watch?v=1biZfFLPRSY&feature=youtu.be 일단 트랜스포머에 positional encoding이 필요한 이유! 트랜스포머는 RNN, LSTM과 달리 recurrent하지 않음. input의 모든 토큰이 parallel하게 처리됨. 따라서 어순 정보가 추가적으로 필요함. 이 어순 정보를 positional encoding에 담아 전달할 건데, 이 positional encoding은 각 토큰의 word embedding과 더해짐. 더해져서 똑같은 단어라도 첫 번째 위치에 왔을 때랑, 다섯 번째 위치에..

우선 여기서 ChromeDriver를 설치한다. 각자 크롬 버전에 따라 맞는 걸 선택해야 하는데, 크롬 설정 > Chrome 정보에 들어가서 각자 크롬 버전을 확인할 수 있다. https://chromedriver.chromium.org/downloads ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you are using Chrome version 94, please download ChromeDriver 94.0.4606.41 If you are using Chrome version 93, please download ChromeDriver 93.0.4577.63 If you are using Chrome version 92..