파이썬을 배우면 할 수 있는 것들

2022. 1. 26. 19:55coding

반응형

1. 인터넷에 있는 데이터 자동으로 긁어오기

'크롤링'이라고 부른다.
쉬운 웹페이지는 requests, BeautifulSoup으로 긁어오면 되고,
중간에 팝업창이 뜬다거나, 데이터를 javascript로 숨겨놨다거나 하면 Selenium을 이용해 긁어올 수 있다!

https://codlingual.tistory.com/m/11

네이버 영화/드라마 시놉시스 크롤링

4416개 넷플릭스 시놉시스를 크롤링했다. 이제 이 영화/드라마의 네이버에서의 시놉시스를 크롤링하면 된다. 네이버 영화 API가 있어서 이걸로 수집하면 된다는데 모르겠다.. 그래서 그냥 하던대

codlingual.tistory.com


https://codlingual.tistory.com/m/240

Selenium을 이용한 자동 크롤링

우선 여기서 ChromeDriver를 설치한다. 각자 크롬 버전에 따라 맞는 걸 선택해야 하는데, 크롬 설정 > Chrome 정보에 들어가서 각자 크롬 버전을 확인할 수 있다. https://chromedriver.chromium.org/downloads Ch..

codlingual.tistory.com

2. 블로그 글 자동 포스팅하기

이 블로그의 '오늘의 이슈'와 '오늘의 자연어처리'는 모두 자동 포스팅되고 있다. 모두 크롤링과 티스토리 API를 이용한다.

https://codlingual.tistory.com/m/277

[블로그 자동포스팅 총정리] API에서 코드 자동 실행까지

이 블로그의 paper-of-the-day 카테고리는 자동 포스팅되고 있다. 아쉽게도 썸네일을 자동으로 설정하는 방법은 없는 거 같아서 썸네일은 수동으로 지정해주었지만! 글은 완전 자동이다. 자동 포스

codlingual.tistory.com

3. 엑셀보다 더 복잡한 일 처리하기

난 사실 엑셀 하나도 모른다... 파이썬의 pandas, numpy 라이브러리만 있으면 온갖 거를 다 할 수 있다.
예를 들어 형태소 분석. 이런 건 엑셀이 못하겠지?! 특정 칼럼의 텍스트에서 명사만 추출하기 이런 걸 손쉽게 할 수 있다.

https://codlingual.tistory.com/m/23

넷플릭스/네이버 시놉시스 품사 분석하기

넷플릭스와 네이버에서 203개 드라마, 932개 영화에 대한 시놉시스를 크롤링했다. 이제 각 시놉시스에 특정 품사가 얼마나 많이 쓰였는지 알아보려고 한다. PCA 분석도 하려면 다음과 같은 형식의

codlingual.tistory.com

4. 그림 그리기

이건 나도 안 해봤지만 요즘 핫한 NFT 중에서도 generative art라고 코드로 이미지 대량생산해서 파는 게 있다는데 파이썬으로도 할 수 있다더라.

https://www.generativehut.com/post/generative-art-python-tutorial-for-penplotter

Generative Art Python Tutorial for Penplotter

Hi there, I am part of the Acrylicode team and today I want to share with you how I coded the algorithm for creating this artwork. Colourful variation available as CleanNFT on https://www.hicetnunc.xyz/objkt/83667 The algorithm was written in Python, so yo

www.generativehut.com



5. 웹페이지 만들기

내 사랑 streamlit! html, css, javascript 아무것도 몰라도 파이썬만 알면 웹페이지를 만들 수 있다. 만들어서 남한테 자랑하자!!

https://codlingual.tistory.com/m/115

[Streamlit] python 지식만으로 웹사이트 만들기

www.streamlit.io/ Streamlit — The fastest way to create data apps Streamlit is an open-source app framework for Machine Learning and Data Science teams. Create beautiful data apps in hours, not wee..

codlingual.tistory.com



6. 인공지능 모델 써보기/만들기

핫한지 좀 오래된 인공지능..AI, ML.. 사실 이쪽 배경지식 전혀 없어도 코드 3줄로 모델 써보는 건 완전 쉽다! 또 내 사랑 huggingface :)

# 라이브러리가 설치되어 있지 않은 경우 설치는 해줘야 함
from transformers import pipeline
pipe = pipeline("text-classification")
pipe(["This restaurant is awesome", "This restaurant is aweful"])

그럼

[{'label': 'POSITIVE', 'score': 0.9998743534088135}, {'label': 'NEGATIVE', 'score': 0.9996669292449951}]

이런 결과를 얻을 수 있다.
텍스트 분류 과제를 시켰는데 첫 번째 문장은 99.98%로 긍정적, 두 번째 문장은 99.96%로 부정적 문장이라는 뜻이다~

https://huggingface.co/docs/transformers/main_classes/pipelines

Pipelines

The pipelines are a great and easy way to use models for inference. These pipelines are objects that abstract most of the complex code from the library, offering a simple API dedicated to several tasks, including Named Entity Recognition, Masked Language M

huggingface.co

반응형