👨🏻🏫IT 활동
[NLP] Day 40 - Final
NLP 마무리 음절, 어절, 문장, 문단 및 담화의 차이점에 대하여 설명하시오 *음절이란, 소리가 나는 최소한의 단위로 낱글자 하나이고, 어절은 띄어쓰기의 단위로 구분이 되고, 어절이 모여서 문장이 되는 것이고, 문장들이 모여서 문단이 생기게 된다. 그리고 문단들의 의미가 생기면서 의미를 담고 있는 담화가 만들어지게 된다. 토큰화(Tokenization)에 대하여 설명하시오 *전처리에서 필요한 과정이다. 대문자,소문자, 기호를 제거하려고 실행한다. 구두점도 분리하는등 정제하는 데 필요하다. 의미를 가지는 최소한의 단위를 얻기 위함이다. 지프(Zipf)의 법칙과 힙스(Heaps)의 법칙에 대하여 설명하시오 *자기 순위와 빈도를 역순으로 가져가는데 고빈도 / 저빈도로 나뉜다. 너무 잘나오거나 너무 희귀한 단..
[NLP] Day 39 - Word_Embedding
머신러닝 자연어 처리 기술Word_Embedding¶In [109]:import numpy as np words = ["I","like","enjoy","deep","learning","NLP","flying","."] X = np.array([[0,2,1,0,0,0,0,0], [2,0,0,1,0,1,0,0], [1,0,0,0,0,0,1,0], [0,1,0,0,1,0,0,0], [0,0,0,1,0,0,0,1], [0,1,0,0,0,0,0,1], [0,0,1,0,0,0,0,1], [0,0,0,0,1,1,1,0]]) U,Sigma,V = np.linalg.svd(X,full_matrices=False) In [110]:Sigma Out[110]:array([2.75726275, 2.678248 , 1.892..
[NLP] Day 38 - Movie_Sentiment
Movie_Sentiment_Analysishttps://web.stanford.edu/class/cs124/lec/sentimentvideoslides2019.pdfIn [119]:import requests headers = {'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537'} def getDownload(url, param = None, retries = 3): resp = None try: resp = requests.get(url, params = param, headers = headers) resp.rai..
![[Qwiklabs] 9. Cloud ML Engine: Qwik Start](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Ft1.daumcdn.net%2Fcfile%2Ftistory%2F9983A14E5CC1DD060A)
[Qwiklabs] 9. Cloud ML Engine: Qwik Start
Cloud ML Engine: Qwik Start개인적으로 가장 까다로운 lab이었다. 중간에 timestamp가 변경되어서 명령어가 실행되지 않아서 몇 번 헤매였다. 부분에 ls output/export/census/ 에서 나온 숫자를 처음에 복붙해준다. 그리고 후반부에 timestamp가 바뀌게 되는데 이때는 아래를 참조해야한다. 이걸 제대로 보지않고 지나간다면 무한오류를 경험하게 될 것이다... https://stackoverflow.com/questions/49928314/error-creating-model-version-using-gcloud-ml-engine-versions-create 스택오버플로에도 이러한 오류를 겪은 사람들이 대다수이다. 여기서 timestamp가 바뀌었기 때문에 gsu..
![[Qwiklabs] 8. Implementing an AI Chatbot with Dialogflow](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Ft1.daumcdn.net%2Fcfile%2Ftistory%2F9963303B5CC1C7781E)
[Qwiklabs] 8. Implementing an AI Chatbot with Dialogflow
Implementing an AI Chatbot with Dialogflow Chatbot을 API를 이용해서 구현해보았다. 간단하게 만든만큼 빈틈이 많은 것 같다. 미리 정해진 대본안에 있다면 위 처럼 대답을 하지만 이름만 바꾸어도 제대로 동작하지 않는 것을 볼 수 있다. 아직까지는 인공지능 챗봇이 아니라 대본형 챗봇이라는 것에서 더 발전해야 한다고 생각한다. 그래도 intent를 읽는 것은 좋았다. ( 구두점을 자꾸 빼먹어서 애를 먹었다...)
![[Qwiklabs] 7. Classify Images of Clouds in the Cloud with AutoML Vision](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Ft1.daumcdn.net%2Fcfile%2Ftistory%2F99744D3A5CC1BB3011)
[Qwiklabs] 7. Classify Images of Clouds in the Cloud with AutoML Vision
Classify Images of Clouds in the Cloud with AutoML VisionAutoML Vision 을 통해 모델을 학습하고 평가하는 것을 경험했다. AutoML이라는 것이 IBM Modeler와 매우 유사하다는 생각이 들었다. 모든 것을 클릭만으로 실행하고 평가하는 것에서 그렇다고 느낀 것 같다. 실제로도 몇 번의 클릭만으로 다음과 같은 결과를 볼 수 있다. 학습의 결과와 Confusion matrix까지 제공한다. prediction또한 사진만 업로드 하면 해당 라벨에 속할 확률을 내뱉는다. 편하게 Prediction까지 할 수 있지만 그만큼의 tradeoff가 있는 것 같다. 파라미터들을 직접 만지지 못하고 Blackbox 중에 Blackbox라고 생각한다. 간단하게 경험..