한국어 분석(형태소 분석) 형태소 분석이란 한국어를 의미를 갖는 최소 단위로 분할하고, 품사를 판별하는 작업입니다. 우리가 이러한 기능을 직접구현 하려면 어렵겠죠 ..... 하지만 이러한 기능은 모듈로 이미 만들어져있어서 편리하게 사용할 수 있습니다.모듈 다운로드 방법 apt-get install g++ openjdk-7-jdk python-dev python3-dev 만약 jpype오류가 발생한다면 pip3 install jpype1을 다운로드 해주세요.konlpy 설치pip3 install konlpy 안정적이게 설치가 됩니다. 그럼 이제부터 예제 코드를 실행시켜 보겠습니다. 예제 코드 from konlpy.tag import Twitter twitter = Twitter() print("구분할 문장..

pandas와 numpy 다루기 머신러닝을 할 때 데이터를 자주 조작하며 사용하게 될 것이다. 데이터를 조작하는데 유용한 pandas와 numpy의 함수에 대해 알아보자 pd.DataFrame(inputData) DataFrame은 numpy의 ndarray, dict, 일반 배열들을 입력데이터로 받는다. import pandas as pd data = [ [1,2,3,4], [5,6,7,8], [9,10,11,12], [13,14,15,16] ] r = pd.DataFrame(data) print(r) 결과 결과와 같이 입력데이터 뿐만 아니라 왼쪽과 윗편에 인덱스까지 붙어서 나온다. pd.Series(inputData,dtype=) Series의 입력값은 1차원 배열 딕셔너리를 받는다. 그리고 뒤에는 ..

tensorboard 사용하기 텐서 보드는 머신 러닝의 연산을 간단한 그래프로 보여주는 기능이다. 쥬피터와 같이 웹페이지에서 움직인다. 그리고 도커에서 사용하기 전에 docker run ~~~~ 할 때 옵션으로 -p 6006:6006을 추가해주어야 한다. import tensorflow as tf v = tf.Variable(0,tf.int32,name="v") a = tf.constant(30,name="a") b = tf.constant(60,name="b") k = tf.constant(70,name="k") add_mul_op = a*b+k sess = tf.Session() assign_op=tf.assign(v,add_mul_op) sess.run(assign_op) print(sess.run..

텐서플로우로 머신러닝 하기 데이터 파일 위에 첨부된 데이터 파일을 사용하면 된다. import pandas as pd import tensorflow as tf import numpy as np #hot cool encoding label_zero = {"thin":[1,0,0],"normal":[0,1,0],"fat":[0,0,1]} csv = pd.read_csv("bmi.csv") #정규화 csv["label_pat"]= csv["label"].apply(lambda x :np.array(label_zero[x])) csv["weight"] = csv["weight"].map(lambda x: x/100) csv["height"] = csv["height"].map(lambda x:x/200) x ..

docker에서 jupyter 사용하기 바로 앞글에 따라 우분투 shell로 들어간 후의 상황부터 jupyter를 사용하는 예제를 실행해보겠습니다. pip3 install jupyter을 쳐서 다운해줍니다. 후에 명령어 jupyter notebook --allow-root을 치면 이런식으로 나오는데 이밑에 url하나 나옵니다. 그 url의 localhost를 도커를 처음 시작할 때 나오는 ip랑 바꾸어서 실행시킵니다. 참고로 처음 접속할 때만 토큰을 붙여서 접속하고 다음부터는 도커 ip:8888로 접속해도 됩니다. 접속 후 사진

tesnsorflow docker에서 설치하기 도커에서 텐서플로우를 실행시키려면 docker run -it -p 8888:8888 gcr.io/tensorflow /tensorflow:latest-devel을 적어 주면 된다. 그럼 ubuntu 안으로 들어가진다. 필자의 경우에는 python2에서는 바로 작동이 되었지만 python3에서는 이상하게도 작동이 제대로 되지 않았다. 그래서 삽질을 거듭한 끝에 방법을 알았으니 우선 apt-get install python3-pip 쳐서 다운 후 pip3 install tensorflow을 쳐서 사용하면 된다. 이상한 책 때문에 삽질함 ㅂㄷㅂㄷ 그리고 설치 후 확인을 위해 python3를 쳐서 쉘에 들어간 후 #이거 친 후 오류나면 잘못 깔린 것이다...... ..