Be The Blogger : 전산병의 근무일지

https://roadmap.sh/roadmaps

개발자로서의 로드맵!

있어보이려는 공부보다는, 진짜 있기 위한 개념을 잡기 위한 공부

그리고 다시 그것이 레쥬메를 아름답게 장식할지어다..

솔직히 레쥬메들 보면 별거 없음. 실력들은 거기서 거기임!

다른점은 메일 메일 물주고 가꾸는 나무처럼 자꾸만 가꾸면

내적으로는 하다못해 지식 한 자라도 더 보게되고,

외적으로는 레쥬메가 더 아름다워지기도함.(최소한 영작을 여러번 하면서 자연스러운 문장이 됨)

https://landscape.cncf.io/

클라우드, MSA, 이제는 피할 수 없는 숙명!

그동안 잘못된 상식

. 데이터는 정리해야하는 것이야 -> 절대 정리 못함 방치하고 빨리 찾아서 활용하는게 능력!(찾은 데이터도 또 방치된다)

. 서버는 컴퓨터는 집에다 두고 쓰면 전기세 빼고는 공짜니까 편해! -> 절대 공짜가 아니다. 클라우드에 올려놓고 서비스료를 내면서 쓰는게 데이터를 분실할 위험부담뿐 아니라 그 데이터를 분석하고 제안해서 최적의 가치를 알려주는 일을 한다. 클라우드 사용법을 익히는게 곧 역량이 된다는 것은 덤이다. 예전에 컴퓨터 설치만 해도 전산실에 취업했던 시절을 떠올려보라. 클라우드가 그런것이다. '클라우드 활용 능력'이 모든 IT인의 역량을 말해준다. 따라서 클라우드를 잘 사용하는 것만으로 취업이 가능함. 제발 구독경제 시대에 돈 아끼지말고 서비스 이용료 내면서 개인서버 운영은 클라우드 쓰자.. 너 그러려고 돈버는거다.

. 컴퓨터는 활용능력보다는 개발능력이 중요해!! -> 절대 아니다. 내가 믿었던 툴도 하루아침에 다른 툴에 의해 퇴물이 되는 세상에 살고 있다. 개발자는 모름지기 더 나은 툴을 '발견'하고 '활용'해야 하는 숙명에 있다. 그것이 반복 숙달 되다보면 부가적으로 개발도 잘하게 될 것이므로 툴을 찾고 숙달/활용하는 시간을 아낌없이 투자하자!

. 한번 배운 지식은 까먹지 않게 복습/암기해야해! -> 아니다. 어차피 업계에서는 절대 선과 같았던 지식도 부서(보직) 변경하면 거들떠도 안보는 죽은 지식(내입장에서)이 되는 경우가 많다. 그 분야에 대해서는 현역이 예비역으로 되는 것이다. 하루 하루 먹고 살기도 힘든데 굳이 계속 현역처럼 잘 할 필요 없다. 다만 백신주사처럼 항체가 들어오면 면역 반응이 되게끔 '정리'를 무척 잘 해 두어야 한다. 그런 사람이어야만 성공적 이직이 가능하다. 어차피 목표는 '양질의 일자리' 내지는 '좋은 사람이 있는 조직'일뿐, 돈이나 부귀영화는 아니다. 얼마나 IT를 잘하려고 고달픈 삶을 선택할래? 그래봤자 너는 마크 저커버그처럼 될 수 없다. 좋아하는 IT를 하다 보면 길은 언제나 있을것이니, 하고싶은 분야를 '즐겁게' 하자.

이렇게 일기를 쓰는것과 로드맵을 정하는 것도 그 중 일부다. 최소한 계속 이쪽 일을 생각하면서 항상성을 유지하면서 뇌가 새로운 것을 받아들이는 것에 대해 거부감이 없는 상황인 것과 복습이 수월한 모드가 되는 것만으로도

큰 그림을 보자. 요즘은 각종 툴들과 개개인들이 만든 부품들이 서로 잘났다고 난무하는 시절이라 홍대 인디 음악 아티스트처럼 듣보잡 솔루션들이 마치 업계 홍대부심 부리는 사람들처럼 들어와 있다. 이 모든 것을 '들어는 봐야' 대화가 된다. 로드맵과 랜드스캐이프가 중요한 이유

1. 졸업생이지만 대학교 메일을 사용할 수 있음. 모교에 감사합니다^^

2. 나의 git 계정에 내 학생 이메일을 추가하고 인증을 통해 등록함

3. git에서 student pack을 신청함

4. 학생증을 요구해서 10년전 학생증을 꺼내서 올림. 안된다하면 할수없지

확인 과정을 거친다는데 일단은 내고 나니 Pro가 생김

5. gitkraken을 설치함

6. gitkraken에서 github계정으로 로그인 해야 함 (google로 로그인하니 7-day trial이 뜸)

7. local repo를 불러와서 pull을 하니 intellij보다 속도가 훨씬 빠르다. 강력한 툴

이건 안적어두면 진짜 인생 억울해서 적는다.
걸린시간 : 반나절이상(약6시간)
하려는것: 표를 메일 첨부 발송 자동화
데이터 추출은 csv로 한다.
csv만드는건 파이썬으로 한다.

csv를 엑셀로 열어서 너비 맞추고 테두리 칠해서
메일에 붙여넣으면 저절로 만들어진다.



근데
크롬으로 자동화한 브라우저는 엑셀 표 붙여넣기가 안된다. html5 방식이라 보안상 붙여넣기를 한번 더 html5상에서 선택하는 이미지 팝업이 뜨는데 그걸 자동화 툴이 선택 못한다. 미치겠다.

그래서 ie로 다시 다 만들었다. 힘들게 삽질 노가다 했다.
그런데 ie 로 사내 메일에 로그인시 사내 메신저도 떠 버린다. 이것도 힘들게 삽질 노가다 했다.


그런데 부서장님이 결과에 한글을 넣고 싶다고 하셨다.
파이썬에서 utf8로밖에 저장이 안된다.
그리고 빌어먹을 ms엑셀은 절대 utf8을 디폴트로 Csv를 여는 것이 없다. 빌어먹을

방법 연구
1. 파이썬을 ansi로 기록하기
-> 미친듯이 안되어서 포기. 안됭 이유는 계속 인코딩 오류나고 리눅스의 한글 문자를 파이썬이 못 읽어가서 encoding:949 encoding:euc-kr 다 안됨

2. 엑셀에서 외부 텍스트를 열 때 디폴트로 utf8로 열리게 하기
이거 아무리해봤는데 레지 옵션 65001 넣는거까지 구글에서 찾아서 해봤는데 안됨

3. 파일명 앞에 \Ufeff를 붙이면 된다는데
이것도 아무리해도안됨.
파일명앞에 붙이면 그냥 csv파일 앞의 데이터에 feff만 붙어있는것뿐이었음
f.write(u'feff')
뭐 별지랄을 해도 안됨

그러다가 마지막에 찾아서 성공한게 있음
import codecs
f.write(codecs.BOM_UTF8)
이거 해주면 ms excel에서도 한글이 잘 나옴

UTF8 with BOM
하나 배워간다
더 화가 나서 자세히는 못쓴다

https://ondemand.tistory.com/m/258

처음 발단은
'공용'을 보유한 사용자들만 '전용'을 보유했는지 여부에 따라서 Flag라는 변수에다가 결과값을 저장하게끔 코딩을 했다.
'공용'을 보유하지 않은 사람의 경우를 if문으로 처리하기 위해 Flag가 선언되지 아니한 경우를 찾고 있었다.
'공용'을 보유하지 않은 사람들은 Flag라는 변수 자체가 선언되지 않았기 때문에 파이썬에서는 NameError를 출력할 수 밖에 없다.
Javascript는 undefined를 활용하면
if (Flag==undefined) 이런식으로 코딩했던 이력이 있기에 그런 아이디어로 코딩을 하고자 찾아보는 중이었다.

그래서 위에 첨부한 링크와 같은 내용을 구글링해서 찾아냈다. 어쨌든 파이썬은 변수를 선언 안하면 undefined라고 활용할수가 없는 언어임이 결론이었다. 그런데 내가 코딩한 다른 소스코드를 보다보니 이미 내가 그것을 처리했었다.
기존에 발급받은 auth키를 header에 넣고 request를 보내서 key값을 가져온다. 그다음에 key값을 가지고 사용자 검색을 가능하게 되는 API가 있다.
나는 여기서 처음에 Key값이 선언되지 않은 경우라면 최초 1번만 인증을 받고, Key값이 있으면 skip을 하고 싶었다. 근데 그게 결국 변수의 undefined 조치방법과 동일한 내용이다.

결론은 과거의 자신을 자랑하고싶은 뻘글..이다.
try:
변수
except NameError as e:
변수선언
finally:
코드 작성

여기서 except부분을 활용하면 undefined에대한 대처가 가능할듯. 근데 저렇게 할바옌 처음부터 변수='어떤값' 넣고 프로그램 실행시키면
변수를 선언하고 그 변수의 값인 '어떤값'이 그대로 안바뀐 경우, 변수가 한번도 선언되지 않은 undefined상태와 같은 효과일것같다. 조금만 아이디어를 내면 해결할 수 있다. 메모리효율성을 차치하고서라도..방법은 있다. 그래서 굳이 구글링해도 많이 안나오는 것인지도...

해당 아이디어에 영감을 준 소스코드는 아래 첨부한다.

def Init():
headers1 = {'auth':'abcda0' , 'auth-token':'0S2AbC'}
res = request.post(Url,headers=headers1)
global key
key = res.json()['authcode']
#json형태의 리턴값을 Json으로 만들어서 그중 authcode에 해당되는 값만 key변수로 취함



try :
key
except NameError as e:
print("처음 실행했음. 인증키값을 가져와야함")
print(e)
Init()
finally:
headers2= {'key' : key,'속성값':,'속성값'}
res = requests.get(Url+userId, headers=headers2)
if res.status_code==403:
print("인증키 만료로 재인증 요청")
Init()
headers2={'key':key,'속성값':'속성값'}
res=requests.get(Url+userId,
headers=headers2)
print(res.content)

1. 기본적인 SecureString 사용법

https://stackoverflow.com/questions/37662937/storing-credentials-to-run-powershell-script-in-php-application-remotely

2. SecureString을 PHP에 올렸다가 실패한 어느 뉴비의 자문자답

https://stackoverflow.com/questions/51365603/using-exec-to-run-powershell-script-hangs-if-i-try-to-set-credentials

3. 우리는 해냈다 늘 그랬듯이

stackoverflow.com/questions/23699500/convertto-securestring-gives-different-experience-on-different-servers/23700513

먼저, 이것을 하려는 목적은

1. 파워쉘기반 운영서버에 (감히) WEBWAS를 돌릴 수 없다.

2. 따라서 운영서버 옆에 나만의 WEBWAS를(다른 운영중인 윈도우서버안에) 구축하여, Remote Powershell로 제어를 하고 싶었다.

3. 웹서버는 IIS를 사용하고, PHP는 FastCGI로 구성했다.(feat 구글링)

4. 간단한 원리는 PHP가 되는 서버에서 Remote Powershell로 운영서버에 Powershell을 날려서 데이터를 가져오고 그것을 Web으로 쏘는 것이다. 그러려면 exec_shell 메서드가 필요하다.

[트러블슈팅1] PHP의 exec_shell 메서드를 사용하여 서버 자원에 접근하려면 PHP가 설치된 서버의 cmd.exe에 IIS_IUSRS에 Read 및 Execute 권한이 필요하다. (Users의 권한을 보안상 제어하는 경우)

5. 리모트 파워쉘을 다른 클라이언트에서 접근하려면 수동으로 패스워드를 입력해서 사용한다. 하지만 자동화를 위해서는 반드시 서버의 인증 정보를 가지고 있다가 원격 접속시 사용해야 한다.

6. 그래서 사용하는 방법이 인증 정보를 만들어 명령을 전달하는 방법이다. 서버의 $id와 (반드시 SecureString으로 변환된) $passwd를 가지고 인증정보($cred)를 만든 후(PSCredential), 그 인증정보를 가지고 $session정보를 만들면 된다.(New-PSSession) 그리고 마지막으로 Invoke-Command를 통해 파워쉘 명령을 Target Server에 날린다.

정리하면

[트러블슈팅2] PHP의 exec_shell이 SecureString 처리를 못함

$password를 SecureString으로 변환하는 방법은 두 가지가 있다.

그런데 운영자 관점에서 패스워드 유출이 꺼려지니 당연히 암호화된 패스워드를 사용하는 두 번째 방법을 활용하게 된다. 그런데! PHP서버 내부의 cmd에서 돌리면 너무나 잘돌아가던 파워쉘이 exec_shell에만 들어가면...실행을 못한다.

편의상 $pass를 평문암호, $passwd를 SecureString으로 encrypted된 암호라고 하면, 아래의 두 경우 모두 cmd에서는 결과값을 가져오는데, php에서는 결과값을 가져오지 못한다.

그래서 그 이후의 $credential을 못 만들어서 php 자체를 못 쓰게 된다는 것.

이러한 문제 때문에 나는 계속 첫번째 방법인 평문패스워드를 -AsPlainText로 사용하였으나 이는 커다란 보안 취약점이다. 그래서 찾아보던 중 오아시스같은 3번째 링크에 다음의 설명을 발견했다.

When you use the command ConvertTo-SecureString it encrypts the plaintext password with the encryption key on the local machine, under your user account. 

즉, 내가 이해하기로는 SecureString을 만들때 반드시 key값이 필요한데, key값을 별도로 명시하지 않으면, local machine에 있는 user account를 key값으로 쓴다는 것이고, cmd로는 잘 돌던게 php에서는 안 돌아가는 이유는! php가 shell_exec 메서드로 수행하는 user계정이, cmd에서 만든 ConvertFrom-SecureString를 제대로 처리할리가 없던 것이었다.

그래서 key를 별도로 쓰면 해결되는 문제였다. 다음과 같이 해결하였다.

이후 $cred, $session 잘 만들어진다.

1. 자바스크립트 기반으로 알려져있지만

진짜 기능을 위한 Api를 써서 다양한 기능을 하려면 자바를 알아야한다.

(Rhino엔진)

2. eval 함수를 통해 카톡상에서 자바스크립트를 인터프리터 방식으로

(크롬 자바스크립트 콘솔창이 아니더라도)실시간 확인할수 있다!

3. try-catch 구문을통해 스크립트 오류 없이 계속 유지할 수 있다!

2,3의 조합 소스코드

4. 카톡 함수가 대화보다 빠를 때, 대화를 기다려주자

java.lang.Thread.sleep(1000);

드디어 3개월에 걸친 나의 고민을 타파해서

블로그에 글을 안 남길 수 없다.

카카오톡뿐 아니라 그동안 개행문자때문에 데이터 가공에 고생했던 나날들이 떠오른다.

얼마나 미개하게 했었는지 서술한다. 카카오톡 대화를 내보내기 하여 KakaoTalkChats.txt을 보면

엔터키가 눌려진 대화를 저장하기 위해 배치 스크립트를 돌리려면

이거 처리하기가 너무 골치가 아픈거라...

이런 미개한 방법으로 수백~천라인의 데이터가 리패키징 되는 과정을 처리하며 PC자원과 시간의 낭비를 했다.

이과정은 DB에 입력할 라인을 무수히 증가시켰지만,

일단 변환된 텍스트를 db에 밀어넣는건 개꿀이다. (하지만 DB에 밀어넣을때도 년,월,일,ID,내용 파싱하고 insert할 값으로 변환하는데 PC자원을 사용하므로 이중 자원의 소비를 했다)

이 방법의 가장 큰 장점은 PHP로 Web에 출력할 때, 뉴라인을 고려하지 않아도 된다.

<td>테그를 써서 라인이 구별되는 편리함 때문에 이 방법을 고수해왔다.

(사실 더 미개한 이야기지만 매일의 대화를 저장한 것을 날짜.html 파일로 만들어 보관하고 있었다.

데이터 서칭은 포기한 셈. 그러다가 추후 피땀흘려 mysql과 php연동을 웹상에서 하게 되었다.)

매일 카톡을 실행하고 대화내용 내보내기를 해서 DB에 넣는 노가다 뛰는것도 힘들었지만, 카카오톡 유저들이 말하고 삭제하면 삭제된 메시지로 기록된다. 이에 노이로제가 걸려 다음의 방법을 생각하게 된다. 그런데 이 마저도 KaKaoTalkChats.txt 를 별도로 불러와서 '삭제된 메시지'를 손으로 끼워맞추며 천문학적인 시간을 데이터 복원 작업에 쓰는 미개함을 보여주었다. 그러다가 문득 든 생각.

이 지랄과 같이 되었다. 그렇다 나의 불찰...

그렇게 방법1에서 오토핫키까지 쓰며 고민했던 내용을 고스란히 잊어버리고 같은 실수를 반복했다.

개행문자가 없으면 정상적으로 '날짜','ID','내용'이 저장되겠지만..

개행문자가 있을때는

첫 줄이 작은따옴표를 만나지 못하고 오류, 두번째 줄도 오류.....결과는 두 값 모두 입력안됨

그래서 포기하고 있었는데, 생각해보니 입력받는 내용에

이렇게하면 DB엔 완벽히 개행문자로 들어가고 출력도 된다.

하지만 마지막문제, 왜 Web상에서는 개행문자가 적용이 안되고 공백문자로 space로 나올까?

오래지않아 view-source로 그 원인을 알 수 있었다. 진짜 html 소스코드에 개행이 되어 있었다!

오랜 경험으로 html에서 개행문자는 <br></br>임을 알고 있다!

그러면 php 작성을 손봐야 하는구나!

검색어는 php new line to br

http://docs.php.net/manual/kr/function.nl2br.php

이제 맘 편히 데이터를 저장할 수 있게 되었다.

더 이상 불편한 행동을 하지 않아도 된다.

너무나도 행복하다.

1. 카카오톡 저장한 텍스트 파일은 OS공통 인코딩 형식과 다르다.
카카오톡 저장한 텍스트 파일을 메모장으로 열면 열리나, 엑셀이나 ahk로 열면 깨진다.


.카톡 raw -> 메모장 읽기 -> 인코딩 ok
.카톡 raw -> ahk, 엑셀 읽기 -> 인코딩 x



(1) 파일을 읽을 때 아무 것도 선언을 하지 않으면, 카카오톡 저장한 파일 형식이 깨진다!
무슨말이냐면
아무 변수도 선언 안한채로
FileRead, Var, C:\카카오톡저장.txt
MsgBox %Var%
너는 이미 깨져 있다.

(2) 마찬가지로 카카오톡 파일을 엑셀로 읽으면 파일 형식이 깨진다.
ahk랑 같은 형태로 깨진다. 오전 -> ?ㅼ쟾





2. 원본 카톡 텍스트 파일을 UTF-8로 저장하면 ahk(엑셀)에서 default 읽기 ok

.카톡 raw -> 메모장 읽기(인코딩ok) -> 메모장다른이름저장(인코딩 UTF-8) -> ahk 읽기 -> 인코딩 ok


3. OS에서 메모장에 텍스트 파일 저장하면(기본인코딩:ANSI) ahk(엑셀)에서 default 읽기 ok
.메모장 문서 작성 -> 문서1 저장(인코딩 ANSI)
.메모장 문서 작성 -> 문서2 저장(인코딩 UTF-8)

(1)ahk Default 인코딩(아무 선언도 하지 않음)
.문서1(ANSI) -> ahk 읽기 -> ok
.문서2(UTF8) -> ahk 읽기 -> ok

(2)ahk CP949 인코딩
.문서1(ANSI) -> ahk CP949 읽기 -> ok
.문서2(UTF8) -> ahk CP949 읽기 -> ok

(3)ahk UTF-8 인코딩
.문서1(ANSI) -> ahk UTF-8 읽기 -> FAIL
.문서2(UTF8) -> ahk UTF-8 읽기 -> ok

※ 부연설명 :  전체 전역에 "FileEncoding UTF-8"이라고 선언하면
이전에 Ansi(CP949추정)으로 읽어서 저장한 애들은 깨져서 나온다.
.문서1(ANSI) -> ahk UTF-8 읽기 -> FAIL


4. 카톡 raw는 추정컨대 UTF-8로 인코딩 되어 저장됨
하지만 UTF-8을 OS 내 프로그램들이 처음 읽을 때 기본적인 CP949로 읽어오려고 해서 깨지는 듯 하다.
메모장 UTF-8 명시 후 저장 - 프로그램들이 인식 / 카톡 UTF-8 형식 - 프로그램들이 미인식
(1)
.카톡Raw -> ahk 읽기(Default) -> FAIL
.카톡Raw -> ahk 읽기(CP949) -> FAIL (Default와 같음)
.카톡Raw -> ahk 읽기(UTF-8) -> ok

※ 부연 설명 : 파일인코딩 CP939나 Default나 카톡Raw 읽으면 깨지는 모양이 같다.
즉 ahk의 디폴트 인코딩은 CP939임이 확인되는 부분.

5. CP949를 939로 틀리면 아무것도 읽어오지 못한다. 


6. 핫키 간 인코딩 선언은 영향을 받지 않는다.

;성공 예시, FileRead전에 반드시 UTF-8 인코딩 해줘야함.
F2::
FileEncoding, UTF-8
FileRead, Var, C:\카카오톡저장.txt
Msgbox %Var%
return

;실패 예시, F2를 누르고 F3을 눌러도 깨지게 나옴
F2:: 
FileEncoding, UTF-8
return

F3::
FileRead, Var, C:\카카오톡저장.txt
Msgbox %Var%
return


7. 결론 : 불필요하게 전역에 UTF-8 선언할 필요도 없고
왜? 3.(3) 참조

카톡Raw파일 FileRead전에만 반드시 UTF-8 인코딩 해주면 됨.