전체 글 (114) 썸네일형 리스트형 RDD Transformation #1 map map[U](f:(T) => U):RDD[U] 함수f 는 입력타입이 T 이고, 출력타입이 U 이다. map 의 결과값은 RDD[U] 가 된다. Ex)기호 _ 는 피호출객체의 원소를 말한다. val rdd2 = rdd1.map(_ + 1) map 은 간단하다. 컬렉션 원소 하나하나에 입력 함수를 맥여서 그 결과들의 집합 컬랙션을 리턴한다. 이때 입력한 함수의 리턴 타입과 동일한 타입의 컬렉션을 리턴한다고 보면 된다. flatMap flatMap[U] (f:(T) => TraversableOnce[U]):RDD[U] 함수f 는 입력타입이 T 이고, 출력타입이 TraversableOnce[U] 이다. map 의 결과값은 RDD[U] 가 된다. Ex) val rdd1 = List("apple,orange.. Timeline web editor https://timeline.knightlab.com/?utm_campaign=elearningindustry.com&utm_source=%2Ftop-10-free-timeline-creation-tools-for-teachers&utm_medium=link#overview 사용법https://timeline.knightlab.com/?utm_campaign=elearningindustry.com&utm_source=%2Ftop-10-free-timeline-creation-tools-for-teachers&utm_medium=link#make https://cdn.knightlab.com/libs/timeline3/latest/embed/index.html?source=1blpwOpGeXD9EtNd3.. spark docker 에 설치하기(작성중) https://github.com/P7h/docker-spark 디폴트는 /bin/bash 까지만 실행되는 예제만 있다. 터미널 형태이기에, 지속적으로 사용할 수 없다. docker run -td --restart=always -p 4040:4040 -p 8888:8080 -p 8081:8081 --name=spark spark_master:latest/usr/local/spark-2.2.0-bin-hadoop2.7/sbin docker run -td --restart=always -p 4040:4040 -p 8888:8080 -p 8081:8081 --name=spark spark_master:latest docker run -d -p 4040:4040 -p 8888:8080 -p 8081:8081 -.. 비번없이 원격지 머신에 접속(ssh-keygen) 리눅스 아무 머신에서나 ssh-keygen 결과물id_rsa.pub id_rsaid_rsa.pubid_rsa.pub 는 리모트 머신에cat id_rsa.pub >> ~/.ssh/authorized_keyschmod 600 ~/.ssh/authorized_keys id_rsaid_rsa는 내 로컬머신에 cat id_rsa.pub >> ~/.ssh/authorized_keyschmod 600 ~/.ssh/authorized_keys id_rsa 파일을 로컬PC에 저장, 로컬 PC가 리눅스라면 ~/.ssh 폴더에 저장한다.그리고 ssh 를 통해 접속ssh 계정@IPAddrss 윈도우거나 특정 폴더에 저장해 놓는다면ssh -i /mnt/d/ssh-key/id_rsa 계정@IPAddrss RDD 정리 스파크 클러스터여러 대가 마치 한대의 서버처럼 동작. 네트워크, 장애, 스케쥴링 처리에 대한 복잡함을 스파크가 대신 처리해줌분산 데이터RDD(Resilient Distributed Datasets) 분산 데이터 집합, 복구 가능. 클러스터에 흩어져서 저장RDD의 불변성복구라는 것이 어딘가에 백업된 데이터를 다시 복제하는 것이 아니라, 데이터를 다시 만들어 내는 방식이다.RDD 가 불변! 이기 때문에 가능하다. RDD를 만드는 방법(함수) 만 알고 있으면 언제든지 똑같은 데이터를 만들 수 있다.HDFS패스~Job 과 ExecutorJob = 스파크가 프로그램을 실행하는 것. 클러스터에서 병렬로 처리되며 이 Job은 Executor 가 실행한다.드라이버 프로그램Job 을 실행할 수 있는 메인함수를 가지고 있.. #2 여행에서 휴식을 얻다2 헤로도토스뻥쟁이지만 인기가 좋았다. 재밌으니까. 마르코폴로당시 원나라. 동로마가 망하기 전. 13세기. 우리나라 고려시대. 24년만에 돌아왔따.동방견문록재밌지만 믿을 수가 없으니.. 뻥쟁이.. '수백만' 이라는 표현을 너무 많이 했다. 마르코폴로가 직접 책을 쓴게 아니다. 이탈리아는 여러 도시로 조각나 있었다.베네치아, 제노바 둘이 계속 싸웟다. 마르코폴로가 전쟁 나갔다가 포로가 된다. 1년 동안 제노바에서 징역살이를 한다. 감옥 동기가 소설가 였다. 감옥에서 심심하니까 루스티첼로라는 사람이랑 이야기 하다가 마르코폴로가 하는 이야기가 심상치 않았나 보다. 이 이야기를 책으로 쓴게 '동방견문록' 이다. 하지만 출소 후에 감옥에서 들었던 이야기를 짜집기 한 거라 부정확하여, 나중에 진위여부 논쟁이 벌어진다... #0 전문세를 듣게 된 이유 어쩌다가 종교를 갖게 되었는데, 교리 공부를 하다보니 성서가 "역사와 연관"되어 있는 내용들이 꽤 많았고, 난 너무 역사에 무지했다. 아무래도, 예수님 시대 때는 로마가 유럽의 대부분을 점령하고 있을 때이니, 유럽 역사나 공부할까 하는 생각에 세계사 책 한권을 후딱 읽었다. 유시민의 '거꾸로 읽는 세계사'를 추천받아서 그걸 읽으려고 했다. 하지만 아무래도 유시민 아저씨 이야기는 내용은 좋을 수 있지만 특정 프래임에 갇힐 수도 있다는 이야기를 들어서 먼저 '한권으로 읽는 세계사'를 읽었다. 다 읽고나서(솔직히 좀 많이 지루했다), 역사를 재미있고 편하게 공부하고 싶었다. 예전에 '적콩무'가 재밌고 편했으니까, 자연스럽게 팟캐스트에 관심이 가게 되었다. 출퇴근시간 편하게 들을 수 있는 역사 관련 팟케스트를 .. #1 여행의 역사와 여행가 게스트 소개유일한 게스트 허진모 - 석사.. "박사 아님".휴식을 위한 지식-여행! - 초중고 때 배운 지식을 정리하자!여행에 대한 이야기를 가지고 지식을 정리하자.여행여행의 사전적 의미는 여정, "목적지 까지 가는 것!" 이지만 현대의 여행은 그냥 관광이다.여행의 역사마르코 폴로! 동방견문록 , 세계사적으로도 영향력을 미친 사람이다. 이탈리아 베네치아 사람이다. 베네치아는 물의 도시로 유명!당시 십자군 전쟁이 끝날 무렵이었고,해로가 교통수단이 된다. 베니스의 상인들은 십자군들에게 돈받고 실어서 날라주기도 하고, 십자군들은 외상으로도 타고, 돈 안주면 엄한대에 내려주고 약탈해서 갚으라 함. 약탈한 도시가 기독교 도시... ㅡㅡ; 어쨋든 마르코 폴로는 육로로 돌아다녔던 상인의 아들. 수퍼 스타.. 13세기.. 이전 1 2 3 4 5 6 ··· 15 다음