IT (47) 썸네일형 리스트형 Reading before learning Spark 파이썬도 좋지만... 난 파이썬을 안해본 관계로, 또한 스칼라를 좋아하는 사람으로써.https://twitter.github.io/scala_school/ko/collections.html 러닝 스파크 책을 차근차근 읽을 예정이다. 시간을 내서 30페이지 까지밖에 못 읽었지만.... 시간을 내야겟지. 보고 있는 자료https://www.slideshare.net/JunKim22/spark-zeppelin "빅데이터 분석을 위한 스파크2 프로그래밍"으로 책 바꿈.. spark develop environment (scala + intellij + sbt) Intellij plugin 설치는 scala , sbt 플러그인을 설치해야 한다. 설치법은 구글에 잘 나와있으니 pass~! 샘플 프로젝트는 SBT 기반 프로젝트를 생성하면 된다. build.sbt (spark 2.2.0 기반)name := "sparkTest1" version := "1.0" scalaVersion := "2.11.8" libraryDependencies ++= { val sparkVer = "2.2.0" Seq( "org.apache.spark" %% "spark-core" % sparkVer ) } 샘플코드 import org.apache.spark.{SparkConf, SparkContext} object LineCount { def main(args: Array[String]).. spark shell test scala> val file = sc.textFile("file:///your_text_file_path") scala> val words = file.flatMap(_.split(" ")) scala> val result = words.countByValue scala> result.get("For") Spark install Command Line history 테스트는 Bash on Ubuntu on Windows 에서 진행했다.참고링크 : https://blogs.msdn.microsoft.com/eva/?p=7633설치 wget http://apache.mirror.cdnetworks.com/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgz tar -xzvf spark-2.2.0-bin-hadoop2.7.tgz ln -s spark-2.2.0-bin-hadoop2.7 spark export SPARK_HOME=~/spark export PATH=${SPARK_HOME}/bin:$PATH cd ${SPARK_HOME} ls ./bin/run-example JavaWordCount README.md java sudo apt-.. c++ rest sdk - static link (msvc2015) SDK Githubhttps://github.com/Microsoft/cpprestsdk 물론 그냥 사용하려면 누겟 패키지 관리자에서 설치 후 사용해도 아무런 문제가 없을 것이다. 다만, 스태틱 링킹 하려면 몇가지 준비가 필요하다. 빌드스태틱 빌드를 하기 위해서는 https://github.com/Microsoft/cpprestsdk 에서 소스 받고 빌드 해야 한다. cpprestsdk140.sln 솔루션 파일 열어서, 아래의 프로젝트를 빌드하면 된다. 결과물빌드 결과물은 아래의 경로에 생성된다. cpprestsdk-2.10.0\Binaries\x64\Release\libcpprest140_2_10.lib cpprestsdk-2.10.0\Binaries\x64\Debug\libcpprest140d_2_1.. svn pre-commit hook in windows(using powershell) 커밋 메시지에 대한 고찰 과 더 나은 방법에 대한 제안http://metdoloca.tistory.com/admin/entry/post/?id=60&type=post&returnURL=/manage/posts/특정 개발자만 필터개발자들 author_a, author_b, author_3 중에 한명이 커밋을 했다면 svnlook author -r 22 D:\slacksvn | findstr "author_a author_b author_3" pre-commit.bat @echo off SET REPOS=%1 SET TXN=%2 svnlook author -t %TXN% %REPOS% | findstr "metdoloca dfdf NX00000127 aaaaa" if not "%ERRORLEVEL%" == .. commit message 에 대하여 출저 : http://www.haruair.com/blog/2683 https://item4.github.io/2016-11-01/How-to-Write-a-Git-Commit-Message/ http://dol9.tistory.com/246 https://tech.ssut.me/2015/06/24/write-a-good-git-commit-message/ SonarQube 설치 및 실행(C++) 다운로드 할 것들 정리 해당문서 작성시 sonar-cxx 가 지원되는 sonarqube의 버전은 6.3.1 이었다.SonarQube 6.3.1 https://sonarsource.bintray.com/Distribution/sonarqube/sonarqube-6.3.1.zipsonar-cxxgithub https://github.com/SonarOpenCommunity 적용 가능한 소나큐브 버전 정리 https://github.com/SonarOpenCommunity/sonar-cxx/wiki/SonarQube-compatibility-matrixsonar-cppcheck-pluginhttps://github.com/SonarQubeCommunity/sonar-cppcheckcppcheckhttp://c.. 이전 1 2 3 4 5 6 다음
