본문 바로가기

분류 전체보기48

[Spark] 2장 - 스파크 배포 2장 - 스파크 배포 스파크 배포 모드 로컬모드 독립실행형(Standalone) 스파크 YARN(하둡)에서의 스파크 메소스에서의 스파크 스파크 설치하기 더보기 pyspark 사용을 위해 필요한 사항 Java Python Spark 1. Java 설치 https://www.oracle.com/kr/java/technologies/javase/downloads/#java8 https://www.oracle.com/java/technologies/downloads/#jdk18-mac 버전 확인 java —version 환경변수 설정 vi ~/.zshenv $ export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-18.0.2.1.jdk/Contents/Home $ e.. 2022. 8. 30.
[Spark] 1장 - 빅데이터, 하둡 및 스파크 소개 1장 - 빅데이터, 하둡 및 스파크 소개 하둡(Hadoop)의 등장 배경 2000년대 초, 검색엔진 제공 업체에서 인터넷 규모 문제에 직면하고 이를 해결하기 위해 새로운 기능을 독자적으로 개발함. 2003, '더 구글 : 파일 시스템' 2004, '맵리듀스 : 대형 클러스터에서의 단순화된 데이터 처리' 이 과정에서 Lucene 프로젝트 기반 Nutch 웹 크롤러 프로젝트를 마무리하며 저장 처리 원칙을 통합하게 되는데, 이 결과물이 바로 하둡(Hadoop)이다. 하둡이 시작된 시기에 발생한 기술혁신 전자 상거래의 급속한 팽창 모바일 인터넷의 탄생과 빠른 성장 블로그 및 사용자 중심 웹 콘텐츠 소셜 미디어 위와 같은 기술 혁신은 데이터 생성량의 급격한 증가를 초래했고 스파크, 카프카, HBase, 카산드라와.. 2022. 8. 19.
[Data] 8장, 플로팅하기 모두의 데이터 과학 with 파이썬 - 교보문고 수집 정리 탐구 예측 가치로 배우는 기초 데이터 과학 | 누구나 파이썬으로 데이터를 분석하고 시각화할 수 있다! UNIT 1~12 | 데이터 과학의 개념과 파이썬 핵심 배우기데이터 과학이 무엇인지 개 www.kyobobook.co.kr 제 8장, 플로팅하기 pyplot 사용하기 플로팅 시, for문 사용법 예시 - draw, style, column, frame을 돌면서 각각에 해당하는 값 넣어주기. #각 데이터 프레임 시각화 for pos, (draw, style, column, frame) in enumerate(zip( (plt.contourf, plt.contour, plt.imshow), (plt.cm.autumn, plt.cm.cool, plt... 2022. 7. 6.
[Data] 6장, 데이터 시리즈와 프레임 다루기 모두의 데이터 과학 with 파이썬 - 교보문고 수집 정리 탐구 예측 가치로 배우는 기초 데이터 과학 | 누구나 파이썬으로 데이터를 분석하고 시각화할 수 있다! UNIT 1~12 | 데이터 과학의 개념과 파이썬 핵심 배우기데이터 과학이 무엇인지 개 www.kyobobook.co.kr 제 6장, 데이터 시리즈와 프레임 다루기 Pandas 데이터 구조 사칙 연산자 모양과 구조가 같은 데이터 프레임, 데이터 프레임 열과 시리즈, 모양이 같은 시리즈를 결합 모든 사칙 연산자는 인덱스를 보존한다. - 데이터 정렬(data alignment) 데이터 모양 바꾸기 사칙 연산자 모양과 구조가 같은 데이터 프레임, 데이터 프레임 열과 시리즈, 모양이 같은 시리즈를 결합 모든 사칙 연산자는 인덱스를 보존한다. - 데이터 .. 2022. 7. 5.
[백준] 1826. 연료채우기 (Python) 백준 1826번 문제, 연료채우기 1826번: 연료 채우기 첫째 줄에 주유소의 개수 N(1 ≤ N ≤ 10,000)가 주어지고 두 번째 줄부터 N+1번째 줄 까지 주유소의 정보가 주어진다. 주유소의 정보는 두개의 정수 a,b로 이루어 져 있는데 a(1 ≤ a ≤ 1,000,000)는 성경 www.acmicpc.net 골드 3 문제 성경이는 트럭을 정글 속에서 운전하다가 트럭의 연료탱크에 갑자기 구멍이 나서 1km를 가는데 1L의 연료가 새 나가게 되었다. 이것을 고치기 위해서는 가장 가까운 마을에 가야 한다. 그런데 그냥 가다가는 중간에 연료가 다 빠질 수가 있다. 다행스럽게도 정글 곳곳에 연료를 채울 수 있는 주유소가 N개 있다. 그런데 정글 속에서 중간에 차를 멈추는 행위는 매우 위험한 행위이므로 주.. 2022. 4. 21.
[DB] 3장, 관계형 데이터 모델 교재 ↓ 데이터베이스의 정석 - 교보문고 누구를 위한 책인가?ㆍ 데이터베이스의 핵심 개념과 용어를 빠른 시간에 학습하고자 하는 경우ㆍ 데이터베이스 모델링/설계 과정을 체계적으로 습득하고자 하는 경우ㆍ MySQL DBMS의 활용 방법과 www.kyobobook.co.kr 제 3장, 관계형 데이터 모델 데이터 모델의 구성 요소 : 데이터구조, 연산, 제약조건 관계형 데이터 구조 ▶ 릴레이션 : 관계형 데이터베이스의 테이블 속성(attribute) 테이블의 열(column) 데이터를 표현하는 가장 작은 논리적 단위 튜플(tuple) 테이블의 행(row) 현실세계의 개체(entity) ▶ 도메인(domain) 속성이 취할 수 있는 값의 범주 도메인을 통해 속성이 어떤 데이터값을 가질 수 있는 지 확인 ▶ 카디널.. 2022. 4. 20.
반응형

티스토리툴바