검색 본문
bottlesun.tistory.com Bottlesun의 개발일기 [데이터베이스시스템] 데이터 저장과 파일 물리적 저장장치 물리적 저장장치의 구성 물리적 저장장치는 데이터 접근 속도, 용량을 기준으로 다양한 장치로 구성 ← 속도, 가격 레지스터 - 캐시 - 메인메모리 - 자기디스크 , 플래시메모리 - 광학디스크 자기 테이프 → 저장용량 물리적 저장장치 별 특징 휘발성 → 캐시 : 고비용 저장장치로 빠른 접근 속도를 보장 → 메인 메모리 : 실제 프로그램과 데이터 적재 공간 비 휘발성 → 플래쉬 메모리 : 메인 메모리와 유사하나 비휘발성 → 자기 디스크 : 데이터베이스 전체를 안정적으로 저장 → 광학 디스크 드라이브 : CD , DVD , Blue-ray 파일 데이터베이스 논리적이고 추상적으로 데이터들을 묶어 놓은 사용자 들을 위한 단위 파일 데이터를 영구적으로 저장하기 위해 사용되는 가장 기초적인 논리적 구조 블럭 파일을 고정적인 길이로 분할하여 생기는 균등한 크기의 데이터 묶음 일반적으로 메모리와 디스크 간 데이터 전송 단위로 결정 레코드 블럭을 구성하는 요소 더 이상 분리될 수 없는 최소 데이터 저장 단위 고정 길이 레코드 고정적인 바이트 수를 갖는 레코드를 저장하는 기법 강의 내용 중 발췌 데이터 접근 → 모든 레코드는 42바이트 크기로 구성 → i 번째 레코드 저장 장치 관리 저장장치 접근 파일은 논리적 관점에서의 저장 객체 실제 저장될 때에는 여러 개의 물질적 단위인 블럭으로 저장 → 블럭은 메모리와 디스크 간 데이터의 전송 단위 → 일반적으로 2KB ~ 32 KB 사용 → 블럭 전송을 최소화 할수록 입출력 소요 시간이 단축 사용중인 블럭을 지속적으로 메모리에 적재 한정적 공간으로 인하여 필요에 따라 특정 블럭 할당을 해지 메모리 내부에 버퍼라는 공간에 블럭을 저장하고 이를 관리하기 위한 버퍼 관리자를 사용 버퍼관리자 DBMS 상의 소프트웨어는 필요한 블럭이 있을때 버퍼 관리자에게 해당 블럭... 3 데이터베이스 논리적이고 추상적으로 데이터들을 묶어 놓은 사용자 들을 위한 단위 파일 데이터를 영구적으로 저장하기 위해 사용되는 가장 기초적인 논리적 구조 블럭 파일을 고정적인 길이로 분할하여 생기는 균등한 크기의 데이터 묶음 일반적으로 메모리와 디스크 간 데이터 전송 단위로 결정 레코드 블럭을 구성하는 요소 더 이상 분리될 수 없는 최소 데이터 저장 단위 고정 길이 레코드 고정적인 바이트 수를 갖는 레코드를 저장하는 기법 강의 내용 중 발췌 데이터 접근 → 모든 레코드는 42바이트 크기로 구성 → i 번째 레코드 방통대 방송통신대 방송통신대학교 레코드 데이터베이스시스템 데이터저장과파일 물리적저장장치 버퍼관리자 2024.05.25 블로그 검색 더보기 100.daum.net 백과사전 소중한 데이터를 반영구적으로 저장할 수 있는 비결은? 진 후에는 전기도 필요 없고 복잡한 보관 조건을 맞출 필요도 없어 관리 비용이 크게 낮아진다. 자기 저장 매체에 주로 의존하는 현재 데이터센터는 수년 단위로 보전 매체를 교체해야 하며 전력 소모도 크고, 발열이 심하다는 문제가 있다. 발열을 잡기... 백과사전 검색 더보기 출처: 과학향기 hsb422.tistory.com 개발자로 후회없는 삶 살기 [문법] 자바 입력 데이터 저장 방식 서론 ※ 과거에 기록한 내용에서 중요한 부분만 발췌하여 모두가 이해하기 쉽게 다시 서술한다. 본론 - 자바의 인코딩 방식 1. 자바 내부적으로는 문자열이 UTF16으로 인코딩 된다.2. 문자열 송/수신을 위해 직렬화가 필요할 때는 변형된 UTF8을 사용한다.3. 문자열 입/출력에서는 사용자 지정 인코딩 or OS 기본 인코딩 방식으로 문자열을 인코딩한다. 자바의 인코딩 방식은 상황에 따라 다르며, 내부 메모리 상에서 처리되는 것과는 다르다. 유니코드, 아스키코드 : 문자를 컴퓨터로 표현하기 위해 고유한 숫자와 매칭한 코드 집합UTF-8 : 가변 길이 유니코드 인코딩으로 특정 문자를 바이트로 변환하는 방법 (영어 1B, 한글 3B 참고 [자바 인코딩] [자바 입력 뜯어보기] 18 ※ 과거에 기록한 내용에서 중요한 부분만 발췌하여 모두가 이해하기 쉽게 다시 서술한다. 2024.05.28 wildgrapes.kr 데이터-저장-용량-개념과-단위-정리 데이터 저장 용량 개념과 단위 정리 데이터 저장 용량 개념과 단위 정리 데이터 저장 용량 개념과 단위 정리 에 대해 한번 이야기 해보려고 합니다. 우리가 사용하는 PC, 스마트폰, 각종 휴대기기 들은 대부분 PC 기반에서 시작된 여러가지 파생... 2023.08.27 웹문서 검색 더보기 rlcnf.net board 물리적 데이터베이스 구조의 기본 데이터 단위인 저장 레코드 양식을 설계할 때 고려 사항으로 거리가 먼 것은? 기출넷 함께 성장하는 기출넷, 당신의 성공을 응원합니다! 2024.04.15 nymagicshop16.tistory.com nymagicshop [Kafka] Kafka에서 생성된 데이터를 일정한 시간 단위로 mysql 테이블에 저장하기 Topic 1 from kafka import KafkaProducer import numpy as np from time import time,sleep import os import json producer = KafkaProducer(bootstrap_servers = 'localhost:9092', value_serializer = lambda v: json.dumps(v).encode('utf-8')) count = 0 while True: producer.send('topic1',value=np.random.normal()) Topic 2 from kafka import KafkaProducer import numpy as np from time import time,sleep import os import json import random # data.txt 파일 읽어오기 with open('data.txt','r', encoding='utf-8') as f: words = f.read().splitlines() producer = KafkaProducer(bootstrap_servers = 'localhost:9092', value_seriali Spark에서 Kafka Streaming from pyspark.sql import SparkSession, streaming from pyspark.sql.functions import col, expr # create session spark = SparkSession.builder.appName('kafka_spark').getOrCreate() # kafka read by streaming kafka_options = { 'kafka.bootstrap.servers':'localhost:9092', 'subscribe':'topic1,topic2' table로 저장 # DB 저장하기 def foreach_batch_function(batch_df, batch_id): url = "jdbc:mysql://localhost:3306/hadoopguide?useSSL=false" driver='com.mysql.jdbc.Driver' user='root' password='password' tablename = 'tbl_kafka_spark' # mode = 'overwrite' mode = 'append' props = {'driver':d # DB 저장하기 def foreach_batch_function(batch_df, batch_id): url = "jdbc:mysql://localhost:3306/hadoopguide?useSSL=false" driver='com.mysql.jdbc.Driver' user='root' password='password' tablename = 'tbl_kafka_spark' # mode = 'overwrite' mode = 'append' props = {'driver':d 2024.04.03 통합웹 더보기
서비스 안내 스토리의 글을 대상으로 검색결과를 제공합니다. 자세히보기 shinbe.tistory.com IT신비 파일, 데이터베이스, 블록체인의 저장 측면 비교 3 데이터베이스 엔진을 통해 관리 관리자가 여려 명이 존재하며 각자 원장의 사본을 보유하고 관리 데이터 처리 속도 매우 빠름 실제 하드디스크에 쓰는 시간과...비교 비교항목 파일 데이터베이스 블록체인 저장단위 파일 단위 컬럼(column), 테이블(table) 단위 원장에 저장 블록(block) 단위 데이터 생성 방식 파일... 데이터중복 데이터공유 머클트리 BTREE 비가역성 연속할당 불연속할당 2024.04.16 티스토리 검색 더보기 story.kakao.com 이희재 이희재 - 카카오스토리 메모리가 있으며, 칩내부의 회로에 따라 NOR와 NAND로 구분. NAND Flash ^ 데이터 저장 단위인 셀이 직렬로 배치된 데이터 저장형 플래시 메모리 ^ 쓰기와 속도가 빠르고 대용량화 할수 있는 장점을 갖고있다... 2022.06.23 카카오스토리 검색 더보기