본문 바로가기

전체 글

데이터 사이언스 DataScience/Data Base 데이터베이스 2022. 1. 19. [Oracle] rename을 통한 테이블 마이그레이션 온라인 트랜잭션이 특정시간대에만 있거나, 배치를 통한 DML이 발생하는 테이블의 경우 Online Redefinition이 아닌 rename을 통해 비교적 간단하게 테이블 마이그레이션이 가능하다. 이를 통해서 테이블을 파티션화할수도 있고, 컬럼 등을 변경할 수도 있다. 1. 임시테이블 만들기 - 가능하면 Create table DDL 을 통해 인덱스, CONSTRAINT 없이 NOLOGGING, PARALLEL 옵션을 통해 만들면 빠른 마이그레이션이 가능하다. - 테이블 규모가 크지 않고, 완전 동일한 구조를 가진 테이블을 만들경우 (단편화 제거 등을 목표로 할때) CTAS 를 통해 간단하게 만들수 있다 (SELECT * FROM 원본테이블 WHERE 1=2) CTAS 참고 https://subbak2...
데이터 사이언스 DataScience/Data Base 데이터베이스 2022. 1. 19. [Oracle] OGG Classic 모드 테이블 변경시 가동 순서 1. 상황 Classic 모드에서 source 테이블의 컬럼 추가, Online redefinition 등 변경이 발생하는 경우 2. 동작순서 1) BR end recovery checkpoint랑 current checkpoint 확인 -- 1) ggsci에서 체크포인트 확인 INFO {EXTRACTOR 이름} SHOWCH -- 2) ggsci에서 체크포인트 맞추기 SEND {EXTRACTOR 이름} BR BRCHECKPOINT IMMEDIATE -- 3) ggsci에서 체크포인트 확인 INFO ALL 2) Extractor 프로세스 중지 -- ggsci에서 STOP PROCESS STOP {EXTRACTOR 이름} 3) 테이블 변경 --1) 컬럼추가의 경우 SQL로 DDL 실행, 단 이때 dirprm..
기타/유튜브 2022. 1. 11. 따릉이 API 활용해보기. 1) API 신청부터 파이썬 실행까지 1. API 인증키 받기 서울 열린데이터 광장 접속 → '서울특별시 공공자전거 실시간 대여정보' https://data.seoul.go.kr/dataList/OA-15493/A/1/datasetView.do 2. API 인증키를 이용해서 호출해보기 1) 크롬, 엣지 등 인터넷 브라우저 실행 후 각자 인증키로 URL 입력 http://openapi.seoul.go.kr:8088/(인증키)/json/bikeList/1/5/ 2) Python 코드를 통한 정보 호출 예시 코드 : https://github.com/subbak2/TIL/blob/master/2201/test.py GitHub - subbak2/TIL: Today I Learned (2018.10.31~) Today I Learned (2018...
데이터 사이언스 DataScience/Data Base 데이터베이스 2022. 1. 10. [Oracle] 가상컬럼을 통한 파티션 테이블 관리 파티션이 아닌 nonpartitioned 테이블을 파티션화할때 가장 먼저 고려해볼만한 것은 online redefinition이다. 현재 PK에 파티션 기준 컬럼이 포함되어있다면 아래 PROCEDURE를 통해 ONLINE REDEFINITION을 진행하면 된다. DBMS_REDEFINITION.START_REDEF_TABLE( uname => 'STEVE', orig_table => 'salestable', int_table => 'int_salestable1, int_salestable2, int_salestable3', col_mapping => NULL, options_flag => DBMS_REDEFINITION.CONS_USE_ROWID, part_name => 'sal03q1,sal03q2,s..
데이터 사이언스 DataScience/Data Base 데이터베이스 2022. 1. 10. [Oracle] 온라인 인덱스 작업이 불가능한 상황 운영 DB 인덱스 생성, 리빌드의 한줄기 빛과 희망은 'ONLINE' 옵션이다. DML이 실시간으로 발생하더라도 테이블 LOCK 없이 INDEX 생성 또는 REBUILD가 가능하다. -- 일반적으로 사용하는 인덱스 생성 DDL CREATE INDEX 스키마.인덱스이름 ON 스키마.테이블이름 (컬럼들) TABLESPACE 테이블스페이스 STORAGE ( INITIAL 64K NEXT 1M ) NOLOGGING ONLINE -- 온라인 옵션 ; ALTER INDEX 스키마.인덱스이름 LOGGING; 그런데, ONLINE 인덱스 작업이 불가능한 상황이 있다. VARCHAR(4000)인 컬럼의 인덱스를 생성하는데, 일반적인 데이터의 길이는 20Bytes 이내로 끝나는 경우가 많고 distinct가 좋아 인덱스 ..
데이터 사이언스 DataScience/Data Base 데이터베이스 2022. 1. 9. [Oracle] 튜닝 최후의 수단 PROFILE 튜닝의 끝은 순정이다. 가장 좋은 SQL 튜닝은 튜닝을 하지 않는 것이라고 생각한다. 데이터 모델링이 잘 되어있고 통계정보도 잘 수집되어 별도의 힌트없이 설계자의 의도대로 플랜이 수행되어 일정한 성능이 확보되는 SQL일 것이다. 그러나, 현실은 그렇지 못하다. 계속해서 변하는 비즈니스 로직과 통계정보 수집의 제약, 그리고 힌트 없이는 도무지 내 의도대로 풀리지 않는 Oracle의 Optimizer 등으로 인해 힌트를 통해 플랜을 고정하는 것이 현실적인 튜닝 방법이다. 그러나, 현실은 때때로 그렇지 못하다. 모든 SQL을 DBA나 튜너에게 SQL 검토를 받기에는 시간의 제약이 생기는 상황도 있고, 혹시나 튜닝을 받았던 SQL이더라도 갑자기 비즈니스 상황의 변화로 데이터량이나, SQL 수행횟수가 급격하게 증..
아키텍처 Architecture/Software Architecture 2021. 12. 23. 금융IT와 MSA - 2. SAGA 패턴 1편 MSA의 필요성 : https://subbak2.tistory.com/46 금융IT와 MSA - 1. 왜 필요한가? 0. 카카오는 빠른데, 내가 쓰는 은행은 왜이렇게 느려? 여러 은행 어플을 사용 중이라면 한 번쯤 생각해봤을 내용이다. 카카오나 토스로는 금방 되는게 은행어플에서는 오래 걸린다. 그럼 카카오 subbak2.tistory.com 금융업 특성상 데이터 결합도가 높고 대외기관 과의 트랜잭션도 많은 편이다. MSA를 금융IT에 도입할 경우 아래와 같은 문제가 발생할 수 있다. 아래 그림처럼 1) A에서 시작한 트랜잭션이 2) B 서버를 거쳐 3) 대외기관까지 갔다가 4) 다시 B서버에 도착한 상황에서 A서버의 WAS가 DOWN 되는 장애가 발생했다면 상상하기 싫은 상황이다. 하지만 충분히 발..
데이터 사이언스 DataScience/Data Base 데이터베이스 2021. 12. 22. [Oracle] OGG 오류 무시하는 방법, 특정 데이터만 동기화하는 방법 OGG는 Oracle에서 제공하는 CDC(실시간 데이터 동기화) 솔루션으로 서로 다른 Oracle DBMS 데이터를 동기화할때 효과적이다. 참고 : https://subbak2.tistory.com/93 [Oracle] OGG란? CDC솔루션 쓰는 이유 1. CDC 솔루션의 필요성 - CDC란? Change Data Capture. 변경되는 데이터를 실시간으로 다른 데이터베이스에 동기화 시켜주는 기술을 의미한다. 예를 들어 A 서버에 있는 테이블의 데이터가 변경되면, subbak2.tistory.com 운영환경에서 특정 테이블의 데이터를 동기화할때 FILTERING해야하는 상황이 생길 수 있다. 원천이 되는 DB를 소스DB, 동기화 대상이 되는 DB를 타겟DB라고 한다면 소스DB의 데이터와 타겟 DB의 ..

티스토리툴바