SlideShare a Scribd company logo
1 of 42
Download to read offline
㈜온고테크 / 기술지원2팀 정동화 / dhjung@ongo.co.kr
개요 및 설명
Oracle Solaris cluster
사전작업
• Cluster 개요
1. 개요
둘 이상의 시스템이나 노드가 지속적으로 사용
가능한 단일 시스템으로 동작하면서 사용자에게
응용 프로그램, 시스템 자원 및 데이터를 중단
없이 제공하는 것입니다. 클러스터에서 각 노드는
완전한 기능을 갖춘 독립형 시스템입니다.
2. 구성요소
1) Cluster node
Cluste Software가 실행되는 Host
2) Interconnect
H/B Cluster통신 감지/복구 및
헬스체크/데이터통신용 네트웍
3) Resouce Type
응용프로그램 설명 모음(응용프로그램에 대한
agent)이며, 해당 type에 있는 app는
시작/중지/모니터링을 제공
4) Resource group
Failover의 단위 – 리소스들의 집합
5) Resource
정의된 Resouce type에 대한 인스턴스
개별 서비스.
사전작업
• Cluster Hardware Components
1. Cluster node local disk(unshared)
각 Cluster node의 OS영역어 설치된 local disk
2. Multihost Storage
Failover 될 shared된 디스크영역
쿼럼 디바이스 포함 (DID로 관리)
3. Removal media
CDrom / USB / TAPE Drive
4. Cluster interconnect interface
H/B Cluster통신 감지/복구 및
헬스체크/데이터통신용 네트웍
DB서버의 경우 DB의 Cluster(CRS)의
interconnect용으로도 공용 사용
(cache fusion 용으로 메모리 내용을 공유 –
Data전송)
5. Public network interface
서비스 네트웍크
사전작업
Oracle Solaris cluster 4.x Donwload
사전작업
• Test Environment
<그림> Test Environment 구성도
dong1 dong2
Shared virtual volume
HeartBeat(Interconnect)
net0
net1
net0
net1
Virtual Box
• Oracle VirtualBox Environment
• Virtual Network Port - 3 Port.(HOST Only Ethernet Adapter)
• Vitrual Disk – shared disk 1GB fix 5EA, OS disk 30GB Dedicated
net3 net4
(PUBipmp0)
net3 net4
(PUBipmp0)
사전작업
• Full Repository Download
Software download
• http://www.oracle.com/technetwork/server-
storage/solaris-
cluster/downloads/index.html?ssSourceSiteId=ocomen
• 위 경로 에서 Full repo를 다운로드 한다.
• 4.x 버전으로 Soalris 11.x OS와 함께 호환성을 꼭
체크해야 한다.
• Ex) Soalris11.3 이후 Oracle Solaris cluster
4.2SRU15이상 ~ OSC 4.3 이후 설치할것….
<그림> Soltware Download
사전작업
• Cluster SRU Download
SRU Download
• https://support.oracle.com의 patch * Updates항목에서
Cluster을 선택후 최신 SRU를 download한다.
• 4.x 버전으로 Soalris 11.x OS와 함께 호환성을 꼭
체크해야 한다.
• Ex) Soalris11.3 이후 Oracle Solaris cluster
4.2SRU15이상 ~ OSC 4.3 이후 설치할것….
<그림> MOS에서 최신 SRU Downlaod
• Pkg 저장소 작업
Publisher 등록
• Solaris11은 lofiadm없이 위 절차대로 바로 iso가 마운트 가능하다.
root@dong1:~# mkdir /screpo
root@dong1:~# mkdir /screpo_SRU
root@dong1:~# mount –F hsfs osc-4_2-repo-full.iso /screpo
root@dong1:~# mount –F hsfs osc-4_2_2_2_0-repo-incr.iso /screpo_SRU
Full Repo 및 SRU
이미지를 mount
root@dong1:~#pkg set-publisher-gfile:///screpo/repo ha-cluster
root@dong1:~#pkg set-publisher-gfile:///screpo_SRU/repo ha-cluster
Publisher등록
사전작업
root@dong1:~#cat/etc/hosts
#Copyright 2009SunMicrosystems, Inc. All rightsreserved.
#Use is subjecttolicense terms.
#Internethosttable
::1 localhost
127.0.0.1 localhost
192.168.56.10 dong1 dong1.loghost
192.168.56.20 dong2
/etc/hosts파일 등록
Oracle Solaris cluster 4.2 Installation
• Package 설치
Install
• 기존 Cluster 3.3 버전과 달리 package설치후 Rebooting이 필요없으며, 자동으로 백업 BE가 생성이 된다
• Package publisher에서 SRU가 마운트가 안되어 있으면 해당 버전의 기본버젼으로 설치가 된다..
• 양쪽노드 모두 실행하도록 한다.
• 수행호 양 노드에서 # clnode show-rev로 버전을 확인한다.
root@dong1:~#pkg install--accept ha-cluster-framework-full
Packagestoinstall: 35
Services tochange: 6
Createbootenvironment: No
Createbackupbootenvironment:Yes
DOWNLOAD PKGS FILES XFER (MB) SPEED
Completed 35/35 6419/6419 47.5/47.5 0B/s
PHASE ITEMS
Installing new actions 8043/8043
Updating packagestatedatabase Done
Updating packagecache 0/0
Updating imagestate Done
Creating fastlookupdatabase Done
Updating packagecache 2/2
Clsuter core package
Installation
• Package 설치
Install
• 기존 Cluster 3.3 버전과 달리 package설치후 Rebooting이 필요없으며, 자동으로 백업 BE가 생성이 된다.
• PATH등록
• # vi ~/.profile
export PATH=${PATH}:/usr/cluster/bin
root@dong1:~#pkginstallha-cluster-data-services-full
Packagestoinstall: 29
Services tochange: 1
Createbootenvironment: No
Createbackupbootenvironment:No
DOWNLOAD PKGS FILES XFER (MB) SPEED
Completed 29/29 720/720 9.8/9.8 0B/s
PHASE ITEMS
Installing new actions 1564/1564
Updating packagestatedatabase Done
Updating packagecache 0/0
Updating imagestate Done
Creatingfastlookupdatabase Done
Updating packagecache 2/2
Clsuter Data-Service
package
Installation
• # scinstall – master node
• Master Node 먼저 # scinstall을 수행하여 기본 cluster환경을 만든다. – 아래 작업완료후 Rebooing수행 - 기존 Cluster 3.x와 동일하다.
• # scinstall – Slave node
• Master node의 scinstall작업완료 -> Rebooting후 Master Node가 Cluster mode로 부팅이 완료되면 slave node에서 수행한다
• # clsetup
• Slave node까지 Rebooting이 완료되면 cluster의 install mode로 부팅하게 된다.
• 공유디스크에서 쿼럼 디바이스영역을 지정후 clsetup으로 추가하여 installmode를 해제하도록 한다.
Oracle RAC & HA
• Oracle Real Application Server
• Oracle RAC 구성은 Oracle에서 CRS라는 clusterware가 모든 리소스를 관리 하기 때문에 solaris clulster에서는 Shared volume만
관리를 해주면 된다. 11g까지 12c에서는 raw devic가 지원되지 않으므로 ASM사용시에는 solaris cluster사용이 필요없다.
• 아래는 Shared volume을 어떤식으로 구성하느냐에 따른 HW의 역할이다.
• RAC의 Shared volume구성시는 총 3가지 방법이 있다. (Raw Device, shared filelsystem , ASM)
 ASM(Automated Storage manager) – DBMS에서 ASM인스턴스가 스토리지 볼륨을 관리
• 실제 Shared Disk관리가 DB단에서 관리하므로 Oracle Solaris Cluster 필요없음.
• ASM사용시에는 RAC용 Interconnect를 지정 – Interconnect Interface를 양 Node간의 동일한 IPMP이름으로 만들어 서로
통신이 가능한 상태로 만들어 준 다음 지정
 Raw Device 사용
• 현재 Oracle DB단에서는 더 이상 지원하지 않는다. – 구성해서 사용하는것은 가능하지만 Oracle의 지원이 안됨.
• 하여 Grid Infrastructure설치시에는 Raw Device구성부분이 없어서 OCR과 VOTE영역을 임시로 ASM으로 지정한다음,
설치완료후 Raw Device로 변경작업을 하게 된다.
• 사용을 위해서는 Solaris Clsluter위에 SVM의 metaset을 이용하여 multi-owner set에서 Raw Device를 생성한다.
• Solaris Cluster를 사용하기 때문에 RAC Interconnect는 clprivate0 Interface를 사용하도록 한다.
- 일반적인 경우이며 RAC DB node간 Interconnect의 대역폭 향상 & MTU값 변경(9000)을 요할시에는 별도의 네트웍으로
구성한다.
 Shared File System 사용(QFS & Veritas CFS(상용))
• 공유파일시스템은 Veritas CVM을 사용하는 것과 Oracle QFS(자동이중화 구성을 위해 Solaris Cluster 필요)
• CVM사용시에는 RAC용 Interconnect를 지정 – Interconnect Interface를 양 Node간의 동일한 IPMP & aggr이름(반드시 양
node간 동일한 이름)으로 만들어 서로 통신이 가능한 상태로 만들어 준 다음 지정 – Veritas Cluter HeartBeat영역과 별도로
구성해야 한다. – VCS HeartBeat Line은 LLT Protocol로 mac통신을 하기 때문에 plumb(create-ip)가 되어 있지 않으니
주의..(#lltstat –nvv | more 로 확인후 별도 지정)
• QFS사용시에는 QFS 파일시스템영역에 ORACLE binary설치를 지원하지 않는다.
root@dong1:/oragrid/product/11gR2/bin#./oifcfggetif
sc_ipmp0 192.168.56.0 global public
clprivnet0 172.16.2.0 global cluster_interconnect
Solaris cluster사용시
Oracle CRS interconnect
• Oracle Real Application Server – QFS구성
• QFS구성시의 방법이다.
디스크 사이즈 정의 및
mm디바이스 mr디바이스
정의
디스크 path이중화 및
디스크 라벨링
Mcf파잀작성
Hosts파일 작성
Samfs.cmd파일 작성
excample 파일
복사
QFS package설치
mcf파일검증 및 데몬
스타트
Cluster 리소스그룹 등록
QFS파일시스템 작성 및
마운트
4 5 6
1 2
3
• Oracle Real Application Server – QFS구성
• QFS구성시의 방법이다.
# pkgadd –d .
// SUNWqfsr , SUNWqfsu 2개의 package설치(레거시 pkg형식으로 되어 있음- 5.3)
// 5.4이상 solaris11환경일경우
root@dong2:~/QFS/STK_SAM-QFS_5.4-02/solaris_x64/S11_ips/repo.samqfs# pkg install-g . --acceptSUNWsamfs
SUNWsamqassy
root@dong2:# /opt/SUNWsamfs/util/SAM-QFS-post-install
// Ucb library 설치
# pkg installucb
QFS package설치
# vi /etc/syslog.conf
// 아래 라인추가
# SAM-QFS logging
local7.debug/var/adm/sam-log
root@solaris:~# touch/var/adm/sam-log
// 설정파일에 대한 예제 파일이다 , 구성파일이 존재하는 곳으로 copy한다.
# cp –rp /opt/SUNWsamfs/examples/etc/opt/SUNWsamfs/
excample
파일 복사 및 로깅설정
다음 페이지 참조
3가지 파일 – /etc/opt/SUNWsamfs/ 의 디렉토리 안에
/etc/opt/SUNWsamfs/ mcf 파일
/etc/opt/SUNWsamfs/ hosts.data-qfs 파일
/etc/opt/SUNWsamfs/ samfs.cmd 파일
구성파일 작성
1
2
3
• Oracle Real Application Server – QFS구성
• QFS구성시의 방법이다.
# File/etc/opt/SUNWsamfs/hosts.sfs1
# Host Host IPServerNotServer
# Name AddressesPriorityUsedHost
# ---------------------------------------------------
dong1 clusternode1-priv 1 - server
dong2 clusternode2-priv 2 –
// Metadata가 통신할 네트웍 을 지정해 준다.
Cluster노드로 구성이 되므로 Cluster의 HeartBeat으로 구성한다.
Oracle Clsuter 의 clrprivate 인터페이스가 대표로 생성이 되는데 그
Network주소를 가지고 hosts파일에 등록한다.
hosts.data1~3
fs = data1
forcedirectio
mh_write
qwrite
stripe=1
// qfs를 마운트 할시의 옵션이다.
/etc/vfstab의 mount option과 충돌하지 않는지 확인한다.
/etc/vfstab 파일의 설정이 /etc/opt/SUNWsamfs/samfs.cmd 파일의 설정보다 우선한다.
samfs.cmd
• Oracle Real Application Server – QFS구성
• QFS구성시의 방법이다.
data11000 ma data1on shared
/dev/did/dsk/d3s0 1001mm data1on
/dev/did/dsk/d4s0 1002mm data1on
/dev/did/dsk/d3s1 1101mr data1on
/dev/did/dsk/d4s1 1102mr data1on
data22000 ma data2on shared
/dev/did/dsk/d5s0 2001mm data2on
/dev/did/dsk/d6s0 2002mm data2on
/dev/did/dsk/d5s1 2101mr data2on
/dev/did/dsk/d6s1 2102mr data2on
data33000 ma data3on shared
/dev/did/dsk/d7s0 3001mm data3on
/dev/did/dsk/d8s0 3002mm data3on
/dev/did/dsk/d7s1 3101mr data3on
/dev/did/dsk/d8s1 3102mr data3on
mcf파일 작성
구성한 모든 파일은 Cluster로 이루어진 양쪽 노드에 모두 동일하게 적용되어야 한다.양쪽노드 설정파일 동기화
• Oracle Real Application Server – QFS구성
# sam-fsd
// mcf파일을 검증한다. 맨윗줄에 Error가 나오니 유의해서 본다.
// 양쪽노드 모두 실행한다.
# samdconfig
// 설정파일들을 읽어 들여 데몬을 start & refresh한다.
// 양쪽노드 모두 실행한다.
mcf파일검증 및 데몬
스타트
# sammkfs–S data1
// Master Node에서만 실행한다.
// -S 옵션이 shared 옵션이다.
// DB Block size와 맞추어야 할때는 DAU값도 조정한다. # sammkfs –S –a 8 data1
# vi /etc/vfstab
data1 - /data samfs 3 no shared
# mount /data1
QFS파일시스템 작성 및
마운트
# clrt registerSUNW.qfs
// QFS Cluste Agent 를 등록한다.
# clrgcreate-n dong1,dong2 qfs-rg
# clrscreate-g qfs-rg -t SUNW.qfs -x QFSFilesystem=/data1,/data2,/data3 qfs-rs
Cluster 등록
4
5
6
• Oracle Real Application Server – QFS구성
root@dong1:~#scstat-g
-- Resource Groups and Resources --
Group Name Resources
---------- ---------
Resources: qfs-rg qfs-rs
Resources: rac-framework-rg rac-framework-rs
-- Resource Groups --
Group Name Node Name State Suspended
---------- --------- ----- ---------
Group: qfs-rg dong1 Offline No
Group: qfs-rg dong2 Online No
Group: rac-framework-rg dong1 Online No
Group: rac-framework-rg dong2 Online No
-- Resources --
Resource Name Node Name State Status Message
------------- --------- ----- --------------
Resource: qfs-rs dong1 Offline Offline
Resource: qfs-rs dong2 Online Online - Service is online.
Resource: rac-framework-rs dong1 Online Online
Resource: rac-framework-rs dong2 Online Online.
scstat -g
root@dong1:~#df -F samfs-h
Filesystem Size Used Available Capacity Mounted on
data1 1.9G 144M 1.7G 8% /data1
data2 1.9G 144M 1.7G 8% /data2
data3 1.9G 144M 1.7G 8% /data3
QFS mount
• Oracle Real Application Server – Raw Device구성
• Raw Device 구성은 SVM(Solaris volume manager)의 SVM을 사용하는 방법이다.
• Solaris11에서는 svm이 없으므로 package를 별도로 설치후에 metadb영역을 별도로 지정해주어야 한다.
• Zfs volume을 만들어서 사용할경우에는 재부팅시 metadb영역이 없어 질수 있으므로 사용하여서는 안되며, 별도 디스크의
슬라이스영역에 지정하는 것을 권장한다.
• Solaris cluster에서 Rac framework 등록 및 svm등록은 clsetup을 사용하도록 한다.
• Metaset은 최대 32개가지 만들수 있으며, 기본 3개까지가 Cluster resouce의 timeout값(120초)으로 적당하다.
• Metaset을 추가할시에는 TIMEOUT Value를 늘려줘야 한다. – # clrs set -p Svm_step2_timeout=600 vucmm_svm_rs
Solaris Cluster 3.x Node/Server/System Panics With FailFast Ucmmd Died 30 Second Ago Message Resolution Path ( Doc ID
1021789.1 )
• 한 개의 metaset에 들어가는 disk수는 50개를 넘지 않는 것이 좋다. – 50EA까지가 mddb yes로 표기. – 넘어도 구성은 가능.
# pkg install svmSvm package설치
# metaset –s rac-set –a –M dong1 dong2
# metaset –s rac-set –a –m dong1 dong2
# metaset –s rac-set –a /dev/did/dsk/d3 /dev/did/dsk/d4/dev/did/dsk/d5/dev/did/dsk/d6
# metainit –srac-setd1001 4 /dev/did/rdsk/d3s0/dev/did/rdsk/d4 s0 
/dev/did/rdsk/d5s0/dev/did/rdsk/d6s0
Metaset구성
• Oracle Real Application Server – Raw Device구성
Resouce 설명 사용 API(Data type) 비고
rac_framework
RAC(Real Application Cluster)는 Active-Active
형태의 서비스이며, 클러스터 노드
모두 Online 으로 표시 SUNW.rac_framework
RAC일때 사용..
rac_svm SUNW.rac_svm
• Oracle RAC 서비스를 사용하기 위해 Cluster에 등록하는 API( Agent Program - RAW Device를 제공하기 위한 API이다.)
• Oracle Real Application Server – Raw Device구성
• Solaris cluster에서 Rac framework 등록 및 svm등록은 clsetup을 사용하도록 한다.
• Oracle Real Application Server – Raw Device구성
• Cluster구성이 완료되면 Raw Device map에 맞추어 raw device를 생성한다.
• Raw Device 생성은 이름으로 생성이 가능하며 map에 맞추어 권한도 변경하여야한다.
root@dong1:~#scstat-g
-- Resource Groups and Resources --
Group Name Resources
---------- ---------
Resources: rac-framework-rg rac-framework-rs
Resources: vucmm_framework_rg vucmm_framework_rs vucmm_svm_rs
-- Resource Groups --
Group Name Node Name State Suspended
---------- --------- ----- ---------
Group: rac-framework-rg dong1 Online No
Group: rac-framework-rg dong2 Online No
Group: vucmm_framework_rg dong1 Online No
Group: vucmm_framework_rg dong2 Online No
-- Resources --
Resource Name Node Name State Status Message
------------- --------- ----- --------------
Resource: rac-framework-rs dong1 Online Online
Resource: rac-framework-rs dong2 Online Online
Resource: vucmm_framework_rs dong1 Online Online
Resource: vucmm_framework_rs dong2 Online Online
Resource: vucmm_svm_rs dong1 Online Online
Resource: vucmm_svm_rs dong2 Online Online
scstat -g
• Oracle HA구성 - 정보수집
• HA서비스를 사용하기 위해 Cluster에 등록하는 API( Agent Program - Oracle DB, apache등등)
• 빨간테두리 부분이 Oracle HA서비스를 위해 필요한 데이터 타입이다.
Type 설명
Active/
Active
비고
SUNW.LogicalHostname:5 네트웍 IP addres에 대한 관리 agent X
Logical Host (VIP를 관리 – Service 용 IP를 등록)
체계관리서버, 통신관리서버등 HA업무에 사용
SUNW.gds:6
Third-party app에 대한 start / stop을 직접 등록 하
여 사용할수 있는 agent
X
개발 프로그램(일반적인 상용프로그램(OracleDB,
apache등)외) 을 HA에 등록
SUNW.HAStoragePlus:11 Fileysstem & Zpool에 대한 관리 agent X
등록된 File system 전체를 export / import
(umount / mount)
oracle_server
oracle_listener
Oracle DB HA사용시 엔진 / 리스너 관리 agent X
Oracle DB HA사용시 DB에 대한 Start / Stop /
Monitoring을 제공
SUNW.rac_framework
SUNW.rac_udlm(SKGXN로 대체)
SUNW.rac_svm
오라클 RAC를위한 오라클 솔라리스 클러스터 지원을
가능하게하는 프레임 워크
O
RAC 구성시 Multi-Owner Disk group을 지원
(Raw device사용시)
• Oracle HA구성 – 계획 및 사전작업
• Oracle DB HA(Active / Standby)구성이다.
• 설치순서는 아래와 같은 순서로 진행을 하게된다.
root@dong1:~# clrt registerSUNW.oracle_server ->Oracle binary(Engine)에대한 Agent
root@dong1:~# clrt registerSUNW.oracle_listener -> Oracle 리스너에 대한 Agent
root@dong1:~# clrt registerSUNW.HAStoragePlus -> Filsystem및 zpool을HA하기위한 Agent
Oracle HA를 위한
Agent 등록
Oracle DB Resouce
Group생성
Oracle Service IP(logical
Host)구성
및 ZFS 파일시스템 구성
Cluster에 등록Oracle DB 설치
root@dong1:~#clrgcreate-n dong1,dong2oraDB-rgResource group 생성
root@dong1:~# grep vip /etc/hosts
192.168.56.11 dong-vip -> DB에서사용할 ServiceIP(vip)
root@dong1:~# clrslhcreate-g oraDB-rg-h dong-vip-N 
sc_ipmp0@dong1,sc_ipmp0@dong2ora-lh
 Dong-vip-/etc/hosts에mappintg되어있는 vip,sc_ipmp0(해당호스트의 IPMPname)
서비스IP등록
(Logical Host)
root@dong1:~# zpoolcreateoradatac1t11d0c1t12d0ctt13d0
root@dong1:~# zfsset recordsize=8k oradata
root@dong1:~# clrscreate-g oraDB-rg-t SUNW.HAStoragePlus
> -p Zpools=oradata-p AffinityOn=TRUEora-hastp-rs
FileSystem 생성
• Oracle HA구성 - 정보수집
• Oracle DB 설치 및 DB Create 작업이 완료되어 Instance가 구동이 되면 Cluster에 등록작업을 하게된다.
• 등록시에는 Oracle DB에 대한 아래 테이블의 정보가 필요하다
Oracle Database 정보
Oracle SID dong
Oracle Home /oracle/db/product/11gR2
Alert_log_file /oracle/db/diag/rdbms/dong/dong/alert_dong.log
Connect_string hackeck/hackeck
Network(VIP) dong-vip
Listner Name LISTENER
Data Filesystem oradata
 Note
• Oracle Binary(엔진)는 Shared영역에 설치될수도 있고, Local 영역에 설치될수도 있다
• Local영역에 설치될 경우 양쪽 노드의 같은 위치,같은이름으로 복사가 되어야 한다.
• Connect_string은 Oracle DBMS의 기본계정인 scott/tiger는 보안상 사용하지 말고 별도 계정을 생성후에 등록하도록 한다.
• Data Filesystem은 반드시 Shared Disk영역이며, Pool이름으로 등록한다.
• Oracle HA구성
• 현재 실행중인 Oracle Instance를 종료후에 엔진과 리스너를 Cluster에 등록하도록 한다.
• 등록후에 모든 Start / Stop 작업은 Cluster 명령어로 이루어진다.
root@dong1:~#clrscreate-g oraDB-rg -t SUNW.oracle_server-p 
> ORACLE_HOME=/oracle/db/product/11gR2 -p ORACLE_SID=dong -p 
> Alert_log_file=/oracle/db/diag/rdbms/dong/dong/trace/alert_dong.log-p 
> Connect_string=hacheck/hacheck-p Resource_dependencies=ora-hastp-rsora-server-rs
Oracle Engine등록
root@dong1:~#clrscreate-g oraDB-rg -t SUNW.oracle_listener-p 
> ORACLE_HOME=/oracle/db/product/11gR2 -p LISTENER_NAME=LISTENER-p 
> Resource_dependencies=ora-hastp-rsora-lsnr-rs
Oracle 리스너 등록
• Oracle HA구성
• Oracle Service IP와 filesystem이 Online중이므로, 등록후에는 자동 Start된다.
root@dong1:~#scstat-g
-- Resource Groups and Resources --
Group Name Resources
---------- ---------
Resources: oraDB-rg ora-lh ora-hastp-rs ora-server-rs ora-lsnr-rs
-- Resource Groups --
Group Name Node Name State Suspended
---------- --------- ----- ---------
Group: oraDB-rg dong1 Online No
Group: oraDB-rg dong2 Offline No
-- Resources --
Resource Name Node Name State Status Message
------------- --------- ----- --------------
Resource: ora-lh dong1 Online Online - LogicalHostname online.
Resource: ora-lh dong2 Offline Offline - LogicalHostname offline.
Resource: ora-hastp-rs dong1 Online Online
Resource: ora-hastp-rs dong2 Offline Offline
Resource: ora-server-rs dong1 Online Online
Resource: ora-server-rs dong2 Offline Offline
Resource: ora-lsnr-rs dong1 Online Online
Resource: ora-lsnr-rs dong2 Offline Offline
Resouce group 상태
• Oracle HA faolover test
• 등록후에 모든 Start / Stop 작업은 Cluster 명령어로 이루어진다
• 수동으로 shutdown immediate 실행시에는 리소스속성 Retry_count값 만큼 재시작후 failover하게 된다.
• 수동으로 start하여 failover가 되거나 process가 kill되어 failover된 이후 해당 node에서 /var/cluster/rgm/global/pingpong 안을
확인해야한다.
root@dong1:~#clrgonlineoraDB-rgOracle Start
root@dong1:~#clrgofflineoraDB-rgOracle Stop
root@dong1:~#clrgofflineoraDB-rg
root@dong1:~#clrsdisable+
root@dong1:~#clrgunmanageoraDB-rg
이외 별도 리소스그룹이 있을때에는 + 기호를 사용하지 않는다.
Oracle unmanage
root@dong1:~#clrgswitch–n dong2oraDB-rgOracle Failover
• Oracle HA구성
• Oracle Service IP와 filesystem이 Online중(Resouce Group이 online)이므로, 등록후에는 자동 Start된다.
root@dong2:~#scstat-g
-- Resource Groups and Resources --
Group Name Resources
---------- ---------
Resources: oraDB-rg ora-lh ora-hastp-rs ora-server-rs ora-lsnr-rs
-- Resource Groups --
Group Name Node Name State Suspended
---------- --------- ----- ---------
Group: oraDB-rg dong1 Offline No
Group: oraDB-rg dong2 Online No
-- Resources --
Resource Name Node Name State Status Message
------------- --------- ----- --------------
Resource: ora-lh dong1 Offline Offline - LogicalHostname offline.
Resource: ora-lh dong2 Online Online - LogicalHostname online.
Resource: ora-hastp-rs dong1 Offline Offline
Resource: ora-hastp-rs dong2 Online Online
Resource: ora-server-rs dong1 Offline Offline
Resource: ora-server-rs dong2 Online Online
Resource: ora-lsnr-rs dong1 Offline Offline
Resource: ora-lsnr-rs dong2 Online Online
Resouce group상태
Cluster Patch
• Cluster SRU 확인
• Solaris cluster 4.2의 SRU를 Upgrade하는 방법이다.
• 현재 버전을 체크한다.
root@dong1:~/4.2#pkg info ha-cluster/system/core
Name: ha-cluster/system/core
Summary: Oracle Solaris Cluster software
Description: Oracle Solaris Cluster software
Category: System/HA Cluster
State: Installed
Publisher: ha-cluster
Version: 4.2 (Oracle Solaris Cluster 4.2.2.1.0)
Build Release: 5.11
Branch: 2.1.0
Packaging Date: October 23, 2014 04:11:28 PM
Size: 65.50 MB
FMRI: pkg://ha-cluster/ha-cluster/system/core@4.2,5.11-2.1.0:20141023T161128Z
Cluster SRU확인
최신 SRU Download
(5 Page참조)
SRU iso image mount 및
Repo 등록
New BE부팅 및 확인
SRU Upgade 실행 및
rebooting
• Cluster SRU 사전작업
• Download한 이미지를 마운트 한 다음 Repository등록을 한다.
root@dong1:~/4.2#ls
p20449347_420_Solaris86-64.zip
root@dong1:~/4.2#unzip *
Archive: p20449347_420_Solaris86-64.zip
inflating: osc-4_2_3_3_0-repo-incr.iso
inflating: readme_osc4.2.3.html
inflating: readme_osc4.2.3.txt
root@dong1:~/4.2#mount-F hsfs$PWD/*iso /mnt
Cluster SRU 등록
root@dong1:~/4.2#pkg set-publisher-g file:///mnt/repoha-cluster
root@dong1:~/4.2#pkg publisher
PUBLISHER TYPE STATUS P LOCATION
solaris origin online F file:///repoSolaris11/
ha-cluster origin online F file:///mnt/repo/
Cluster SRU 등록
• Cluster SRU 실행
• 등록된 Repo를 사용하여 Cluster SRU Upgrade를 실행한다.
• -b 옵션을 사용하여 현재 새로운 BE를 생성하여 업데이트한다. – 재부팅 후에는 Active BE가 변경될 것이다.
root@dong1:~/4.2#scinstall -u update -b cluster-1 -L accept
Calling "scinstall -u preupgrade"
Retrieving catalog 'solaris' ... Done
Retrieving catalog 'ha-cluster' ... Done
Caching catalogs ... Done
Startup: Refreshing catalog 'solaris' ... Done
Startup: Refreshing catalog 'ha-cluster' ... Done
Startup: Checking that pkg(5) is up to date ... Done
Done
-------------------------------------------------
NOTE: Please review release notes posted at:
https://support.oracle.com/rs?type=doc&id=1672221.1
----------------------------------------------------
done
Calling "scinstall -u postupgrade"
Restored /.alt.cluster-1/etc/cluster/ccr.upgrade to /.alt.cluster-1/etc/cluster/ccr
Log file - /.alt.cluster-1/var/cluster/logs/install/scinstall.upgrade.log.2848
scinstall: A clone of cluster exists and has been updated and activated. On the next boot, the Boot
Environment cluster-1 will be mounted on "/". Reboot when ready to switch to this updated BE.
Log file - /var/cluster/logs/install/scinstall.upgrade.log.2448
Cluster SRU
Upgrade실행
root@dong1:~/4.2#beadmlist
BE ActiveMountpoint Space Policy Created
-- --------------------- -------------
cluster N / 32.95M static 2015-03-29 09:10
cluster-1 R - 12.08G static 2015-05-10 23:08
cluster-backup-1 - - 33.02M static2015-03-29 10:20
single - - 85.31M static 2015-03-29 08:51
root@dong1:~/4.2#init6
부트환경(BE)확인
• Cluster SRU 확인
• Solaris cluster 4.2의 Upgrade된 SRU버젼을 확인한다.
root@dong1:~#pkg info system/core
Name: ha-cluster/system/core
Summary: Oracle Solaris Cluster software
Description: Oracle Solaris Cluster software
Category: System/HA Cluster
State: Installed
Publisher: ha-cluster
Version: 4.2 (Oracle Solaris Cluster 4.2.3.3.0)
Build Release: 5.11
Branch: 3.3.0
Packaging Date: March 2, 2015 04:37:20 PM
Size: 65.52 MB
FMRI: pkg://ha-cluster/ha-cluster/system/core@4.2,5.11-3.3.0:20150302T163720Z
Cluster SRU확인
 Note
• 일반적으로 Cluster명령어로 update하는 방법이다.
• Publisher solaris + ha cluster 모두 publisher등록후 (pkg update)로도 update를 할수 있다
운용 명령어
Cluster Manage command
• Cluster 운용 명령어
명령어 설명 Example
# scstat & # cluster status 전체 Cluster 상태 정보 표시 Next page 설명
# clrg status & scstat -g Resouce group 상태 정보 표시 Next page 설명
# clrg offline “그룹명”
해당 Resouce group down – IP 및 파일시스템 umount, app
down.
# clrg offline DB-rg
# clrg online “그룹명” 해당 Resouce group start – IP 및 파일시스템 mount, app start. # clrg online DB-rg
# clrs disable “리소스명“ 해당 Resouce(IP or filesytem or app) 만 down # clrs disable app-rs
# clrg unmanage “그룹명”
해당 Resouce group을 관리 하지않음 / 서버 기동시 자동 Start되
지 않음
모든 Resouce 가 disable 되어 있어야 함.
# clrg unmanage APP-rg
# clrg switch –n “hostname” “그룹
명”
-n 뒤의 host로 해당 Resouce group을 failover함.
// dong2로 서비스 전환
# clrg switch –n dong2 APP-rg
# scshutdown –y –g0
전체 클러스터 시스템 shutdown( OS + cluster )
* 사용주의
한 노드만 종료시에는 일반적인 # init 5 를 사용..
# scshutdown –y –g0
• Cluster 운용 명령어 – 점검 – scstat & cluster status

More Related Content

What's hot

Glusterfs 소개 v1.0_난공불락세미나
Glusterfs 소개 v1.0_난공불락세미나Glusterfs 소개 v1.0_난공불락세미나
Glusterfs 소개 v1.0_난공불락세미나sprdd
 
하둡 고가용성(HA) 설정
하둡 고가용성(HA) 설정하둡 고가용성(HA) 설정
하둡 고가용성(HA) 설정NoahKIM36
 
Issues of OpenStack multi-region mode
Issues of OpenStack multi-region modeIssues of OpenStack multi-region mode
Issues of OpenStack multi-region modeJoe Huang
 
Oracle_Multitenant_19c_-_All_About_Pluggable_D.pdf
Oracle_Multitenant_19c_-_All_About_Pluggable_D.pdfOracle_Multitenant_19c_-_All_About_Pluggable_D.pdf
Oracle_Multitenant_19c_-_All_About_Pluggable_D.pdfSrirakshaSrinivasan2
 
Hadoop Security Today & Tomorrow with Apache Knox
Hadoop Security Today & Tomorrow with Apache KnoxHadoop Security Today & Tomorrow with Apache Knox
Hadoop Security Today & Tomorrow with Apache KnoxVinay Shukla
 
Glusterfs 파일시스템 구성_및 운영가이드_v2.0
Glusterfs 파일시스템 구성_및 운영가이드_v2.0Glusterfs 파일시스템 구성_및 운영가이드_v2.0
Glusterfs 파일시스템 구성_및 운영가이드_v2.0sprdd
 
[221] docker orchestration
[221] docker orchestration[221] docker orchestration
[221] docker orchestrationNAVER D2
 
Building a Dataset Search Engine with Spark and Elasticsearch: Spark Summit E...
Building a Dataset Search Engine with Spark and Elasticsearch: Spark Summit E...Building a Dataset Search Engine with Spark and Elasticsearch: Spark Summit E...
Building a Dataset Search Engine with Spark and Elasticsearch: Spark Summit E...Spark Summit
 
클라우드 컴퓨팅 기반 기술과 오픈스택(Kvm) 기반 Provisioning
클라우드 컴퓨팅 기반 기술과 오픈스택(Kvm) 기반 Provisioning 클라우드 컴퓨팅 기반 기술과 오픈스택(Kvm) 기반 Provisioning
클라우드 컴퓨팅 기반 기술과 오픈스택(Kvm) 기반 Provisioning Ji-Woong Choi
 
WebSphere App Server vs JBoss vs WebLogic vs Tomcat (InterConnect 2016)
WebSphere App Server vs JBoss vs WebLogic vs Tomcat (InterConnect 2016)WebSphere App Server vs JBoss vs WebLogic vs Tomcat (InterConnect 2016)
WebSphere App Server vs JBoss vs WebLogic vs Tomcat (InterConnect 2016)Roman Kharkovski
 
Maria db 이중화구성_고민하기
Maria db 이중화구성_고민하기Maria db 이중화구성_고민하기
Maria db 이중화구성_고민하기NeoClova
 
Oracle管理藝術第1章 在Linux作業體統安裝Oracle 11g
Oracle管理藝術第1章 在Linux作業體統安裝Oracle 11gOracle管理藝術第1章 在Linux作業體統安裝Oracle 11g
Oracle管理藝術第1章 在Linux作業體統安裝Oracle 11gChien Chung Shen
 
Ibm spectrum scale fundamentals workshop for americas part 4 Replication, Str...
Ibm spectrum scale fundamentals workshop for americas part 4 Replication, Str...Ibm spectrum scale fundamentals workshop for americas part 4 Replication, Str...
Ibm spectrum scale fundamentals workshop for americas part 4 Replication, Str...xKinAnx
 
Blue Medora Oracle Enterprise Manager (EM12c) Plug-in for PostgreSQL
Blue Medora Oracle Enterprise Manager (EM12c) Plug-in for PostgreSQLBlue Medora Oracle Enterprise Manager (EM12c) Plug-in for PostgreSQL
Blue Medora Oracle Enterprise Manager (EM12c) Plug-in for PostgreSQLBlue Medora
 
CH09:Collection與Map
CH09:Collection與MapCH09:Collection與Map
CH09:Collection與MapJustin Lin
 
Presentation du SGBD Oracle DATABASE.pptx
Presentation du SGBD Oracle DATABASE.pptxPresentation du SGBD Oracle DATABASE.pptx
Presentation du SGBD Oracle DATABASE.pptxPriscilleGANKIA
 
Introducing EDB Failover Manager
Introducing EDB Failover ManagerIntroducing EDB Failover Manager
Introducing EDB Failover ManagerEDB
 
[OpenInfra Days Korea 2018] (Track 4) - Grafana를 이용한 OpenStack 클라우드 성능 모니터링
[OpenInfra Days Korea 2018] (Track 4) - Grafana를 이용한 OpenStack 클라우드 성능 모니터링[OpenInfra Days Korea 2018] (Track 4) - Grafana를 이용한 OpenStack 클라우드 성능 모니터링
[OpenInfra Days Korea 2018] (Track 4) - Grafana를 이용한 OpenStack 클라우드 성능 모니터링OpenStack Korea Community
 

What's hot (20)

Glusterfs 소개 v1.0_난공불락세미나
Glusterfs 소개 v1.0_난공불락세미나Glusterfs 소개 v1.0_난공불락세미나
Glusterfs 소개 v1.0_난공불락세미나
 
AppArmorの話
AppArmorの話AppArmorの話
AppArmorの話
 
하둡 고가용성(HA) 설정
하둡 고가용성(HA) 설정하둡 고가용성(HA) 설정
하둡 고가용성(HA) 설정
 
Issues of OpenStack multi-region mode
Issues of OpenStack multi-region modeIssues of OpenStack multi-region mode
Issues of OpenStack multi-region mode
 
Oracle_Multitenant_19c_-_All_About_Pluggable_D.pdf
Oracle_Multitenant_19c_-_All_About_Pluggable_D.pdfOracle_Multitenant_19c_-_All_About_Pluggable_D.pdf
Oracle_Multitenant_19c_-_All_About_Pluggable_D.pdf
 
Hadoop Security Today & Tomorrow with Apache Knox
Hadoop Security Today & Tomorrow with Apache KnoxHadoop Security Today & Tomorrow with Apache Knox
Hadoop Security Today & Tomorrow with Apache Knox
 
Glusterfs 파일시스템 구성_및 운영가이드_v2.0
Glusterfs 파일시스템 구성_및 운영가이드_v2.0Glusterfs 파일시스템 구성_및 운영가이드_v2.0
Glusterfs 파일시스템 구성_및 운영가이드_v2.0
 
[221] docker orchestration
[221] docker orchestration[221] docker orchestration
[221] docker orchestration
 
Building a Dataset Search Engine with Spark and Elasticsearch: Spark Summit E...
Building a Dataset Search Engine with Spark and Elasticsearch: Spark Summit E...Building a Dataset Search Engine with Spark and Elasticsearch: Spark Summit E...
Building a Dataset Search Engine with Spark and Elasticsearch: Spark Summit E...
 
클라우드 컴퓨팅 기반 기술과 오픈스택(Kvm) 기반 Provisioning
클라우드 컴퓨팅 기반 기술과 오픈스택(Kvm) 기반 Provisioning 클라우드 컴퓨팅 기반 기술과 오픈스택(Kvm) 기반 Provisioning
클라우드 컴퓨팅 기반 기술과 오픈스택(Kvm) 기반 Provisioning
 
WebSphere App Server vs JBoss vs WebLogic vs Tomcat (InterConnect 2016)
WebSphere App Server vs JBoss vs WebLogic vs Tomcat (InterConnect 2016)WebSphere App Server vs JBoss vs WebLogic vs Tomcat (InterConnect 2016)
WebSphere App Server vs JBoss vs WebLogic vs Tomcat (InterConnect 2016)
 
Maria db 이중화구성_고민하기
Maria db 이중화구성_고민하기Maria db 이중화구성_고민하기
Maria db 이중화구성_고민하기
 
Oracle管理藝術第1章 在Linux作業體統安裝Oracle 11g
Oracle管理藝術第1章 在Linux作業體統安裝Oracle 11gOracle管理藝術第1章 在Linux作業體統安裝Oracle 11g
Oracle管理藝術第1章 在Linux作業體統安裝Oracle 11g
 
Ibm spectrum scale fundamentals workshop for americas part 4 Replication, Str...
Ibm spectrum scale fundamentals workshop for americas part 4 Replication, Str...Ibm spectrum scale fundamentals workshop for americas part 4 Replication, Str...
Ibm spectrum scale fundamentals workshop for americas part 4 Replication, Str...
 
Blue Medora Oracle Enterprise Manager (EM12c) Plug-in for PostgreSQL
Blue Medora Oracle Enterprise Manager (EM12c) Plug-in for PostgreSQLBlue Medora Oracle Enterprise Manager (EM12c) Plug-in for PostgreSQL
Blue Medora Oracle Enterprise Manager (EM12c) Plug-in for PostgreSQL
 
CH09:Collection與Map
CH09:Collection與MapCH09:Collection與Map
CH09:Collection與Map
 
Presentation du SGBD Oracle DATABASE.pptx
Presentation du SGBD Oracle DATABASE.pptxPresentation du SGBD Oracle DATABASE.pptx
Presentation du SGBD Oracle DATABASE.pptx
 
Introducing EDB Failover Manager
Introducing EDB Failover ManagerIntroducing EDB Failover Manager
Introducing EDB Failover Manager
 
Hadoop security
Hadoop securityHadoop security
Hadoop security
 
[OpenInfra Days Korea 2018] (Track 4) - Grafana를 이용한 OpenStack 클라우드 성능 모니터링
[OpenInfra Days Korea 2018] (Track 4) - Grafana를 이용한 OpenStack 클라우드 성능 모니터링[OpenInfra Days Korea 2018] (Track 4) - Grafana를 이용한 OpenStack 클라우드 성능 모니터링
[OpenInfra Days Korea 2018] (Track 4) - Grafana를 이용한 OpenStack 클라우드 성능 모니터링
 

Similar to Osc4.x installation v1-upload

3.[d2 오픈세미나]분산시스템 개발 및 교훈 n base arc
3.[d2 오픈세미나]분산시스템 개발 및 교훈 n base arc3.[d2 오픈세미나]분산시스템 개발 및 교훈 n base arc
3.[d2 오픈세미나]분산시스템 개발 및 교훈 n base arcNAVER D2
 
오픈소스컨설팅 클러스터제안 V1.0
오픈소스컨설팅 클러스터제안 V1.0오픈소스컨설팅 클러스터제안 V1.0
오픈소스컨설팅 클러스터제안 V1.0sprdd
 
2node cluster
2node cluster2node cluster
2node clustersprdd
 
2node cluster
2node cluster2node cluster
2node clustersprdd
 
[오픈소스컨설팅] ARM & OpenStack Community
[오픈소스컨설팅] ARM & OpenStack Community[오픈소스컨설팅] ARM & OpenStack Community
[오픈소스컨설팅] ARM & OpenStack CommunityOpen Source Consulting
 
Oracle Unified Storage.pptx
Oracle Unified Storage.pptxOracle Unified Storage.pptx
Oracle Unified Storage.pptxJongMunLee4
 
쿠버네티스의 이해 #1
쿠버네티스의 이해 #1쿠버네티스의 이해 #1
쿠버네티스의 이해 #1상욱 송
 
MySQL Deep dive with FusionIO
MySQL Deep dive with FusionIOMySQL Deep dive with FusionIO
MySQL Deep dive with FusionIOI Goo Lee
 
제2회 난공불락 오픈소스 인프라 세미나 zinst 관리툴 소개
제2회 난공불락 오픈소스 인프라 세미나 zinst 관리툴 소개제2회 난공불락 오픈소스 인프라 세미나 zinst 관리툴 소개
제2회 난공불락 오픈소스 인프라 세미나 zinst 관리툴 소개Tommy Lee
 
Glusterfs 구성제안서 v1.0
Glusterfs 구성제안서 v1.0Glusterfs 구성제안서 v1.0
Glusterfs 구성제안서 v1.0sprdd
 
Glusterfs 구성제안 v1.0
Glusterfs 구성제안 v1.0Glusterfs 구성제안 v1.0
Glusterfs 구성제안 v1.0sprdd
 
Glusterfs 구성제안서 v1.0
Glusterfs 구성제안서 v1.0Glusterfs 구성제안서 v1.0
Glusterfs 구성제안서 v1.0sprdd
 
Oracle linux8 solaris_new_features-suk kim
Oracle linux8 solaris_new_features-suk kimOracle linux8 solaris_new_features-suk kim
Oracle linux8 solaris_new_features-suk kimsuk kim
 
[17.01.19] docker introduction (Korean Version)
[17.01.19] docker introduction (Korean Version)[17.01.19] docker introduction (Korean Version)
[17.01.19] docker introduction (Korean Version)Ildoo Kim
 
docker on GCE ( JIRA & Confluence ) - GDG Korea Cloud
docker on GCE ( JIRA & Confluence ) - GDG Korea Clouddocker on GCE ( JIRA & Confluence ) - GDG Korea Cloud
docker on GCE ( JIRA & Confluence ) - GDG Korea CloudJude Kim
 
Linux Performan tuning Part I
Linux Performan tuning Part ILinux Performan tuning Part I
Linux Performan tuning Part Isprdd
 
Openstack live migration
Openstack live migrationOpenstack live migration
Openstack live migrationymtech
 

Similar to Osc4.x installation v1-upload (20)

3.[d2 오픈세미나]분산시스템 개발 및 교훈 n base arc
3.[d2 오픈세미나]분산시스템 개발 및 교훈 n base arc3.[d2 오픈세미나]분산시스템 개발 및 교훈 n base arc
3.[d2 오픈세미나]분산시스템 개발 및 교훈 n base arc
 
오픈소스컨설팅 클러스터제안 V1.0
오픈소스컨설팅 클러스터제안 V1.0오픈소스컨설팅 클러스터제안 V1.0
오픈소스컨설팅 클러스터제안 V1.0
 
2node cluster
2node cluster2node cluster
2node cluster
 
2node cluster
2node cluster2node cluster
2node cluster
 
Mongodb cluster
Mongodb clusterMongodb cluster
Mongodb cluster
 
[오픈소스컨설팅] ARM & OpenStack Community
[오픈소스컨설팅] ARM & OpenStack Community[오픈소스컨설팅] ARM & OpenStack Community
[오픈소스컨설팅] ARM & OpenStack Community
 
Oracle Unified Storage.pptx
Oracle Unified Storage.pptxOracle Unified Storage.pptx
Oracle Unified Storage.pptx
 
쿠버네티스의 이해 #1
쿠버네티스의 이해 #1쿠버네티스의 이해 #1
쿠버네티스의 이해 #1
 
MySQL Deep dive with FusionIO
MySQL Deep dive with FusionIOMySQL Deep dive with FusionIO
MySQL Deep dive with FusionIO
 
제2회 난공불락 오픈소스 인프라 세미나 zinst 관리툴 소개
제2회 난공불락 오픈소스 인프라 세미나 zinst 관리툴 소개제2회 난공불락 오픈소스 인프라 세미나 zinst 관리툴 소개
제2회 난공불락 오픈소스 인프라 세미나 zinst 관리툴 소개
 
Glusterfs 구성제안서 v1.0
Glusterfs 구성제안서 v1.0Glusterfs 구성제안서 v1.0
Glusterfs 구성제안서 v1.0
 
Glusterfs 구성제안 v1.0
Glusterfs 구성제안 v1.0Glusterfs 구성제안 v1.0
Glusterfs 구성제안 v1.0
 
Glusterfs 구성제안서 v1.0
Glusterfs 구성제안서 v1.0Glusterfs 구성제안서 v1.0
Glusterfs 구성제안서 v1.0
 
Kubernetes
Kubernetes Kubernetes
Kubernetes
 
Oracle linux8 solaris_new_features-suk kim
Oracle linux8 solaris_new_features-suk kimOracle linux8 solaris_new_features-suk kim
Oracle linux8 solaris_new_features-suk kim
 
[17.01.19] docker introduction (Korean Version)
[17.01.19] docker introduction (Korean Version)[17.01.19] docker introduction (Korean Version)
[17.01.19] docker introduction (Korean Version)
 
docker on GCE ( JIRA & Confluence ) - GDG Korea Cloud
docker on GCE ( JIRA & Confluence ) - GDG Korea Clouddocker on GCE ( JIRA & Confluence ) - GDG Korea Cloud
docker on GCE ( JIRA & Confluence ) - GDG Korea Cloud
 
Linux Performan tuning Part I
Linux Performan tuning Part ILinux Performan tuning Part I
Linux Performan tuning Part I
 
Openstack live migration
Openstack live migrationOpenstack live migration
Openstack live migration
 
Oracle History #8
Oracle History #8Oracle History #8
Oracle History #8
 

Osc4.x installation v1-upload

  • 1. ㈜온고테크 / 기술지원2팀 정동화 / dhjung@ongo.co.kr
  • 2. 개요 및 설명 Oracle Solaris cluster
  • 3. 사전작업 • Cluster 개요 1. 개요 둘 이상의 시스템이나 노드가 지속적으로 사용 가능한 단일 시스템으로 동작하면서 사용자에게 응용 프로그램, 시스템 자원 및 데이터를 중단 없이 제공하는 것입니다. 클러스터에서 각 노드는 완전한 기능을 갖춘 독립형 시스템입니다. 2. 구성요소 1) Cluster node Cluste Software가 실행되는 Host 2) Interconnect H/B Cluster통신 감지/복구 및 헬스체크/데이터통신용 네트웍 3) Resouce Type 응용프로그램 설명 모음(응용프로그램에 대한 agent)이며, 해당 type에 있는 app는 시작/중지/모니터링을 제공 4) Resource group Failover의 단위 – 리소스들의 집합 5) Resource 정의된 Resouce type에 대한 인스턴스 개별 서비스.
  • 4. 사전작업 • Cluster Hardware Components 1. Cluster node local disk(unshared) 각 Cluster node의 OS영역어 설치된 local disk 2. Multihost Storage Failover 될 shared된 디스크영역 쿼럼 디바이스 포함 (DID로 관리) 3. Removal media CDrom / USB / TAPE Drive 4. Cluster interconnect interface H/B Cluster통신 감지/복구 및 헬스체크/데이터통신용 네트웍 DB서버의 경우 DB의 Cluster(CRS)의 interconnect용으로도 공용 사용 (cache fusion 용으로 메모리 내용을 공유 – Data전송) 5. Public network interface 서비스 네트웍크
  • 6. 사전작업 • Test Environment <그림> Test Environment 구성도 dong1 dong2 Shared virtual volume HeartBeat(Interconnect) net0 net1 net0 net1 Virtual Box • Oracle VirtualBox Environment • Virtual Network Port - 3 Port.(HOST Only Ethernet Adapter) • Vitrual Disk – shared disk 1GB fix 5EA, OS disk 30GB Dedicated net3 net4 (PUBipmp0) net3 net4 (PUBipmp0)
  • 7. 사전작업 • Full Repository Download Software download • http://www.oracle.com/technetwork/server- storage/solaris- cluster/downloads/index.html?ssSourceSiteId=ocomen • 위 경로 에서 Full repo를 다운로드 한다. • 4.x 버전으로 Soalris 11.x OS와 함께 호환성을 꼭 체크해야 한다. • Ex) Soalris11.3 이후 Oracle Solaris cluster 4.2SRU15이상 ~ OSC 4.3 이후 설치할것…. <그림> Soltware Download
  • 8. 사전작업 • Cluster SRU Download SRU Download • https://support.oracle.com의 patch * Updates항목에서 Cluster을 선택후 최신 SRU를 download한다. • 4.x 버전으로 Soalris 11.x OS와 함께 호환성을 꼭 체크해야 한다. • Ex) Soalris11.3 이후 Oracle Solaris cluster 4.2SRU15이상 ~ OSC 4.3 이후 설치할것…. <그림> MOS에서 최신 SRU Downlaod
  • 9. • Pkg 저장소 작업 Publisher 등록 • Solaris11은 lofiadm없이 위 절차대로 바로 iso가 마운트 가능하다. root@dong1:~# mkdir /screpo root@dong1:~# mkdir /screpo_SRU root@dong1:~# mount –F hsfs osc-4_2-repo-full.iso /screpo root@dong1:~# mount –F hsfs osc-4_2_2_2_0-repo-incr.iso /screpo_SRU Full Repo 및 SRU 이미지를 mount root@dong1:~#pkg set-publisher-gfile:///screpo/repo ha-cluster root@dong1:~#pkg set-publisher-gfile:///screpo_SRU/repo ha-cluster Publisher등록 사전작업 root@dong1:~#cat/etc/hosts #Copyright 2009SunMicrosystems, Inc. All rightsreserved. #Use is subjecttolicense terms. #Internethosttable ::1 localhost 127.0.0.1 localhost 192.168.56.10 dong1 dong1.loghost 192.168.56.20 dong2 /etc/hosts파일 등록
  • 10. Oracle Solaris cluster 4.2 Installation
  • 11. • Package 설치 Install • 기존 Cluster 3.3 버전과 달리 package설치후 Rebooting이 필요없으며, 자동으로 백업 BE가 생성이 된다 • Package publisher에서 SRU가 마운트가 안되어 있으면 해당 버전의 기본버젼으로 설치가 된다.. • 양쪽노드 모두 실행하도록 한다. • 수행호 양 노드에서 # clnode show-rev로 버전을 확인한다. root@dong1:~#pkg install--accept ha-cluster-framework-full Packagestoinstall: 35 Services tochange: 6 Createbootenvironment: No Createbackupbootenvironment:Yes DOWNLOAD PKGS FILES XFER (MB) SPEED Completed 35/35 6419/6419 47.5/47.5 0B/s PHASE ITEMS Installing new actions 8043/8043 Updating packagestatedatabase Done Updating packagecache 0/0 Updating imagestate Done Creating fastlookupdatabase Done Updating packagecache 2/2 Clsuter core package Installation
  • 12. • Package 설치 Install • 기존 Cluster 3.3 버전과 달리 package설치후 Rebooting이 필요없으며, 자동으로 백업 BE가 생성이 된다. • PATH등록 • # vi ~/.profile export PATH=${PATH}:/usr/cluster/bin root@dong1:~#pkginstallha-cluster-data-services-full Packagestoinstall: 29 Services tochange: 1 Createbootenvironment: No Createbackupbootenvironment:No DOWNLOAD PKGS FILES XFER (MB) SPEED Completed 29/29 720/720 9.8/9.8 0B/s PHASE ITEMS Installing new actions 1564/1564 Updating packagestatedatabase Done Updating packagecache 0/0 Updating imagestate Done Creatingfastlookupdatabase Done Updating packagecache 2/2 Clsuter Data-Service package Installation
  • 13. • # scinstall – master node • Master Node 먼저 # scinstall을 수행하여 기본 cluster환경을 만든다. – 아래 작업완료후 Rebooing수행 - 기존 Cluster 3.x와 동일하다.
  • 14. • # scinstall – Slave node • Master node의 scinstall작업완료 -> Rebooting후 Master Node가 Cluster mode로 부팅이 완료되면 slave node에서 수행한다
  • 15. • # clsetup • Slave node까지 Rebooting이 완료되면 cluster의 install mode로 부팅하게 된다. • 공유디스크에서 쿼럼 디바이스영역을 지정후 clsetup으로 추가하여 installmode를 해제하도록 한다.
  • 17. • Oracle Real Application Server • Oracle RAC 구성은 Oracle에서 CRS라는 clusterware가 모든 리소스를 관리 하기 때문에 solaris clulster에서는 Shared volume만 관리를 해주면 된다. 11g까지 12c에서는 raw devic가 지원되지 않으므로 ASM사용시에는 solaris cluster사용이 필요없다. • 아래는 Shared volume을 어떤식으로 구성하느냐에 따른 HW의 역할이다. • RAC의 Shared volume구성시는 총 3가지 방법이 있다. (Raw Device, shared filelsystem , ASM)  ASM(Automated Storage manager) – DBMS에서 ASM인스턴스가 스토리지 볼륨을 관리 • 실제 Shared Disk관리가 DB단에서 관리하므로 Oracle Solaris Cluster 필요없음. • ASM사용시에는 RAC용 Interconnect를 지정 – Interconnect Interface를 양 Node간의 동일한 IPMP이름으로 만들어 서로 통신이 가능한 상태로 만들어 준 다음 지정  Raw Device 사용 • 현재 Oracle DB단에서는 더 이상 지원하지 않는다. – 구성해서 사용하는것은 가능하지만 Oracle의 지원이 안됨. • 하여 Grid Infrastructure설치시에는 Raw Device구성부분이 없어서 OCR과 VOTE영역을 임시로 ASM으로 지정한다음, 설치완료후 Raw Device로 변경작업을 하게 된다. • 사용을 위해서는 Solaris Clsluter위에 SVM의 metaset을 이용하여 multi-owner set에서 Raw Device를 생성한다. • Solaris Cluster를 사용하기 때문에 RAC Interconnect는 clprivate0 Interface를 사용하도록 한다. - 일반적인 경우이며 RAC DB node간 Interconnect의 대역폭 향상 & MTU값 변경(9000)을 요할시에는 별도의 네트웍으로 구성한다.  Shared File System 사용(QFS & Veritas CFS(상용)) • 공유파일시스템은 Veritas CVM을 사용하는 것과 Oracle QFS(자동이중화 구성을 위해 Solaris Cluster 필요) • CVM사용시에는 RAC용 Interconnect를 지정 – Interconnect Interface를 양 Node간의 동일한 IPMP & aggr이름(반드시 양 node간 동일한 이름)으로 만들어 서로 통신이 가능한 상태로 만들어 준 다음 지정 – Veritas Cluter HeartBeat영역과 별도로 구성해야 한다. – VCS HeartBeat Line은 LLT Protocol로 mac통신을 하기 때문에 plumb(create-ip)가 되어 있지 않으니 주의..(#lltstat –nvv | more 로 확인후 별도 지정) • QFS사용시에는 QFS 파일시스템영역에 ORACLE binary설치를 지원하지 않는다. root@dong1:/oragrid/product/11gR2/bin#./oifcfggetif sc_ipmp0 192.168.56.0 global public clprivnet0 172.16.2.0 global cluster_interconnect Solaris cluster사용시 Oracle CRS interconnect
  • 18. • Oracle Real Application Server – QFS구성 • QFS구성시의 방법이다. 디스크 사이즈 정의 및 mm디바이스 mr디바이스 정의 디스크 path이중화 및 디스크 라벨링 Mcf파잀작성 Hosts파일 작성 Samfs.cmd파일 작성 excample 파일 복사 QFS package설치 mcf파일검증 및 데몬 스타트 Cluster 리소스그룹 등록 QFS파일시스템 작성 및 마운트 4 5 6 1 2 3
  • 19. • Oracle Real Application Server – QFS구성 • QFS구성시의 방법이다. # pkgadd –d . // SUNWqfsr , SUNWqfsu 2개의 package설치(레거시 pkg형식으로 되어 있음- 5.3) // 5.4이상 solaris11환경일경우 root@dong2:~/QFS/STK_SAM-QFS_5.4-02/solaris_x64/S11_ips/repo.samqfs# pkg install-g . --acceptSUNWsamfs SUNWsamqassy root@dong2:# /opt/SUNWsamfs/util/SAM-QFS-post-install // Ucb library 설치 # pkg installucb QFS package설치 # vi /etc/syslog.conf // 아래 라인추가 # SAM-QFS logging local7.debug/var/adm/sam-log root@solaris:~# touch/var/adm/sam-log // 설정파일에 대한 예제 파일이다 , 구성파일이 존재하는 곳으로 copy한다. # cp –rp /opt/SUNWsamfs/examples/etc/opt/SUNWsamfs/ excample 파일 복사 및 로깅설정 다음 페이지 참조 3가지 파일 – /etc/opt/SUNWsamfs/ 의 디렉토리 안에 /etc/opt/SUNWsamfs/ mcf 파일 /etc/opt/SUNWsamfs/ hosts.data-qfs 파일 /etc/opt/SUNWsamfs/ samfs.cmd 파일 구성파일 작성 1 2 3
  • 20. • Oracle Real Application Server – QFS구성 • QFS구성시의 방법이다. # File/etc/opt/SUNWsamfs/hosts.sfs1 # Host Host IPServerNotServer # Name AddressesPriorityUsedHost # --------------------------------------------------- dong1 clusternode1-priv 1 - server dong2 clusternode2-priv 2 – // Metadata가 통신할 네트웍 을 지정해 준다. Cluster노드로 구성이 되므로 Cluster의 HeartBeat으로 구성한다. Oracle Clsuter 의 clrprivate 인터페이스가 대표로 생성이 되는데 그 Network주소를 가지고 hosts파일에 등록한다. hosts.data1~3 fs = data1 forcedirectio mh_write qwrite stripe=1 // qfs를 마운트 할시의 옵션이다. /etc/vfstab의 mount option과 충돌하지 않는지 확인한다. /etc/vfstab 파일의 설정이 /etc/opt/SUNWsamfs/samfs.cmd 파일의 설정보다 우선한다. samfs.cmd
  • 21. • Oracle Real Application Server – QFS구성 • QFS구성시의 방법이다. data11000 ma data1on shared /dev/did/dsk/d3s0 1001mm data1on /dev/did/dsk/d4s0 1002mm data1on /dev/did/dsk/d3s1 1101mr data1on /dev/did/dsk/d4s1 1102mr data1on data22000 ma data2on shared /dev/did/dsk/d5s0 2001mm data2on /dev/did/dsk/d6s0 2002mm data2on /dev/did/dsk/d5s1 2101mr data2on /dev/did/dsk/d6s1 2102mr data2on data33000 ma data3on shared /dev/did/dsk/d7s0 3001mm data3on /dev/did/dsk/d8s0 3002mm data3on /dev/did/dsk/d7s1 3101mr data3on /dev/did/dsk/d8s1 3102mr data3on mcf파일 작성 구성한 모든 파일은 Cluster로 이루어진 양쪽 노드에 모두 동일하게 적용되어야 한다.양쪽노드 설정파일 동기화
  • 22. • Oracle Real Application Server – QFS구성 # sam-fsd // mcf파일을 검증한다. 맨윗줄에 Error가 나오니 유의해서 본다. // 양쪽노드 모두 실행한다. # samdconfig // 설정파일들을 읽어 들여 데몬을 start & refresh한다. // 양쪽노드 모두 실행한다. mcf파일검증 및 데몬 스타트 # sammkfs–S data1 // Master Node에서만 실행한다. // -S 옵션이 shared 옵션이다. // DB Block size와 맞추어야 할때는 DAU값도 조정한다. # sammkfs –S –a 8 data1 # vi /etc/vfstab data1 - /data samfs 3 no shared # mount /data1 QFS파일시스템 작성 및 마운트 # clrt registerSUNW.qfs // QFS Cluste Agent 를 등록한다. # clrgcreate-n dong1,dong2 qfs-rg # clrscreate-g qfs-rg -t SUNW.qfs -x QFSFilesystem=/data1,/data2,/data3 qfs-rs Cluster 등록 4 5 6
  • 23. • Oracle Real Application Server – QFS구성 root@dong1:~#scstat-g -- Resource Groups and Resources -- Group Name Resources ---------- --------- Resources: qfs-rg qfs-rs Resources: rac-framework-rg rac-framework-rs -- Resource Groups -- Group Name Node Name State Suspended ---------- --------- ----- --------- Group: qfs-rg dong1 Offline No Group: qfs-rg dong2 Online No Group: rac-framework-rg dong1 Online No Group: rac-framework-rg dong2 Online No -- Resources -- Resource Name Node Name State Status Message ------------- --------- ----- -------------- Resource: qfs-rs dong1 Offline Offline Resource: qfs-rs dong2 Online Online - Service is online. Resource: rac-framework-rs dong1 Online Online Resource: rac-framework-rs dong2 Online Online. scstat -g root@dong1:~#df -F samfs-h Filesystem Size Used Available Capacity Mounted on data1 1.9G 144M 1.7G 8% /data1 data2 1.9G 144M 1.7G 8% /data2 data3 1.9G 144M 1.7G 8% /data3 QFS mount
  • 24. • Oracle Real Application Server – Raw Device구성 • Raw Device 구성은 SVM(Solaris volume manager)의 SVM을 사용하는 방법이다. • Solaris11에서는 svm이 없으므로 package를 별도로 설치후에 metadb영역을 별도로 지정해주어야 한다. • Zfs volume을 만들어서 사용할경우에는 재부팅시 metadb영역이 없어 질수 있으므로 사용하여서는 안되며, 별도 디스크의 슬라이스영역에 지정하는 것을 권장한다. • Solaris cluster에서 Rac framework 등록 및 svm등록은 clsetup을 사용하도록 한다. • Metaset은 최대 32개가지 만들수 있으며, 기본 3개까지가 Cluster resouce의 timeout값(120초)으로 적당하다. • Metaset을 추가할시에는 TIMEOUT Value를 늘려줘야 한다. – # clrs set -p Svm_step2_timeout=600 vucmm_svm_rs Solaris Cluster 3.x Node/Server/System Panics With FailFast Ucmmd Died 30 Second Ago Message Resolution Path ( Doc ID 1021789.1 ) • 한 개의 metaset에 들어가는 disk수는 50개를 넘지 않는 것이 좋다. – 50EA까지가 mddb yes로 표기. – 넘어도 구성은 가능. # pkg install svmSvm package설치 # metaset –s rac-set –a –M dong1 dong2 # metaset –s rac-set –a –m dong1 dong2 # metaset –s rac-set –a /dev/did/dsk/d3 /dev/did/dsk/d4/dev/did/dsk/d5/dev/did/dsk/d6 # metainit –srac-setd1001 4 /dev/did/rdsk/d3s0/dev/did/rdsk/d4 s0 /dev/did/rdsk/d5s0/dev/did/rdsk/d6s0 Metaset구성
  • 25. • Oracle Real Application Server – Raw Device구성 Resouce 설명 사용 API(Data type) 비고 rac_framework RAC(Real Application Cluster)는 Active-Active 형태의 서비스이며, 클러스터 노드 모두 Online 으로 표시 SUNW.rac_framework RAC일때 사용.. rac_svm SUNW.rac_svm • Oracle RAC 서비스를 사용하기 위해 Cluster에 등록하는 API( Agent Program - RAW Device를 제공하기 위한 API이다.)
  • 26. • Oracle Real Application Server – Raw Device구성 • Solaris cluster에서 Rac framework 등록 및 svm등록은 clsetup을 사용하도록 한다.
  • 27. • Oracle Real Application Server – Raw Device구성 • Cluster구성이 완료되면 Raw Device map에 맞추어 raw device를 생성한다. • Raw Device 생성은 이름으로 생성이 가능하며 map에 맞추어 권한도 변경하여야한다. root@dong1:~#scstat-g -- Resource Groups and Resources -- Group Name Resources ---------- --------- Resources: rac-framework-rg rac-framework-rs Resources: vucmm_framework_rg vucmm_framework_rs vucmm_svm_rs -- Resource Groups -- Group Name Node Name State Suspended ---------- --------- ----- --------- Group: rac-framework-rg dong1 Online No Group: rac-framework-rg dong2 Online No Group: vucmm_framework_rg dong1 Online No Group: vucmm_framework_rg dong2 Online No -- Resources -- Resource Name Node Name State Status Message ------------- --------- ----- -------------- Resource: rac-framework-rs dong1 Online Online Resource: rac-framework-rs dong2 Online Online Resource: vucmm_framework_rs dong1 Online Online Resource: vucmm_framework_rs dong2 Online Online Resource: vucmm_svm_rs dong1 Online Online Resource: vucmm_svm_rs dong2 Online Online scstat -g
  • 28. • Oracle HA구성 - 정보수집 • HA서비스를 사용하기 위해 Cluster에 등록하는 API( Agent Program - Oracle DB, apache등등) • 빨간테두리 부분이 Oracle HA서비스를 위해 필요한 데이터 타입이다. Type 설명 Active/ Active 비고 SUNW.LogicalHostname:5 네트웍 IP addres에 대한 관리 agent X Logical Host (VIP를 관리 – Service 용 IP를 등록) 체계관리서버, 통신관리서버등 HA업무에 사용 SUNW.gds:6 Third-party app에 대한 start / stop을 직접 등록 하 여 사용할수 있는 agent X 개발 프로그램(일반적인 상용프로그램(OracleDB, apache등)외) 을 HA에 등록 SUNW.HAStoragePlus:11 Fileysstem & Zpool에 대한 관리 agent X 등록된 File system 전체를 export / import (umount / mount) oracle_server oracle_listener Oracle DB HA사용시 엔진 / 리스너 관리 agent X Oracle DB HA사용시 DB에 대한 Start / Stop / Monitoring을 제공 SUNW.rac_framework SUNW.rac_udlm(SKGXN로 대체) SUNW.rac_svm 오라클 RAC를위한 오라클 솔라리스 클러스터 지원을 가능하게하는 프레임 워크 O RAC 구성시 Multi-Owner Disk group을 지원 (Raw device사용시)
  • 29. • Oracle HA구성 – 계획 및 사전작업 • Oracle DB HA(Active / Standby)구성이다. • 설치순서는 아래와 같은 순서로 진행을 하게된다. root@dong1:~# clrt registerSUNW.oracle_server ->Oracle binary(Engine)에대한 Agent root@dong1:~# clrt registerSUNW.oracle_listener -> Oracle 리스너에 대한 Agent root@dong1:~# clrt registerSUNW.HAStoragePlus -> Filsystem및 zpool을HA하기위한 Agent Oracle HA를 위한 Agent 등록 Oracle DB Resouce Group생성 Oracle Service IP(logical Host)구성 및 ZFS 파일시스템 구성 Cluster에 등록Oracle DB 설치 root@dong1:~#clrgcreate-n dong1,dong2oraDB-rgResource group 생성 root@dong1:~# grep vip /etc/hosts 192.168.56.11 dong-vip -> DB에서사용할 ServiceIP(vip) root@dong1:~# clrslhcreate-g oraDB-rg-h dong-vip-N sc_ipmp0@dong1,sc_ipmp0@dong2ora-lh  Dong-vip-/etc/hosts에mappintg되어있는 vip,sc_ipmp0(해당호스트의 IPMPname) 서비스IP등록 (Logical Host) root@dong1:~# zpoolcreateoradatac1t11d0c1t12d0ctt13d0 root@dong1:~# zfsset recordsize=8k oradata root@dong1:~# clrscreate-g oraDB-rg-t SUNW.HAStoragePlus > -p Zpools=oradata-p AffinityOn=TRUEora-hastp-rs FileSystem 생성
  • 30. • Oracle HA구성 - 정보수집 • Oracle DB 설치 및 DB Create 작업이 완료되어 Instance가 구동이 되면 Cluster에 등록작업을 하게된다. • 등록시에는 Oracle DB에 대한 아래 테이블의 정보가 필요하다 Oracle Database 정보 Oracle SID dong Oracle Home /oracle/db/product/11gR2 Alert_log_file /oracle/db/diag/rdbms/dong/dong/alert_dong.log Connect_string hackeck/hackeck Network(VIP) dong-vip Listner Name LISTENER Data Filesystem oradata  Note • Oracle Binary(엔진)는 Shared영역에 설치될수도 있고, Local 영역에 설치될수도 있다 • Local영역에 설치될 경우 양쪽 노드의 같은 위치,같은이름으로 복사가 되어야 한다. • Connect_string은 Oracle DBMS의 기본계정인 scott/tiger는 보안상 사용하지 말고 별도 계정을 생성후에 등록하도록 한다. • Data Filesystem은 반드시 Shared Disk영역이며, Pool이름으로 등록한다.
  • 31. • Oracle HA구성 • 현재 실행중인 Oracle Instance를 종료후에 엔진과 리스너를 Cluster에 등록하도록 한다. • 등록후에 모든 Start / Stop 작업은 Cluster 명령어로 이루어진다. root@dong1:~#clrscreate-g oraDB-rg -t SUNW.oracle_server-p > ORACLE_HOME=/oracle/db/product/11gR2 -p ORACLE_SID=dong -p > Alert_log_file=/oracle/db/diag/rdbms/dong/dong/trace/alert_dong.log-p > Connect_string=hacheck/hacheck-p Resource_dependencies=ora-hastp-rsora-server-rs Oracle Engine등록 root@dong1:~#clrscreate-g oraDB-rg -t SUNW.oracle_listener-p > ORACLE_HOME=/oracle/db/product/11gR2 -p LISTENER_NAME=LISTENER-p > Resource_dependencies=ora-hastp-rsora-lsnr-rs Oracle 리스너 등록
  • 32. • Oracle HA구성 • Oracle Service IP와 filesystem이 Online중이므로, 등록후에는 자동 Start된다. root@dong1:~#scstat-g -- Resource Groups and Resources -- Group Name Resources ---------- --------- Resources: oraDB-rg ora-lh ora-hastp-rs ora-server-rs ora-lsnr-rs -- Resource Groups -- Group Name Node Name State Suspended ---------- --------- ----- --------- Group: oraDB-rg dong1 Online No Group: oraDB-rg dong2 Offline No -- Resources -- Resource Name Node Name State Status Message ------------- --------- ----- -------------- Resource: ora-lh dong1 Online Online - LogicalHostname online. Resource: ora-lh dong2 Offline Offline - LogicalHostname offline. Resource: ora-hastp-rs dong1 Online Online Resource: ora-hastp-rs dong2 Offline Offline Resource: ora-server-rs dong1 Online Online Resource: ora-server-rs dong2 Offline Offline Resource: ora-lsnr-rs dong1 Online Online Resource: ora-lsnr-rs dong2 Offline Offline Resouce group 상태
  • 33. • Oracle HA faolover test • 등록후에 모든 Start / Stop 작업은 Cluster 명령어로 이루어진다 • 수동으로 shutdown immediate 실행시에는 리소스속성 Retry_count값 만큼 재시작후 failover하게 된다. • 수동으로 start하여 failover가 되거나 process가 kill되어 failover된 이후 해당 node에서 /var/cluster/rgm/global/pingpong 안을 확인해야한다. root@dong1:~#clrgonlineoraDB-rgOracle Start root@dong1:~#clrgofflineoraDB-rgOracle Stop root@dong1:~#clrgofflineoraDB-rg root@dong1:~#clrsdisable+ root@dong1:~#clrgunmanageoraDB-rg 이외 별도 리소스그룹이 있을때에는 + 기호를 사용하지 않는다. Oracle unmanage root@dong1:~#clrgswitch–n dong2oraDB-rgOracle Failover
  • 34. • Oracle HA구성 • Oracle Service IP와 filesystem이 Online중(Resouce Group이 online)이므로, 등록후에는 자동 Start된다. root@dong2:~#scstat-g -- Resource Groups and Resources -- Group Name Resources ---------- --------- Resources: oraDB-rg ora-lh ora-hastp-rs ora-server-rs ora-lsnr-rs -- Resource Groups -- Group Name Node Name State Suspended ---------- --------- ----- --------- Group: oraDB-rg dong1 Offline No Group: oraDB-rg dong2 Online No -- Resources -- Resource Name Node Name State Status Message ------------- --------- ----- -------------- Resource: ora-lh dong1 Offline Offline - LogicalHostname offline. Resource: ora-lh dong2 Online Online - LogicalHostname online. Resource: ora-hastp-rs dong1 Offline Offline Resource: ora-hastp-rs dong2 Online Online Resource: ora-server-rs dong1 Offline Offline Resource: ora-server-rs dong2 Online Online Resource: ora-lsnr-rs dong1 Offline Offline Resource: ora-lsnr-rs dong2 Online Online Resouce group상태
  • 36. • Cluster SRU 확인 • Solaris cluster 4.2의 SRU를 Upgrade하는 방법이다. • 현재 버전을 체크한다. root@dong1:~/4.2#pkg info ha-cluster/system/core Name: ha-cluster/system/core Summary: Oracle Solaris Cluster software Description: Oracle Solaris Cluster software Category: System/HA Cluster State: Installed Publisher: ha-cluster Version: 4.2 (Oracle Solaris Cluster 4.2.2.1.0) Build Release: 5.11 Branch: 2.1.0 Packaging Date: October 23, 2014 04:11:28 PM Size: 65.50 MB FMRI: pkg://ha-cluster/ha-cluster/system/core@4.2,5.11-2.1.0:20141023T161128Z Cluster SRU확인 최신 SRU Download (5 Page참조) SRU iso image mount 및 Repo 등록 New BE부팅 및 확인 SRU Upgade 실행 및 rebooting
  • 37. • Cluster SRU 사전작업 • Download한 이미지를 마운트 한 다음 Repository등록을 한다. root@dong1:~/4.2#ls p20449347_420_Solaris86-64.zip root@dong1:~/4.2#unzip * Archive: p20449347_420_Solaris86-64.zip inflating: osc-4_2_3_3_0-repo-incr.iso inflating: readme_osc4.2.3.html inflating: readme_osc4.2.3.txt root@dong1:~/4.2#mount-F hsfs$PWD/*iso /mnt Cluster SRU 등록 root@dong1:~/4.2#pkg set-publisher-g file:///mnt/repoha-cluster root@dong1:~/4.2#pkg publisher PUBLISHER TYPE STATUS P LOCATION solaris origin online F file:///repoSolaris11/ ha-cluster origin online F file:///mnt/repo/ Cluster SRU 등록
  • 38. • Cluster SRU 실행 • 등록된 Repo를 사용하여 Cluster SRU Upgrade를 실행한다. • -b 옵션을 사용하여 현재 새로운 BE를 생성하여 업데이트한다. – 재부팅 후에는 Active BE가 변경될 것이다. root@dong1:~/4.2#scinstall -u update -b cluster-1 -L accept Calling "scinstall -u preupgrade" Retrieving catalog 'solaris' ... Done Retrieving catalog 'ha-cluster' ... Done Caching catalogs ... Done Startup: Refreshing catalog 'solaris' ... Done Startup: Refreshing catalog 'ha-cluster' ... Done Startup: Checking that pkg(5) is up to date ... Done Done ------------------------------------------------- NOTE: Please review release notes posted at: https://support.oracle.com/rs?type=doc&id=1672221.1 ---------------------------------------------------- done Calling "scinstall -u postupgrade" Restored /.alt.cluster-1/etc/cluster/ccr.upgrade to /.alt.cluster-1/etc/cluster/ccr Log file - /.alt.cluster-1/var/cluster/logs/install/scinstall.upgrade.log.2848 scinstall: A clone of cluster exists and has been updated and activated. On the next boot, the Boot Environment cluster-1 will be mounted on "/". Reboot when ready to switch to this updated BE. Log file - /var/cluster/logs/install/scinstall.upgrade.log.2448 Cluster SRU Upgrade실행 root@dong1:~/4.2#beadmlist BE ActiveMountpoint Space Policy Created -- --------------------- ------------- cluster N / 32.95M static 2015-03-29 09:10 cluster-1 R - 12.08G static 2015-05-10 23:08 cluster-backup-1 - - 33.02M static2015-03-29 10:20 single - - 85.31M static 2015-03-29 08:51 root@dong1:~/4.2#init6 부트환경(BE)확인
  • 39. • Cluster SRU 확인 • Solaris cluster 4.2의 Upgrade된 SRU버젼을 확인한다. root@dong1:~#pkg info system/core Name: ha-cluster/system/core Summary: Oracle Solaris Cluster software Description: Oracle Solaris Cluster software Category: System/HA Cluster State: Installed Publisher: ha-cluster Version: 4.2 (Oracle Solaris Cluster 4.2.3.3.0) Build Release: 5.11 Branch: 3.3.0 Packaging Date: March 2, 2015 04:37:20 PM Size: 65.52 MB FMRI: pkg://ha-cluster/ha-cluster/system/core@4.2,5.11-3.3.0:20150302T163720Z Cluster SRU확인  Note • 일반적으로 Cluster명령어로 update하는 방법이다. • Publisher solaris + ha cluster 모두 publisher등록후 (pkg update)로도 update를 할수 있다
  • 41. • Cluster 운용 명령어 명령어 설명 Example # scstat & # cluster status 전체 Cluster 상태 정보 표시 Next page 설명 # clrg status & scstat -g Resouce group 상태 정보 표시 Next page 설명 # clrg offline “그룹명” 해당 Resouce group down – IP 및 파일시스템 umount, app down. # clrg offline DB-rg # clrg online “그룹명” 해당 Resouce group start – IP 및 파일시스템 mount, app start. # clrg online DB-rg # clrs disable “리소스명“ 해당 Resouce(IP or filesytem or app) 만 down # clrs disable app-rs # clrg unmanage “그룹명” 해당 Resouce group을 관리 하지않음 / 서버 기동시 자동 Start되 지 않음 모든 Resouce 가 disable 되어 있어야 함. # clrg unmanage APP-rg # clrg switch –n “hostname” “그룹 명” -n 뒤의 host로 해당 Resouce group을 failover함. // dong2로 서비스 전환 # clrg switch –n dong2 APP-rg # scshutdown –y –g0 전체 클러스터 시스템 shutdown( OS + cluster ) * 사용주의 한 노드만 종료시에는 일반적인 # init 5 를 사용.. # scshutdown –y –g0
  • 42. • Cluster 운용 명령어 – 점검 – scstat & cluster status