클라우드 컴퓨팅 서버 운영관리 교육을 다녀왔다.
거의 B Server를 많이 다루어서 솔직히 그렇게 많이 공감가지는 않았지만
그래도 배울 수 있는 점들은 있었다.
1. C Server 펌웨어 방법 명시 (반드시 숙지할것)
2. 내가 몰랐던 네트워크 지식을 조금 알 수 있었던 기회
네트워크에 기반 지식이 있는 사람이 들어야 좋은 교육일듯...
하지만 그래도 교육을 다녀왔으니.. 교육을 하면서 내가 이해한 부분및 중요 부분을 나름 정리하겠다.
===================================================================================================
** UCS
Unified fabric 의 구분 기능 (Fabric : 네트워크)
- FCoE 기능
- FEX 기능
** Server 가상화 구현
- CPU
- Memory
- NIC (Network)
- DISK (Storage, HBA)
** Blade Server 구성 및 FI 설명
- FI (Fabric Interconnect)
- Blade Server의 샤시에서 각 1개의 Server가 IOM에 연결될 경우 Adapter FEX 기능을 사용한다고
할 수 있다. (S/W FEX)
- C Server에서 여러개의 가상 VM Host에 맞추어 VIC를 나누는 Adapter FEX 기능을 사용한다.
- Nexus 를 상단 Node에 놓았다는 것은 H/W FEX기능을 사용하기 위한것도 있다.
** Adapter FEX의 용의점
1. 관리적 측면 - 서버나 Switch Node들을 Nexus 5K에서 통합관리 할 수 있다.
2. 기능적 측면 - 가상화의 Switch도 물리적 측면으로 모두 가능하다.
3. 성능 측면 - 1개의 Server안에 있는 VM Host들이 서로간 통신을 할 경우 Nexus5K까지 그 데이터 들어
와서 및으로 내리는 형식이므로 Server 리소스를 작게 할 수 있는 이점
- 즉 Nexus 5K까지 데이터가 올라가서 처리하기 때문에 서버에 리소스를 줄일 수 있다.
** CNA란
- 이더넷 + HBA 포트를 쓸수있는 기능
- VIC Adapter : CNA의 일종이지만 가상 이터페이스를 추가할 수 있는 기능 (FEX 기능 추가 됨)
- CNA 기능의 Server로 부터 들어온 데이터는 Nexus 5K로 들어간다 (그 사이는 당연히 10G의 대역폭)
- LAN 이더넷 환경으로 들어가는 Data + HBA의 SAN 영역으로 나가는 데이터 모두 CNA기능에 의해
통합되어 Nexus 5K로 전달 됨
- 이더넷 데이터와 SAN 데이터를 구분하기 위하여 vlan 기술을 사용
- vLan 대역이 다른 데이터를 모두 수용해야 하기 때문에 Nexus 5K 와는 Trunk로 구성이 되어야 한다.
- Nexus 5K는 eth Port, FC port 모두 동작 할 수 있다.
- 해당 데이터가 eth 데이터인지 , FC 데이터인지를 구분하기 위하여 vlan 사용
- eth데이터 + fc 데이터 모두 이더넷 망을 통해서 전송된다.
## Eth Data와 FC Data가 1개의 이더넷 망으로 전송이 되어 진다고 하는데 서로간의 간섭이 발생하지 않는가???????????????????????
FC Data는 Storage와 연동되기 때문에 Delay 방지를 반드시 해야한게 아닌가???????????????
- CIMC에서는 이런 일을 방지하기 위하여 설정하는 부분이 있다.
- FIP Mode / LLDP Mode를 모두 설정해야 한다. (CIMC vNIC 설정부분에서 설정)
- 데이터 센터 브릿지 기능 : FC 데이터는 대역폭을 일정하게 유지한다.)
-> 스위치 설정값 --> 서버로 전송
-> 스위치 설정값과 서버의 설정값이 틀린경우 서로 자동 네고 함
-> 데이터 센터 브릿지 기능을 사용하기 위하여 LLDP 프로토콜을 사용 함
- FIP Mode : CNA가 목적지 Vlan 및 목적지 MAC 주소를 다이나믹하게 얻어오기 위한 기능이다.
- C Server인 경우 vHBA에 Default Vlan을 지정해야 한다.
** Nexus 5K 구성
- 위 그림과 아래 그림은 모두 동일한 형태임
- Nexus 5k 는 eth Switch 에서 Server의 eth데이터와 FC 데이터를 모두 받는다
- Nexus 5k 내부의 가상화 기능 vfs (HBS의 Port를 가상으로 만든 개념) 을 이용하여 FC 데이터를 SAN
영역으로 보낼 수 있다.
** CIMC vNIC, vHBA 설정 VN-Tag
- Nexus 5K에서 여러개의 Adapter중 어느 포트로 들어오는지 Tag를 붙여서 넘어온다.
- CIMC에서 VN-Tag 기능을 활성화 해야 FEX가 동작한다.
- Encap : 이더넷 프래임 형태로 나간다는 의미
- CE : 클래식 이더넷
** FI Port 구분
- FI 에서 상단 Nexus 5K로 연결되는 Port : Uplink Port
- FI 에서 하단 Host로 연결되는 Port : downlink Port, Server port, Host port라고 명칭
** FEX 2중화
- FEX는 스위치가 아닌 단순 허브 기능만을 수행
- 2중화 구현시 FEX는 허브이기 때문에 Parent에 양팔벌려 구현 할 수 없다.
- Nexus 5K 의 VPC 기능을 구현하여 서로 2중화를 실시한다.
-> VPC : 2대로 이루어진 Parent 가 마치 1장비처럼 보이게 연결 동작
** C-Server Firmware
- HUU ISO : CIMC, BIOS, Adapter, LOB, Cisco VIC Firmware 가능
- Adapter Firmware ISO : HUU에서 지원하지 않는 각종 기타 Firmware를 지정 함
- Cisco 홈페이지에서 다운로드 가능
-> Unified Computing and Servers - Cisco UCS C-Series Rack Mount Standalone Server Software
에서 다운로드 함
- CIMC KVM 콘솔에 다운로드 한 ISO를 맵핑시킴
- UCS 서버 리부팅 - 부팅순서를 맵핑한 곳으로 지정
- UCS 일순간 부팅순서를 변경하는 방법은 부팅중 F6번 눌러서 Boot Order 순서를 변경
- Cisco vKVM-Mapped vXXX : KVM consol을 이용하여 ISO 이미지를 맵핑했을 경우 여기 선택
- Cisco CIMC-Mapped vXXX : CIMC를 이용하여 Web화면에서 FTP등을 이용하여 맵핑시켰을 경우 선택
** FI
- 6100, 6200, 6300 시리즈가 존재 함
- 6100 : 기본 장착 Port는 Eth Port
-> FC 기능을 사용할 경우 FC 모듈을 사야만 했음
- 6300 : port가 모두 Eth / FC Mode를 지원
** discovery 과정
- FI가 IOM을 인식하는 과정
- 2 승수로 연결할 수 있다.
** IOM 2중화
- IOM은 H/W적인 FEX기능을 하는거고 FEX는 단순 허브이기 때문에 2중화 못한다고 했음
- IOM이 들어있으니 당연히 B-Server 겠지..
- Eth 설정에서 Failover를 체크하여 자동으로 2중화 구현을 하도록 구성
- Adapter는 2개의 Port로 구성이 되어있고 그 안에는 Channel로 묶여 가상화를 지원하지
- IOMA는 단순 FI A 에게 데이터만 전달하는 놈이지
- FI A가 죽거나 링크가 끊어지면 IOM이 아닌 Eth Adapter 쪽에서 Failover 기능을 수행해야 한는거임
** FI 내부구조는 eth SW / FC SW 의 Switch 모드
1. End-host Mode (Default) - 권장사항
- 2개 모듈이 각각 스위칭을 안함
- FI위에 있는 Node가 FI를 일반 Host처럼 보이게 만드는 것 (그림 표시)
2. Switch Mode
- 2개 모듈이 스위치 하는 모드
** FI에서 각 현상에 맞게 어떤 Port 가 있는지 확인
1. Appliance Port
- LAN 형태의 3rd party 장비에 대한 정책 (bandwith 등등)을 설정
- End-host Mode 적용
2. FCoE Storage Port
- FCoE로 바로 연결되어 Storage로 Data를 바로 보낼 경우
- 이때 만큼은 Switch Mode로 변경 해야 함
** FI 구성별 정의
1. FI Uplink Port 구성 : Trunk 설정
- FI 윗 Node가 L2 Switch 인 경우에는 Trunk를 설정해도 L2에서 생성한 vLan정보를 FI도
알도록 설정한다. (Nexus 5K인 경우에는 자동 적용시킬수 있으니깐 )
2. FI 는 Uplink Port는 End-Host Mode로 변경한다.
FI Downlink Port 는 Switch가 가능해야 한다.
하지만 분명 권장사항은 End-Host라고 하지 않았던가...
Downlink에서는 Switch 기능이 되어야 한다니..
그래서 나온기술이 Pinning 기술이며 이것을 사용하여 Server port 통신을 할 수 있다.
** Pinning
- Server의 Ports를 Uplink Ports와 맵핑을 시켜주어 마치 스위치처럼 스위칭 할 수 있도록 구현한 기능
- Auto Pinning (권장사항), static Pinning 있음
- Auto Pinning (권장사항)
-> FI에서 자동으로 맵핑을 시켜주며 사용하던 Uplink가 끊어지거나 오류가 발생시 FailOver가 이루어짐
- static Pinning
-> 운영자가 직접 맵핑을 시켜줌
-> Uplink 장애시 Failover를 수행할 수 없음
-> Server Adapter 단에서 FiilOver 설정을 실시하여 2중화 구현을 실시 해야 함
** B-Server와 스토리지 구성
**LAN : 이더넷 , IP (IP는 망을 확장하네..)
**SAN 영역 이란 ?
- FC Port type (LAN 영역에 없는 type)
- FC Port 란 ??
1. N : node가 가지고 있는 LAN 포트 (FCID를 요청함)
2. F : node를 망에 연결 (FCID를 할당하는 포트)
3. E : 망을 확장시켜주는 포트
- WWN (MAC과 비슷한 개념)
WWNN : 노드 Name
WWPN : 포트 Name (노드안에 포트 2개 포함)
- FCID (IP와 비슷한 개념)
-> IP처럼 어느 망에 있는지 찾음
-> 3Byte로 이루어져 있음
-> 1Byte : Domain (어느 스위치 인가) / 2Byte : Area (00) / 3Byte : port (몇번 포트인가)
- VLAN 처럼 VSAN으로 영역을 나눌 수 있다
- ZONE 이 존재
-> A 서버는 1번 DB만 통신하도록 설정
-> WWN을 기준으로 설정할 수 있다.
-> 접근영역을 표시한다 (제한을 둬서 A만 1번 DB에 접속할 수 있도록 한다)
-> 서로 접근 가능한 부분만 연결한다.
- FC Switch에서 Zonning, VSAN을 제공한다.
- 서로다른 OS가 1개의 Storage를 접속을 할 경우
-> LUN Masking(서로다른 OS)를 사용할 경우
-> 서로다른 Storage Type별 LUN을 할당 한다.
** 그렇다면 여기서 문제...
여러개의 VM Host를 관리하는 FI가 있다고 치자 그럼 그 여러대의 Host들의 vHBA가 FCID를 요청을 하면
1대의 FI는 SAN 망을 통해서 Storage로부터 받아야 한다.
하지만 FI가 End Host Mode이기 때문에 FI 위에 있는 Node는 Host 1대로 인식하게 된다.
그럼 실상 요청은 FI 및의 Server 들이 요청을 했는데 FCID를 어떻게 여러개를 받아올 수 있을까??
그래서 나온 기술이 NPV, NPIV
** NPV (node Proxy virtual ?) Port 여러개인 Host인것처럼 하는 기술
** NPIV : 여러개의 Host FCID요청을 가상화하여 전달
** Storage 가 적고 서버가 여러대일 경우 FC Switch Mode로 FI를 구성하는게 효율적
FC Switching Mode
1. FC Storage Port
2. FCoE Storage Port
3. FCoE Uplink Port
** UCS B 설정단계
1. H/W 설계 (FI / IOM / Adapter)
2. 초기 설정 (Cluster -> VIP)
3. Port Type 결정
- Eth Port
- FC Port
4. FEX 연결 (discorvery 과정) (IOM, FEX , 단독서버 연결)
1) Discorvery Policy
- 서버에 적용되는 정책이 아닌 Global 정책
- IOM을 몇 회선으로 구성하는 것인지 정책을 결정
- FEX Discovery 위한 최소 Link 수 결정
- Port Channel 여부 결정
2) Port Role 설정
- FI에서 Uplink Port, Server Port가 무엇인지 정의한다.
5. LAN 연결 구성
1) Port Role 결정
- Uplink (Trunk 설정)
- Uplink Port Channel 구성
2) VLAN 설정
6. SAN 연결 구성
1) VSAN 설정
- FCoE VLAN 지정
2) FC Port에 VSAN 할당
7. Service Profile 작성 (서버를 연결하고 제어하기 위한 정책) 및 적용
** Service Profile
1. Service Profile : Server가 100개면 Service Profile도 100개가 된다.
- Simple(Basic) mode
-> 물리적인 Adpater를 쓰는 서버에만 적용함
- expert mode
-> 가상화 환경에서 일반적으로 권장하는 mode
2. Service Profile Templete
- initiage Templete
- Update Templete
======================================================================================================
더이상 정리 못하겠다... 빡시네..
솔직히 10%도 이해를 못하는 부분도 너무 많다. ㅠㅜ
6_교육자료_160311.zipNexus 5k configure 정보 및 문서를 올린다.
'Cisco > CIMC UCS Server vmware' 카테고리의 다른 글
| CIMC / Esxi Default Password (0) | 2019.08.05 |
|---|---|
| [VMwere] Vmotion 관련 사항 (0) | 2015.12.18 |
| firefox에서 UCS Server 접속이 안될경우 (0) | 2015.12.16 |