728x90

https://blog.1028web.com/entry/virtualbox  에 연결된글입니다. 

 

[1028 virtualbox] 버추얼박스와 네트워크 _ NAT, 라우터, 게이트웨이

1. VirtualBox-6.1.22-144080-Win.exe 설치 2. 파일> 환경설정> 네트워크 > NAT 네트워크 추가. 더보기 네트워크 이름 : NatNetwork 네트워크 CIDR(C) :10.0.2.0/24 네트워크 옵션: DHCP지원 3. 호스트전용네트워..

blog.1028web.com

1. CentOS 7 부팅시 콘솔모드로 변환 Application > System Tools > Terminal
$systemctl get-default
$systemctl set-default multi-user.target
$reboot
2. 이더넷 설정
고정IP 네트워크 설정. 
nmcli (NetworkManager Command Line Interface)
$nmcli d(evice)
ifcfg-enp0s3파일생성.
$vi /etc/sysconfig/network-scripts/ifcfg-enp0s3
수정
#BOOTPROTO="dhcp"

추가
BOOTPROTO=static                       ##고정아이피
IPADDR=192.168.56.101
NETMASK=255.255.255.0
GATEWAY=192.168.0.1
HWADDR=08:00:27:E3:CB:07          ##어댑터 2 맥주소. 


DNS1=192.168.56.1
DNS1=192.168.56.2

systemctl restart network 
ifconfig enp0s3

https://www.manualfactory.net/10004
3. /etc/udev/rules.d/70-persistent-net.rules  주석저리  삭제 혹은 주석처리. 
4, ssh접속. 위한설정 $yum install opens.sh*
$service sshd restart
$chkconfig sshd on      # 서버 부팅마다 실행설정
$reboot
리부트후
$systemctl restart network
5. host 설정 /etc/sysconfig/network
HOSTNAME=server01.hadoop.com
$systemctl restart network 
$hostname
6. 환경변수 설정.  상기.링크 복제 항목에 동일하게 있음. 
7. 가상머신 복제  Server01 가상서버 종료. 
우클릭 복제. 
Server02 변경, 완전한복제. 
상기 2~5번사항 수정. 
8. 쁘띠 셋팅  
빅데이터 인프라 설치 및 구성 VM을 미리 만들어 제공하기도함. 
인프라환경
Puppet 
Ansible
Chef

Ambari                : 호트노스 진영
Cloudera Manager : 클라우데라 진영  >>CM
BigTop
Cloudera Manager(CM)  수집 : 플럼,카프카, 스톰&에스퍼
적재: 하둡 HBase 레디스
처리/탐색: 하둡, 휴, 하이브 스파크, 우지, 스쿱
분석/응용 : 임팔라/제플린/머하웃. 

공통: 클라우데라 메니저: 상기 소프트웨어 설치& 관리& 모니터링

주요 기능
1. 프로비저닝 : 하둡에코시스템 편리하게 설치, 삭제, 수정관리
2. 매니지먼트 : 설치한 에코시스템의 설정 변경 및 최적화 지원
3. 모니터링 : 하드웨어의 리소스 및 설치 컴포넌트 상태의 모니터링/대시보드
클라우데라 메니저 설치 1. 파일받기
cd /root
wget https://archive.cloudera.com/cm6/6.3.1/redhat6/yum/cloudera-manager.repo
yum 레포지토리 경로 이동 
mv /root/cloudera-manager.repo .repo /etc/yum.repos.d/
2. CM데몬과 서버설치 , jdk1.8 설치
yum install oracle-j2sdk1.8
yum install cloudera-manager-daemons cloudera-manager-server
3. CM 내부 사용 DB 설치. PostgreSQL서치 서비스 시작
pg_hba.cof 파일 수정. .. 원격접속가능하도록. 
yum install cloudera-manager-server-db-2
service cloudera-scm-server-db start

vi /var/lib/cloudera-scm-server-db/data/pg_hba.conf
reject -> md5
host all all 0.0.0.0/0 trust  추가
클라우데라DB 리스타트
4. CM서버 시작상태확인. 
5. 파일럿 pc host 파일 -도메인서버 맵핑. 
6. 크롬브라우저로 구동 확인 로그인. 
하둡 배포판 클라우데라사 CDH, 호튼웍스사의 HDP
자체 배포판을 만듬. 

  http://server01.hadoop.com:7180/
admin/admin
계속버튼 > 하단 Cloudera Express 선택
>계속버튼 > 클러스터이름 :Cluster1
>계속버튼 > 현재관리되고 있는 호스트 탭.  서버 두개 선택 계속

가상머신 환경구성- 네트워크 설정  

 

inittab - 5-> 3하려고 하는데 위치가 변경됨. 

더보기

로그인후 x윈도화면이아니라 바꾸러 왔더니 ... 이니텝 안쓴다고...;;;;

multi-user.target

환경변수

더보기

 

SELINUX=disabled .. 수정.. 방화벽이 꺼져있어야 분산환경 정상작동. 

iptable,

ip6table,

swappiness=100 #메모리 스왑. .. 적극적으로 사용해야함. 

컴파일 설정. 

echo never > /sys/kernel/mm/transparent_hugepage/enable

echo never > /sys/kernel/mm/transparent_hugepage/defrag

 

 

  1. 익명 2022.06.21 07:53

    비밀댓글입니다

    • IM1028 2022.06.21 11:50 신고

      좋은 답을 드리고 싶었는데.ㅜㅜ 인프런에서 들었던 15일간의 빅데이터 파일럿 프로젝트 강의가 만료되었네요. 어렴풋한 기억에는 이전버전으로 설치했던걸로 기억합니다. ㅜㅜ

+ Recent posts