MooseFS是一種Linux下的開源半分布式文件系統(tǒng),以下簡(jiǎn)稱為MFS。目前許多企業(yè)都在使用它。它之所以使用如此廣泛是因?yàn)橛腥缦聝?yōu)點(diǎn):
安裝和配置簡(jiǎn)單方便
可靠性高(數(shù)據(jù)的多個(gè)拷貝被存儲(chǔ)在多個(gè)不同的服務(wù)器上)
通過添加新的服務(wù)器或硬盤就可以實(shí)現(xiàn)容量的動(dòng)態(tài)擴(kuò)展
刪除的數(shù)據(jù)可在一定時(shí)間內(nèi)保留(類似windows里面的回收站機(jī)制,數(shù)據(jù)保留時(shí)間需要配置)
以上優(yōu)點(diǎn)不難看出,MFS雖然是開源的,但是它功能上不遜色于專業(yè)的存儲(chǔ)系統(tǒng)。下面我們來具體學(xué)習(xí)安裝和配置MFS。
MFS文件系統(tǒng)結(jié)構(gòu)
整個(gè)文件系統(tǒng)包括如下幾個(gè)角色:
管理服務(wù)器-MasterServer
元數(shù)據(jù)日志服務(wù)器-MetaloggerServer
數(shù)據(jù)存儲(chǔ)服務(wù)器-ChunkServer
客戶端-Client
每個(gè)角色的作用如下:
1、管理服務(wù)器,負(fù)責(zé)各個(gè)數(shù)據(jù)存儲(chǔ)服務(wù)器的管理,文件讀寫調(diào)度,文件空間回收以及恢復(fù)多節(jié)點(diǎn)拷貝。
2、元數(shù)據(jù)日志服務(wù)器,負(fù)責(zé)備份master服務(wù)器的變化日志文件,文件類型為changelog_ml.*.mfs,以便于在master server出問題的時(shí)候接替其進(jìn)行工作。
3、數(shù)據(jù)存儲(chǔ)服務(wù)器,負(fù)責(zé)連接管理服務(wù)器,聽從管理服務(wù)器調(diào)度,提供存儲(chǔ)空間,并為客戶提供數(shù)據(jù)傳輸。
4、客戶端,通過fuse內(nèi)核接口掛接遠(yuǎn)程管理服務(wù)器上所管理的數(shù)據(jù)存儲(chǔ)服務(wù)器,看起來共享的文件系統(tǒng)和本地unix文件系統(tǒng)使用一樣的效果。
準(zhǔn)備工作
準(zhǔn)備服務(wù)器:
OS: Centos 5.8 x86_64
管理服務(wù)器:192.168.0.201
元數(shù)據(jù)日志服務(wù)器:192.168.0.202
數(shù)據(jù)存儲(chǔ)服務(wù)器:192.168.0.203
數(shù)據(jù)存儲(chǔ)服務(wù)器:192.168.0.204
客戶端:192.168.0.205
下載安裝包:
wgethttp://pro.hit.gemius.pl/hitredir/id=p4CVHPOzkVa0JJIK.m0Ee6dyHZEgoQb1KaiPmVK29EX.M7/url=
moosefs.org/tl_files/mfscode/mfs-1.6.26.tar.gz
添加相關(guān)用戶與用戶組:
groupaddmfs
useradd-gmfsmfs-s /sbin/nologin
編譯安裝MFS
整個(gè)MFS安裝很簡(jiǎn)單,只有如下幾步。
tarzxvfmfs-1.6.26.tar.gz
cdmfs-1.6.26
./configure--prefix=/usr/local/mfs--with-default-user=mfs--with-default-group=mfs
make
makeinstall
注意客戶端部分在安裝之前,需要查看是否安裝了fuse。沒有安裝請(qǐng)執(zhí)行如下部分:
yuminstallfuse
yuminstallfuse-devel
配置使用
管理服務(wù)器(192.168.0.201):
mfsmaster.cfg的配置
cd/usr/local/mfs/etc
cpmfsmaster.cfg.distmfsmaster.cfg
vim mfsmaster.cfg
mfsmaster.cfg文件內(nèi)容如下,
帶#號(hào)的均為默認(rèn)配置,不帶#號(hào)的需手工配置。
#WORKING_USER=mfs運(yùn)行mfsmaster的用戶
#WORKING_GROUP=mfs運(yùn)行mfsmaster的組
#SYSLOG_IDENT=mfsmaster是MasterServer在syslog中的標(biāo)識(shí)
#LOCK_MEMORY=0是否執(zhí)行mlockall()以避免mfsmaster進(jìn)程溢出
#NICE_LEVEL=-19運(yùn)行的優(yōu)先級(jí)
#EXPORTS_FILENAME=/usr/local/mfs/etc/mfsexports.cfg被掛接目錄及其權(quán)限控制文件的存放路徑
#TOPOLOGY_FILENAME=/usr/local/mfs/etc/mfstopology.cfg
#DATA_PATH=/usr/local/mfs/var/mfs數(shù)據(jù)存放路徑,存放了三類文件,changelog、sessions、stats
#BACK_LOGS=50元數(shù)據(jù)的改變?nèi)罩疚募?shù)量
#BACK_META_KEEP_PREVIOUS=1
#REPLICATIONS_DELAY_INIT=300延遲復(fù)制時(shí)間
#REPLICATIONS_DELAY_DISCONNECT=3600ChunkServer斷開復(fù)制的延時(shí)
#MATOML_LISTEN_HOST=*元數(shù)據(jù)日志服務(wù)器監(jiān)聽的IP地址
#MATOML_LISTEN_PORT=9419元數(shù)據(jù)日志服務(wù)器監(jiān)聽的端口地址
#MATOCS_LISTEN_HOST=*用于ChunkServer連接的IP地址
#MATOCS_LISTEN_PORT=9420用于ChunkServer連接的端口地址
#MATOCL_LISTEN_HOST=*用于客戶端掛接連接的IP地址
#MATOCL_LISTEN_PORT=9421用于客戶端掛接連接的端口地址
#CHUNKS_LOOP_CPS=100000
#CHUNKS_LOOP_TIME=300chunks的回環(huán)頻率
#CHUNKS_SOFT_DEL_LIMIT=10
#CHUNKS_HARD_DEL_LIMIT=25
#CHUNKS_WRITE_REP_LIMIT=2在一個(gè)循環(huán)里復(fù)制到一個(gè)ChunkServer的最大chunks數(shù)目
#CHUNKS_READ_REP_LIMIT=10在一個(gè)循環(huán)里從一個(gè)ChunkServer中復(fù)制的最大chunks數(shù)目
#REJECT_OLD_CLIENTS=0彈出低版本的客戶端掛接
#deprecated:
#CHUNKS_DEL_LIMIT-useCHUNKS_SOFT_DEL_LIMITinstead
#LOCK_FILE-locksystemhasbeenchanged,andthisoptionisusedonlyto
searchforoldlockfile
mfsmaster.cfg的配置
cd/usr/local/mfs/etc
cpmfsmaster.cfg.distmfsmaster.cfg
vimmfsmaster.cfg
mfsmaster.cfg文件的內(nèi)容如下:
該配置文件中每個(gè)條目分為三部分,客戶端IP地址、掛接的目錄、客戶端擁有的權(quán)限。默認(rèn)帶#號(hào)的配置是不生效的。
*/rw,alldirs,maproot=0
#192.168.1.0/24/rw,alldirs,maproot=0,password=passcode
#10.0.0.0-10.0.0.5/testrw,maproot=nobody,password=test
#10.1.0.0/255.255.0.0/publicrw,mapall=1000:1000
#10.2.0.0/16/rw,alldirs,maproot=0,mintrashtime=2h30m,maxtrashtime=2w
復(fù)制元數(shù)據(jù)文件
cd/usr/local/mfs/var/mfs/
mvmetadata.mfs.emptymetadata.mfs
與管理服務(wù)器相關(guān)的命令:
啟動(dòng)命令:/usr/local/mfs/sbin/mfsmasterstart
安全停止命令:/usr/local/mfs/sbin/mfsmaster–s
更多幫助信息:/usr/local/mfs/sbin/mfsmaster–h
元數(shù)據(jù)日志服務(wù)器(192.168.0.202):
mfsmetalogger.cfg的配置
cd/usr/local/mfs/etc
cpmfsmetalogger.cfg.distmfsmetalogger.cfg
vimmfsmetalogger.cfg
mfsmetalogger.cfg文件的內(nèi)容如下:
帶#號(hào)的均為默認(rèn)配置,不帶#號(hào)的需手工配置。
#WORKING_USER=mfs
#WORKING_GROUP=mfs
#SYSLOG_IDENT=mfsmetalogger
#LOCK_MEMORY=0
#NICE_LEVEL=-19
#DATA_PATH=/usr/local/mfs/var/mfs
#BACK_LOGS=50
#BACK_META_KEEP_PREVIOUS=3
#META_DOWNLOAD_FREQ=24元數(shù)據(jù)備份文件下載請(qǐng)求頻率,默認(rèn)是24小時(shí)。
#MASTER_RECONNECTION_DELAY=5
MASTER_HOST=192.168.0.201此處需要修改為MasterServer的IP
#MASTER_PORT=9419
#MASTER_TIMEOUT=60
#deprecated,toberemovedinMooseFS1.7
#LOCK_FILE=/var/run/mfs/mfsmetalogger.lock
與元數(shù)據(jù)日志服務(wù)器相關(guān)的命令:
啟動(dòng)命令:/usr/local/mfs/sbin/mfsmetaloggerstart
安全停止命令:/usr/local/mfs/sbin/mfsmetalogger–s
更多幫助信息:/usr/local/mfs/sbin/mfsmetalogger–h
數(shù)據(jù)存儲(chǔ)服務(wù)器(192.168.0.203和192.168.0.203):
mfschunkserver.cfg的配置
cd/usr/local/mfs/etc
cpmfschunkserver.cfg.distmfschunkserver.cfg
vimmfschunkserver.cfg
mfschunkserver.cfg文件的內(nèi)容如下:
帶#號(hào)的均為默認(rèn)配置,不帶#號(hào)的需手工配置。
#WORKING_USER=mfs
#WORKING_GROUP=mfs
#SYSLOG_IDENT=mfsmetalogger
#LOCK_MEMORY=0
#NICE_LEVEL=-19
#DATA_PATH=/usr/local/mfs/var/mfs
#BACK_LOGS=50
#BACK_META_KEEP_PREVIOUS=3
#META_DOWNLOAD_FREQ=24元數(shù)據(jù)備份文件下載請(qǐng)求頻率,默認(rèn)是24小時(shí)。
#MASTER_RECONNECTION_DELAY=5
MASTER_HOST=192.168.0.201此處需要修改為MasterServer的IP
#MASTER_PORT=9419
#MASTER_TIMEOUT=60
#deprecated,toberemovedinMooseFS1.7
#LOCK_FILE=/var/run/mfs/mfsmetalogger.lock
與元數(shù)據(jù)日志服務(wù)器相關(guān)的命令:
啟動(dòng)命令:/usr/local/mfs/sbin/mfsmetaloggerstart
安全停止命令:/usr/local/mfs/sbin/mfsmetalogger–s
更多幫助信息:/usr/local/mfs/sbin/mfsmetalogger–h
數(shù)據(jù)存儲(chǔ)服務(wù)器(192.168.0.203和192.168.0.203):
mfschunkserver.cfg的配置
cd/usr/local/mfs/etc
cpmfschunkserver.cfg.distmfschunkserver.cfg
vimmfschunkserver.cfg
mfschunkserver.cfg文件的內(nèi)容如下:
帶#號(hào)的均為默認(rèn)配置,不帶#號(hào)的需手工配置。
#WORKING_USER=mfs
#WORKING_GROUP=mfs
#SYSLOG_IDENT=mfschunkserver
#LOCK_MEMORY=0
#NICE_LEVEL=-19
#DATA_PATH=/usr/local/mfs/var/mfs
#MASTER_RECONNECTION_DELAY=5
#BIND_HOST=*
MASTER_HOST=192.168.0.201元數(shù)據(jù)服務(wù)器的名稱或地址,可以是主機(jī)名或IP地址
MASTER_PORT=9420
#MASTER_TIMEOUT=60
#CSSERV_LISTEN_HOST=*
#CSSERV_LISTEN_PORT=9422該端口用于與其他數(shù)據(jù)存儲(chǔ)服務(wù)器間的連接,通常是數(shù)據(jù)復(fù)制。
#HDD_CONF_FILENAME=/usr/local/mfs/etc/mfshdd.cfg分配給MFS使用的磁盤空間配置文件的位置。
#HDD_TEST_FREQ=10
#deprecated,toberemovedinMooseFS1.7
#LOCK_FILE=/var/run/mfs/mfschunkserver.lock
#BACK_LOGS=50
#CSSERV_TIMEOUT=5
mfshdd.cfg的配置
cd/usr/local/mfs/etc
cpmfshdd.cfg.distmfshdd.cfg
vimmfshdd.cfg
mfshdd.cfg文件的內(nèi)容如下:
/data
上面的/data是一個(gè)MFS分區(qū),需要將此分區(qū)的屬主改為mfs。
chown–Rmfs.mfs/data
與數(shù)據(jù)存儲(chǔ)服務(wù)器相關(guān)的命令:
啟動(dòng)命令:/usr/local/mfs/sbin/mfschunkserverstart
安全停止命令:/usr/local/mfs/sbin/mfschunkserver–s
更多幫助信息:/usr/local/mfs/sbin/mfschunkserver–h
客戶端(192.168.0.205):
創(chuàng)建掛接點(diǎn)
mkdir–p/data/mfs
掛載MFS的命令
/usr/local/mfs/bin/mfsmount/data/mfs-H192.168.0.201
查看掛載情況:
查看掛載信息:
卸載MFS掛載:
umount/data/mfs
查看更多幫助信息:
/usr/local/mfs/bin/mfsmount–h
上海人才網(wǎng)©®(XSHRCW.COM 、新上海人才網(wǎng).COM)玉汝于成®靈煉®企業(yè) 版權(quán)聲明:本站文章內(nèi)容及圖片由互聯(lián)網(wǎng)用戶自發(fā)貢獻(xiàn),文章觀點(diǎn)僅代表作者本人。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。
如發(fā)現(xiàn)本站有涉嫌抄襲侵權(quán)/違法違規(guī)的內(nèi)容, 請(qǐng)聯(lián)系18221406898舉報(bào),一經(jīng)查實(shí),本站將立刻刪除。
Copyright C 2015-2024 All Rights Reserved 上海靈煉人力資源有限公司版權(quán)所有,上海靈煉人才服務(wù)中心運(yùn)營(yíng)服務(wù)
滬ICP備15007885號(hào)-1
地址:上海市浦東新區(qū)周浦鎮(zhèn)振興路25號(hào) EMAIL:xshrcw@qq.com
統(tǒng)計(jì) 人力資源證: (滬)人服證字[2023] 第1200019323號(hào)
Powered by 上海人才網(wǎng)31011502401985號(hào)