RH318小结(五)创建存储域

RH318小结(一)RHEV概述 篇中已经提到过,RHEV内会有三个存储域---ISO域,存储域,导出域。ISO域用于存放安装镜像和驱动镜像,存储域用于存放vm img ,导出域用于导入导出虚拟机。而其支持的类型见下图:

rhev-storage

上面看的已经非常直观,ISO域主要支持NFS和本机,导出域支持的类型有NFS和GFS,数据域支持的类型最多,常见的方式都支持。而对分布式文件系统GFS的支持,也对存储的横向扩展提供了方便,这点是比较强大的。这里强调一点,一个数据中心中,只支持一个ISO域和一个导出域,数据域可以有多个。

一、新建ISO域和导出域

默认ISO域在engine-setup安装RHEVM时是可以直接创建好的,这里假设安装时未选择。

1、创建NFS服务

安装包
# yum install nfs-utils
配置开机自启动
# chkconfig --add rpcbind
# chkconfig --add nfs
# chkconfig rpcbind on
# chkconfig nfs on
启动服务
# service rpcbind start
# service nfs start
创建两个域使用的目录
# mkdir -p /exports/iso
# mkdir -p /exports/export

修改/etc/exports文件,增加如下内容:

# cat /etc/exports
/exports/iso *(rw)
/exports/export *(rw)

修改后记得重启服务生效,可以使用如下任一种操作:

# exportfs -rv 或
# service nfs reload

使用rhel7版本的nfs时,可以参看之前的文章 RH254小结(四)NFS服务器的搭建

2、增加用户修改权限

RHEV中使用的用户和组是vdsm:kvm,所以需要增加用户ID为36的用户vdsm,增加组ID为36的组kvm ,并让其有访问上面创建的两个目录的权限,操作如下:

# groupadd kvm -g 36
# useradd vdsm -u 36 -g 36
# chown -R 36:36 /exports/iso
# chown -R 36:36 /exports/export
# chmod 0755 /exports/iso
# chmod 0755 /exports/export

3、创建ISO域和导出域

创建的时候记得在rhevm平台左边键选择对应的数据中心下的storage部分,再点New domain增加,如下图:

rhev-iso-storage

上图中的ISO域名字这里设置为isoa,后面在上传镜像文件时会用到,选择相应的数据中心和存储类型,这里选择为NFS并指定路径,参数部分使用默认,也可以勾选后增加参数。

当系统中存在多个数据中心时,增加storage又是通过全局来增加的,还需要通过attach附加到指定的数据中心上。attach的方法是,在storage选项下的date center sheet页,attach点击后选中相应的数据中心即可。导出域的增加方法是一样的。这里不再单独说明。

二、上传ISO镜像文件

上传镜像需要使用engine-iso-uploader命令,具体使用格式如下:

# engine-iso-uploader  --help
Usage: engine-iso-uploader [options] list
       engine-iso-uploader [options] upload FILE [FILE]...[FILE]

示例如下:

# engine-iso-uploader -i isoa upload virtio-win.iso virtio-win_amd64.vfd -u admin@internal
Please provide the REST API password for the admin@internal oVirt Engine user (CTRL+D to abort):
Uploading, please wait...
INFO: Start uploading virtio-win.iso
INFO: virtio-win.iso uploaded successfully
INFO: Start uploading virtio-win_amd64.vfd
INFO: virtio-win_amd64.vfd uploaded successfully

将密码加入/etc/ovirt-engine/isouploader.conf配置文件中,可以以后每次上传不会再输入密码 。同样的方法,我们可以上传操作系统安装镜像上去。

另外需要注意的是,还有一个engine-image-uploader 指令,该指令用于上传OVA虚拟机模板文件到导出域用的,不要搞混了。上传完成后,会在/exports/iso 目录---即我们刚刚创建NFS服务的主机上,看到ISO域的目录结构如下:

# tree
.
├── b0a26e0a-934d-479b-a6ee-e5ff55f8c36f
│   ├── dom_md
│   │   ├── ids
│   │   ├── inbox
│   │   ├── leases
│   │   ├── metadata
│   │   └── outbox
│   └── images
│       └── 11111111-1111-1111-1111-111111111111
│           ├── rhel-server-7.1-x86_64-dvd.iso
│           ├── rhev-tools-setup.iso
│           ├── virtio-win_amd64.vfd
│           ├── virtio-win.iso
│           └── virtio-win_x86.vfd
└── __DIRECT_IO_TEST__
4 directories, 11 files

上传完成后,在iso域的images sheet页中,会查看到上传的镜像文件,如下:

三、data stroage相关

这里我选择使用iscsi 做为数据存储域,使用的还上面的那台rhel6.6提供NFS的主机。在该机上我会新增了一块盘vdb,大小为70G 。

1、配置iscsi 服务

安装相关包
# yum install -y scsi-target-utils
编辑/etc/tgt/targets.conf文件
<target iqn.2014-10.com.example.rhevm.pod0:iscsi>
        backing-store /dev/vdb
        initiator-address 172.25.0.0/24
        #initiator-address 172.25.0.15
</target>
配置服务并设置开机启动
# service tgtd start
# chkconfig tgtd on
访火墙配置
# iptables -I INPUT  -p tcp --dport 3260 -j ACCEPT

2、增加存储域

3、SPM相关与data storage

SPM是the storage pool manager的缩写,具体见下图:

在一个数据中心中,只存在一个SPM,所有主机的元数据写入都会通过SPM主机(RHEV-H中的一台)进行控制,一旦该机在cluster中挂掉,集群中会重新选举一台主机做为SPM主机。我们登陆到SPM所在的主机可以看到如下信息:

查看pv信息
[root@servera ~]# pvs
  PV                        VG                                   Fmt  Attr PSize  PFree
  /dev/mapper/1IET_00010001 e32d4577-9aa2-45a6-8a7a-4ff98803c9c7 lvm2 a--  69.62g  65.50g
  /dev/vda4                 HostVG                               lvm2 a--  21.75g 404.00m
查看vg信息
[root@servera ~]# vgs
  VG                                   #PV #LV #SN Attr   VSize  VFree
  HostVG                                 1   4   0 wz--n- 21.75g 404.00m
  e32d4577-9aa2-45a6-8a7a-4ff98803c9c7   1   8   0 wz--n- 69.62g  65.50g
查看lv信息
[root@servera ~]# lvs
  LV                                   VG                                   Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  Config                               HostVG                               -wi-ao----   8.00m
  Data                                 HostVG                               -wi-ao----  15.54g
  Logging                              HostVG                               -wi-ao----   2.00g
  Swap                                 HostVG                               -wi-ao----   3.80g
  95faf182-5987-4e24-98ca-a9350da16f06 e32d4577-9aa2-45a6-8a7a-4ff98803c9c7 -wi------- 128.00m
  a7c64453-a5c8-4ffa-bcaa-55dfeb53313e e32d4577-9aa2-45a6-8a7a-4ff98803c9c7 -wi------- 128.00m
  ids                                  e32d4577-9aa2-45a6-8a7a-4ff98803c9c7 -wi-ao---- 128.00m
  inbox                                e32d4577-9aa2-45a6-8a7a-4ff98803c9c7 -wi-a----- 128.00m
  leases                               e32d4577-9aa2-45a6-8a7a-4ff98803c9c7 -wi-a-----   2.00g
  master                               e32d4577-9aa2-45a6-8a7a-4ff98803c9c7 -wi-ao----   1.00g
  metadata                             e32d4577-9aa2-45a6-8a7a-4ff98803c9c7 -wi-a----- 512.00m
  outbox                               e32d4577-9aa2-45a6-8a7a-4ff98803c9c7 -wi-a----- 128.00m
df查看信息,只选取部分
[root@servera ~]# df -h
Filesystem                                                   Size  Used Avail Use% Mounted on
/dev/mapper/e32d4577--9aa2--45a6--8a7a--4ff98803c9c7-master  976M  1.3M  924M   1% /rhev/data-center/mnt/blockSD/e32d4577-9aa2-45a6-8a7a-4ff98803c9c7/master
172.25.0.15:/exports/iso                                      30G   14G   15G  48% /rhev/data-center/mnt/172.25.0.15:_exports_iso
172.25.0.15:/exports/export                                   30G   14G   15G  48% /rhev/data-center/mnt/172.25.0.15:_exports_export

通过pv信息,我们看到两块盘,一般大小为70G,一块为21G左右,70G的是iscsi 分盘的存储域的大小,21G大小的是rhve-h主机本地盘的大小。而通过查看vg和lv信息,及与其他非spm主机比较发现,安装RHEV-H的主机都会创建HostVG 卷,用于本地创建多个分区使用,而在其他主机上查看到以UUID命令的70G大小的卷。而在其他主机上同样可以看到导出域和ISO域。所以可以得到如下结论:

  1. 存储域底层是使用的LVM分区---因为LVM分区方便无损增加大小且无需停机;
  2. 存储域是在SPM主机上可以查看到的;
  3. ISO域和导出域是在所有主机上都挂载的;

时间有点晚了,今天就先到这里,存储域的增大后面单独做一部分讲吧 ,而且后面总结快照部分时,也会提到在SPM主机上查看存储域的变化。导出域部分本篇中也几乎没怎么讲到,后面在模板部分中再提吧。

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注