推荐的Oracle Solaris ZFS做法

• 推荐的存储池做法
• 一般系统惯例
• ZFS存储池创建惯例
• 一般存储池做法
• 根池创建实践
• 非根池创建实践
• 本地或网络连接存储阵列上的池创建实践
• Oracle数据库的池创建实践
• 在VirtualBox中使用ZFS存储池
• 提高性能的存储池实践
• ZFS存储池维护和监控实践
• 推荐的文件系统做法
• 根文件系统实践
• 文件系统创建实践
• Oracle数据库的文件系统创建实践
• 监控ZFS文件系统实践

附录

• 附录一：使用时间滑块
• 关于时间滑块
• 启用和禁用时间滑块
• 使用时间滑块高级选项
• 附录二：Oracle Solaris ZFS版本说明
• ZFS版本简介
• ZFS池版本
• ZFS文件系统版本

推荐的存储池做法

一般系统惯例

• 使用最新的Oracle Solaris更新和版本使系统保持最新
• 确认控制器遵守缓存刷新命令，以便您知道数据已安全写入，这在更改池的设备或拆分镜像存储池之前非常重要
这在Oracle/Sun硬件上通常不是问题，但最好确认硬件的缓存刷新设置已启用。
• 根据实际系统工作负载调整内存需求
• 对于已知的应用程序内存占用，例如对于数据库应用程序，可以限制ARC大小，以便应用程序不需要从ZFS缓存中回收其必要的内存。
• 考虑重复删除内存需求
• 使用以下命令确定ZFS内存使用情况：

$ mdb -k
> ::memstat
Page Summary                Pages                MB  %Tot
------------     ----------------  ----------------  ----
Kernel                     388117              1516   19%
ZFS File Data               81321               317    4%
Anon                        29928               116    1%
Exec and libs                1359                 5    0%
Page cache                   4890                19    0%
Free (cachelist)             6030                23    0%
Free (freelist)           1581183              6176   76%

Total                     2092828              8175
Physical                  2092827              8175
> $q				

• 参阅My Oracle Support(MOS)中的文档1663862.1（Oracle Solarias11.x中ZFS和应用程序之间的内存管理，以了解有个优化ZFS ARC缓存的提示.
此文档包括一个脚本，可用于修改user_reserve_hint_pct和zfs_arc_max_percent。
• 考虑使用ECC内存来防止内存损坏。静默内存损坏可能会损坏您的数据。
• 执行定期备份–尽管使用ZFS冗余创建的池有助于减少由于硬件故障而导致的停机时间，但它不能避免硬件故障、电源故障或断开的电缆。
确保定期备份数据。如果您的数据很重要，则应进行备份。提供数据副本的不同方式有：
• 定期或每日ZFS快照
• ZFS池数据的每周备份。可以使用zpool split命令创建ZFS镜像存储池的精确副本。
• 使用企业级备份产品进行月度备份
• 硬件阵列
• 由于以下原因，建议ZFS冗余优于硬件RAID：
• 当ZFS管理存储冗余时，它不仅可以检测底层硬件问题，还可以修复数据不一致。
• 使用ZFS冗余有很多好处。对于生产环境，请配置ZFS，以便它可以修复数据不一致。使用ZFS冗余，如RAID-Z、RAID-Z-2、RAID-Z-3或镜像。通过这种冗余，ZFS可以发现并修复底层存储设备或其与主机的连接中的故障。
• 如果必须使用硬件RAID，请以JBOD模式呈现设备，以便ZFS可以管理冗余。此外，请遵循以下建议：
zpool status监视ZFS存储池，使用硬件RAID监视工具监视底层LUN。>
• 及时更换任何出现故障的设备。
• 如果您使用的是数据中心质量服务，请定期（如每月）擦洗ZFS存储池。
• 始终对重要数据进行良好的最新备份。
• 崩溃转储会消耗更多的磁盘空间，通常在物理内存的1/2-3/4大小范围内。

ZFS存储池创建惯例

一般存储池做法

• 使用整个磁盘启用磁盘写缓存并提供更方便的维护。在片上创建池增加了磁盘管理和恢复的复杂性。
• 使用ZFS冗余，以便ZFS可以修复数据不一致。
• 创建非冗余池时，将显示以下消息：

$ zpool create system1 c4t1d0 c4t3d0
'system1' successfully created, but with no redundancy; failure
of one device will cause loss of the pool				

• 对于镜像池，请使用镜像磁盘对
• 对于RAID-Z池，每个VDEV组3-9个磁盘
• 请勿在同一池中混合使用RAID-Z和镜像组件。这些池更难管理，性能可能会受到影响。
• 使用热备盘以减少硬件故障导致的停机时间
• 使用大小相似的磁盘，以便在设备之间平衡I/O
• 较小的LUN可以扩展为较大的LUN
• 不要将LUN从各种大小（如128 MB到2 TB）扩展，以保持最佳metaslab大小
• 考虑创建一个小的根池和较大的数据池来支持更快的系统恢复。
• 建议的最小池大小为8 GB。尽管最小池大小为64 MB，但任何小于8 GB的内存都会使分配和回收可用池空间变得更加困难。
• 建议的最大池大小应该适合您的工作负载或数据大小。不要试图存储超出常规备份范围的数据。否则，由于某些不可预见的事件，您的数据将面临风险。

根池创建实践

• SPARC (SMI (VTOC))
使用s*标识符创建具有片的根池。不要使用p*标识符。
通常，系统的ZFS根池是在安装系统时创建的。
如果要创建第二个根池或重新创建根池，请在SPARC系统上使用与以下类似的语法：
$ zpool create rpool c0t1d0s0
或者创建一个镜像根池：
$ zpool create rpool mirror c0t1d0s0 c0t2d0s0
• Oracle Solaris 11.1 x86 (EFI (GPT))
使用d*标识符创建包含整个磁盘的根池。不要使用p*标识符。
通常，系统的ZFS根池是在安装系统时创建的。
如果要创建第二个根池或重新创建根池，请使用与以下类似的语法：
$ zpool create rpool c0t1d0
或者创建一个镜像根池：
$ zpool create rpool mirror c0t1d0 c0t2d0
• 必须将根池创建为镜像配置或单个磁盘配置。不支持RAID-Z或条带化配置。
不能使用zpool add命令添加其他磁盘以创建多个镜像顶级虚拟设备，但可以使用zpool attach命令扩展镜像虚拟设备。
• 根池不能有单独的日志设备。
• 可以在AI安装期间设置池属性。可以在根池上使用lzjb压缩算法。只能在非根池上使用gzip和lz4压缩算法。
• 在初始安装创建根池后，不要重命名根池。重命名根池可能会导致系统无法启动。
• 不要在生产系统的U盘上创建根池，因为根池磁盘对于连续操作至关重要，特别是在企业环境中。考虑为根池使用系统的内部磁盘，或者至少使用与您的非根数据相同的质量磁盘。此外，U盘可能不够大，无法支持至少相当于物理内存大小1/2的转储卷大小。
• 不要将热备份添加到根池中，而是考虑创建两个或三个镜像根池。此外，请勿在根池和数据池之间共享热备盘。
• 不要将VMware精简配置的设备用于根池设备。

非根池创建实践

• 使用d*标识符创建包含整个磁盘的非根池。不要使用p*标识符。
• ZFS在没有任何附加卷管理软件的情况下工作得最好。
• 为了获得更好的性能，请使用单个磁盘或至少由几个磁盘组成的LUN。通过向ZFS提供对LUN设置的更多可见性，ZFS能够做出更好的I/O调度决策。
• 跨多个控制器创建冗余池配置，以减少由于控制器故障而导致的停机时间。
• 镜像的存储池
消耗更多的磁盘空间，但通常在小的随机读取时性能更好。
$ zpool create system1 mirror c1d0 c2d0 mirror c3d0 c4d0
• RAID-Z存储池
可以使用3种奇偶校验策略创建，其中奇偶校验等于1 raidz）、2 raidz2）或3 raidz3）。RAID-Z配置可最大限度地利用磁盘空间，并且在大数据块（128K或更大）中写入和读取数据时通常表现良好。
• 考虑单个奇偶校验RAID-RAIDZ配置，每个VDDES具有3个磁盘（2个+1个）。
$ zpool create rzpool raidz1 c1t0d0 c2t0d0 c3t0d0 raidz1 c1t1d0 c2t1d0 c3t1d0
• RAIDZ-2配置提供更好的数据可用性，其性能与RAID-Z类似。RAIDZ-2的平均数据丢失时间（MTTDL）明显优于RAID-Z或双向镜像。在6个磁盘（4+2）上创建双奇偶校验RAID-Z（raidz2）配置。
$ zpool create rzpool raidz2 c0t1d0 c1t1d0 c4t1d0 c5t1d0 c6t1d0 c7t1d0 raidz2 c0t2d0 c1t2d0 c4t2d0 c5t2d0 c6t2d0 c7t2d
• RAIDZ-3配置可最大限度地利用磁盘空间并提供优异的可用性，因为它可以承受3次磁盘故障。在9个磁盘（6+3）上创建三奇偶校验RAID-Z（raidz3）配置。
$ zpool create rzpool raidz3 c0t0d0 c1t0d0 c2t0d0 c3t0d0 c4t0d0 c5t0d0 c6t0d0 c7t0d0 c8t0d0

本地或网络连接存储阵列上的池创建实践

• 如果在SAN设备上创建池，并且网络连接速度较慢，则池的设备可能会在一段时间内不可用。
  需要评估网络连接是否适合以连续方式提供数据。
  此外，考虑到如果使用根目录池中的SAN设备，则一旦系统被启动，根池的设备可能也无法使用，它们可能就不可用。
• 与阵列供应商确认，在ZFS发出刷新写缓存请求后，磁盘阵列没有刷新其缓存。
• 将整个磁盘（而不是磁盘片）用作存储池设备，以便Oracle Solaris ZFS激活本地小型磁盘缓存，并在适当的时间刷新这些缓存。
• 为获得最佳性能，请为阵列中的每个物理磁盘创建一个LUN。
  仅使用一个大型LUN可能会导致ZFS将太少的读取I/O操作排队，从而实际驱动存储达到最佳性能。
  相反，使用许多小型LUN可能会导致大量挂起的读取I/O操作淹没存储。
• 对于Oracle Solaris ZFS，不建议使用使用动态（或精简）资源调配软件来实现虚拟空间分配的存储阵列。
  当Oracle Solaris ZFS将修改后的数据写入可用空间时，它会写入整个LUN。Oracle Solaris ZFS写入过程从存储阵列的角度分配所有虚拟空间，这否定了动态资源调配的好处。
考虑使用ZFS时动态配置软件可能是不必要的：
• 您可以在现有ZFS存储池中扩展LUN，它将使用新空间。
• 当较小的LUN替换为较大的LUN时，类似的行为也会起作用。
• 如果评估池的存储需求，并使用与所需存储需求相等的较小LUN创建池，则如果需要更多空间，则始终可以将LUN扩展到更大的大小。
• 以JBOD模式显示单个设备，并在此类型的阵列上配置ZFS存储冗余（镜像或RAID-Z），以便ZFS可以报告和纠正数据不一致。

Oracle数据库的池创建实践

• 对池使用镜像池或硬件RAID
• 对于随机读取工作负载，通常不建议使用RAID-Z池
• 使用单独的日志设备为数据库重做日志创建一个单独的小池
• 为归档日志创建一个单独的小池

在VirtualBox中使用ZFS存储池

• 默认情况下，Virtual Box配置为忽略来自基础存储的缓存刷新命令。这意味着在系统崩溃或硬件故障的情况下，数据可能会丢失。
• 过发出以下命令，在虚拟盒上启用缓存刷新：
VBoxManage setextradata vm-name "VBoxInternal/Devices/type/0/LUN#n/Config/IgnoreFlush" 0
• vm-name
虚拟机的名称
• type
控制器类型，piix3ide(如果使用的是常用的IDE虚拟控制器)或ahci(如果使用的是SATA控制器)
• n
磁盘编号

提高性能的存储池实践

• 通常，将池容量保持在90%以下以获得最佳性能。
性能可能受到影响的百分比在很大程度上取决于工作负载：
• 如果数据主要是添加的（写入一次，永不删除），那么ZFS很容易找到新的块。在这种情况下，百分比可能高于正常值；可能高达95%。
• 如果数据由大文件或大数据块（如128K文件或1MB数据块）组成，并且在批量操作中删除数据，则百分比可能高于正常值；可能高达95%。
• 如果池中很大一部分（超过50%）是由8k块（DBfiles、iSCSI LUN或许多小文件）组成的，并且具有不断的重写，则应严格遵守90%规则。
• 如果所有数据都是不断重写的小数据块，那么当容量超过80%时，您应该密切监视池。要注意的标志是提高磁盘IOPS，以达到与客户端IOPS相同的级别。
• 对于随机读/写工作负载，建议使用镜像池而不是RAID-Z池
• 独立日志设备
• 建议提高同步写入性能
• 使用高同步写入负载，可防止在主池中写入多个日志块时出现碎片
• 建议使用单独的缓存设备来提高读取性能
• 擦洗/重定大小
包含大量设备的非常大的RAID-Z池将有更长的清理和重定大小时间
• 池性能缓慢
使用zpool status命令排除导致池性能问题的任何硬件问题。如果zpool status命令中未显示任何问题，请使用fmdump命令显示硬件故障，或使用fmdump –eV命令查看尚未导致报告故障的任何硬件错误。

ZFS存储池维护和监控实践

• 确保池容量低于90%以获得最佳性能。
当池非常满且文件系统频繁更新时（例如在繁忙的邮件服务器上），池性能可能会降低。
满池可能会导致性能下降，但不会出现其他问题。
如果主要工作负载是不可变文件，则将池保持在95-96%的利用率范围内。即使大部分静态内容在95-96%的范围内，写入、读取和重定大小性能也可能受到影响。
• 监视池和文件系统空间，以确保它们未满。
• 考虑使用ZFS配额和保留来确保文件系统空间不超过90%池容量。
• 监视池运行状况
• 对于冗余池，每周至少使用zpool status和fmdump命令监控一次
• 对于非冗余池，每周至少使用zpool status和fmdump命令监控两次
• 定期运行zpool scrub以识别数据完整性问题
默认情况下，擦洗计划每30天运行一次。可以使用scrubinterval属性禁用擦洗计划或更改擦洗运行的间隔。
• 对于消费级设备，建议计划每周擦洗
• 对于数据中心级设备，建议计划每月擦洗
• 更换设备或临时减少池的冗余之前进行擦洗，以确保所有设备当前都可以运行
• 监控池或设备故障
• 如下面例子所述使用zpool status命令。同时使用fmdump或fmdump -eV查看是否发生任何设备故障或错误。
  • 对于冗余池，每周使用zpool status和fmdump监控池运行状况
  • 对于非冗余池，每半周使用zpool status和fmdump监控池运行状况
• 池设备状态为UNAVAIL或OFFLINE
如果池设备不可用，则检查该设备是否列在format命令输出中。如果设备未列出，则ZFS将看不到该设备。
这通常意味着设备出现故障或线缆断开连接，或者其他一些硬件问题（例如控制器坏或电缆坏）导致设备无法访问。
• 考虑配置smpt-notify服务，当系统检测到硬件组件故障时能通知管理员。
默认情况下，一些通知会自动设置为发送给root用户。可以在/etc/alias文件中为管理者添加一个别名作为root用户，管理者将会收到邮件通知，其内容大概如下：

SUNW-MSG-ID: ZFS-8000-8A, TYPE: Fault, VER: 1, SEVERITY: Critical
EVENT-TIME: Fri Jun 29 16:58:58 MDT 2012
...
SOURCE: zfs-diagnosis, REV: 1.0
EVENT-ID: 76c2d1d1-4631-4220-dbbc-a3574b1ee807
DESC: A file or directory in pool 'pond' could not be read due to corrupt data.
AUTO-RESPONSE: No automated response will occur.
IMPACT: The file or directory is unavailable.
REC-ACTION: Use 'fmadm faulty' to provide a more detailed view of this event.
Run 'zpool status -xv' and examine the list of damaged files to determine what
has been affected. Please refer to the associated reference document at
http://support.oracle.com/msg/ZFS-8000-8A for the latest service procedures
and policies regarding this diagnosis.			

• 监视存储池空间
使用zpool list命令和zfs list命令确定文件系统数据消耗了多少磁盘。
ZFS快照可能会占用磁盘空间，如果ZFS list命令未列出这些快照，则它们可以静默地占用磁盘空间。
使用zfs list -t snapshot命令来标识快照占用的磁盘空间。

推荐的文件系统做法

根文件系统实践

• 考虑将根文件系统保持较小并与其他非根相关数据隔离，以便根池恢复更快。
• 不要在rpool/ROOT中包含文件系统，它是一个不需要管理的特殊容器，不应包含任何其他组件。

文件系统创建实践

• 为每个用户的主目录创建一个文件系统
• 考虑使用文件系统配额和保留来管理和预留重要文件系统的磁盘空间
• 考虑使用用户和组配额来管理具有多个用户的环境中的磁盘空间
• 使用ZFS属性继承将属性应用于多个子文件系统

Oracle数据库的文件系统创建实践

• 将ZFSrecordsize属性与Oracledb_block_size(数据库块大小)匹配。
• 使用8 KB的recordsize和默认primarycache值在主数据库池中创建数据库表和索引文件系统。
• 使用默认的recordsize和primarycache值在主数据库池中创建临时数据并撤消表空间文件系统。
• 在归档池中创建归档日志文件系统，启用压缩和默认recordsize值，并将primarycache设置为metadata。

监控ZFS文件系统实践

• 每周使用zpool list和zfs list命令而不是du和df命令监控文件系统空间可用性，因为旧命令不考虑子文件系统或快照占用的空间。
• 使用zfs list –o space命令显示文件系统空间消耗。
• 快照可能会不知不觉地占用文件系统空间。可以使用以下语法显示所有数据集信息：
$ zfs list -t all
• 安装系统时会自动创建一个单独的/var文件系统，但您应该在此文件系统上设置配额和保留，以确保它不会不知不觉地占用根池空间。
• 此外，还可以使用fsstat命令显示ZFS文件系统的文件操作活动。可以按装入点或文件系统类型报告活动。
以下示例显示了一般的ZFS文件系统活动：

$ fsstat /
new  name   name  attr  attr lookup rddir  read read  write write
file remov  chng   get   set    ops   ops   ops bytes   ops bytes
832   589   286  837K 3.23K  2.62M 20.8K 1.15M 1.75G 62.5K  348M /			

• 备份
• 保留文件系统快照
• 考虑企业级软件每周和每月备份
• 在远程系统上存储根池快照以进行裸机恢复

使用时间滑块

关于时间滑块

• svc:/system/filesystem/zfs/auto-snapshot:frequent
每15分钟生成一个快照
• svc:/system/filesystem/zfs/auto-snapshot:hourly
每小时生成一个快照
• svc:/system/filesystem/zfs/auto-snapshot:daily
每天生成一个快照
• svc:/system/filesystem/zfs/auto-snapshot:weekly
每周生成一个快照
• svc:/system/filesystem/zfs/auto-snapshot:monthly
每月生成一个快照
• svc:/application/time-slider:default
管理快照的自动删除
• svc:/application/time-slider/plugin:rsync
自动将每个快照复制到指定的外部存储设备

启用和禁用时间滑块

1. 在桌面上点击Activities显示dock
2. 从dock点击Show Applications和Time Slider
3. 选中或取消选中Enable Time Slider选项
4. 点击OK选择默认设置

使用时间滑块高级选项

• frequent
一小时后删除快照
• hourly
一天后删除快照
• daily
一周后删除快照
• weekly
一月后删除快照
• 文件系统被占用空间超80%以后，删除旧快照

• 选择Replicate backups to an external drive指定不同的设备保存快照
• 选择Custom确定哪些文件将具有快照，而不是使用为所有文件创建快照的默认值
• 更改百分比以设置存储容量消耗阈值，超过该阈值时，将触发删除旧快照
• 点击Delete Snapshots以显示现有快照的列表，可以从中删除快照

Oracle Solaris ZFS版本说明

ZFS版本简介

ZFS池版本

ZFS文件系统版本