龙源期刊网http://www.qikan.co；存储灾备私有云数据中心建设；作者：郑晨溪史晓卓；来源：《电子世界》2013年第10期；【摘要】本文结合高校信息化发展，针对学校业务特点；数字化校园信息化建设，首先要做的就是建立功能完善；存储灾备私有云数据中心核心在于服务器、虚拟化、存；以往校园数据中心服务器数量有限，有多个业务系统安；提高服务器虚拟化应用中资
龙源期刊网 .cn 存储灾备私有云数据中心建设 作者：郑晨溪 史晓卓 来源：《电子世界》2013年第10期
【摘要】本文结合高校信息化发展，针对学校业务特点以及存储体系的发展，阐述校园网数据中心建设，提出高校数据中心的服务器、存储系统的规划设计和建设思路。
【关键词】数据中心；存储；私有云
数字化校园信息化建设，首先要做的就是建立功能完善的校园数据中心。数据中心将校园中分散的数据资源集中存放，提高了数据的共享性，加强了数据的安全性，为教育教学、学生课余活动、教师科研、运维管理、计费等提供更加敏捷与无间断的优质服务，实现多用户、多平台以及异构平台间的数据共享和管理。
存储灾备私有云数据中心核心在于服务器、虚拟化、存储系统与基础网络架构建设，部署数据中心交换机、虚拟化服务器搭建，建立数据存储设施，在统一的信息存储平台上为校园信息化系统中的数据提供可靠、安全的存储空间，同时要充分考虑存储安全、备份和恢复功能。校园存储数据中心采用VMware虚拟化软件、DELL机架服务器、EMC VNX、FCOE万兆数据中心交换机统一存储搭建学校私有云数据中心。
以往校园数据中心服务器数量有限，有多个业务系统安装在一台物理服务器中，为了避免多种应用安装于同一系统中容易产生兼容性等问题，经过系统运行状态长期观察记录，整体业务系统CPU及内存的利用率并不高，平均低于5%的利用率，造成了硬件资源的浪费。采用VMware虚拟化技术，将每个应用系统都部署在一台独立的虚拟服务器中。减少对空间，电能，制冷，机柜，网络等的占用，避免计算资源空闲浪费。整个虚拟化平台通过VMware HA技术保障了应用系统的高可用，通过DRS动态资源调配技术实现了硬件资源的动态分配，不会在因为硬件故障，造成某个应用系统的宕机。
提高服务器虚拟化应用中资源分配与负载迁移中的智能化、自动化水平，确保服务器虚拟化平台与其它虚拟平台的兼容性，通过提升底层硬件资源的利用率而降低云服务器虚拟化管理与应用成本。
存储规划中推荐选择统一存储，能够同时提供FC SAN接口、I-SCSI接口、NAS功能及融合接口FCoE，能无缝的与VMware虚拟化架构进行完美结合，将一卡通数据库、数字化校园数据库等数据迁移至统一存储中，实现数据集中存储。实现数据库集群部署，如oracle RAC、MSCS等。利用“智能存储分层”以及“缓存动态扩展功能”将如闪盘、FC盘、SAS盘与SATA盘进行有效结合，根据应用程序以及I/O的比重自动调配磁盘的I＼O资源，并与应用程序进行良好的结合，从而提升前端应用性能。部署统一存储后，将会大幅度提升VMware虚拟化的部署速度和业务承载能力、能够提供虚拟主机到存储间多链路访问以及通信链路的负载均衡能龙源期刊网 .cn 力。同时根据应用业务的需求，将物理磁盘空间转换为存储系统cahe缓存使用。当开学初或期末的时候访问量急剧增长的时候，通过提高缓存的办法，来增强业务系统性能。而不至于因性能的下降去更换整个存储系统。数据安全与业务连续性方面，支持如快照和克隆和CDP；在远端容灾功能方面，支持存储镜像，文件级数据同步，远程数据断点保护功能等；支持两台以上的统一存储虚拟化，无论任何一台存储发生故障都不会影响前端应用以及数据丢失，保证数据安全。应加强云数据中心系统无缝扩展能力，降低数据和管理策略在不同中心系统中的操作风险，根据云业务量、重要性、相应级别、恢复宕机时限等要求执行相应的安全管理级别。磁盘选择SSD、SAS、NS-SAS三种类型磁盘混合使用，配合自动存储分层功能将周期性高iops的请求交由SSD磁盘处理，较低一级的交由SAS高性能磁盘处理，活动率较低的iops请求交由大容量NL-SAS磁盘处理，从而达到良好的磁盘自调节处理能力。SSD磁盘（Solid State Disk）泛指使用NAND Flash组成的固态硬盘，没有机械结构，利用传统的NAND Flash特性，以区块写入和抹除的方式作读写的功能，因此在读写的效率上，非常依赖读写技术上的设计，与目前的传统硬盘相较，具有低耗电、耐震、稳定性高、耐低温等优点，SSD磁盘比传统的硬盘速度提高在50～800倍左右。
服务器选择传统机架式服务器，机架式服务器有更多用于网络和存储适配器的扩展槽。可以在虚拟机里有更多数量的NIC和存储控制器用于负载均衡，同时连接多个网络，大型机架服务器（大于5U）有高达7个的I/O扩展槽，刀片服务器则在扩展方面局限。机架服务器有更多内部容量用于本地磁盘存储，可在本地存储上运行大量虚拟机，对于内部磁盘有更多分段，而刀片服务器的数量有限（0到四个驱动）。此外刀片服务器一般能支持四个处理器插座，而机架式服务器能支持8个或更多CPU插座。机架式服务器不需要使用任何额外的架构组件进行安装，而刀片则需要再购买机架。
在数据中心网络连接设计上采用FCOE万兆数据中心交换机。虚拟机网络交换设备主要以云数据中心各种物理网卡虚拟化和虚拟网络交换机为主，可根据用户需求在主机内部虚拟多个网卡和交换链路.并分配独立的MAC地址、IP地址.根据云服务需求在虚拟网卡之间实现用户问的流量调度管理策略。FCOE万兆数据中心交换机具有融合多种接口类型、高处理能力、高安全性，提供网络多协议融合接口FCOE，可以将服务器、存储等产品通过FCOE万兆接口卡进行连接，提高网络数据包交换性能及网络带宽，简化线缆连接架构，便于维护与故障排查。通过以太网增强协议，确保存储协议在以太网上更加稳定，避免产生丢包现象，进而保障了数据传输的安全性。同时为扩展异地数据备份及容灾提供前提保障。提高云中心内部网络通信端口与线路数据传输能力，通过自动精简配置为快速增长的虚拟机动态增加存储容量，及时回收虚拟资源并为新的云应运及时再分配，可以减少因“虚拟机蔓延”而造成的资源浪费。
[1]何目伟.IBM：虚拟化是“云计算.关键能力”[J].计算机应用，）.
[2]黄建忠.海量网络存储系统原理与设计[M].武汉：华中科技大学出版社，. 三亿文库包含各类专业文献、行业资料、应用写作文书、生活休闲娱乐、外语学习资料、中学教育、存储灾备私有云数据中心建设31等内容。　
　方法探讨本文结合国土资源部数据中心现状,分析研究了实现同城灾备的技术方案,即同步传输方案和异步传输方 案,以及这些技术方案的技术实现层面:存储层、主机层和数据库... 　云计算数据中心建设规划方案模板_城乡/园林规划_工程...25 2.4.4 灾备中心规划 ......存储的配置可以通过冗余配置和备份的方法保证 数据的高可靠性。 通过服务... 　数据中心灾备系统建设方案_计算机软件及应用_IT/计算机_专业资料。数据中心灾备系统...在正常情况下,数据中心的应用 程序在将数据写入本地存储系统的同时将数据发送到... 　3、灾备中心通过浪潮 AS8000 系列实现数据级容灾,保障整个云中心健壮平稳的运行。 4、云管理平台软件采用浪潮云海 OS,云管理平台融合计算、存储、网络三大物理资源... 　互联网+云数据 云数据中心建设规划方案_调查/报告_...18 2.2 当前企业私有云数据中心发展趋势 ... 20 ...25 2.4.4 灾备中心规划 ...... 　当前生产中心 I/O 性能数据收集 主要收集需要进行灾备保护的应用、主 机存储的...规划,新建大楼 扩展规模,利用先进的存储及云计算技术构建全新的私有云数据中心。... 　下面就 4 个方面的问题再展开总结一下, 一个企业在私有云建设中的存储虚 拟...实现 RPO=0,RTO ≈0,解决了传统灾备中心不能承载业务和业务无法自动切换的问题... 　智慧城市云数据中心建设技术方案_建筑/土木_工程科技...存储灾备、安全保障和运维服务,实现信息基础资源互通...防火墙、公网 IP 地址、VLAN、安全组、虚拟私有云等...后使用快捷导航没有帐号？
查看: 6674|回复: 25
搭建rac共享存储的几种方法
金牌会员, 积分 1866, 距离下一级还需 1134 积分
论坛徽章:17
我目前比较了解的几种方法：
1. 利用网上现有的openfiler操作系统
2. 自己搭建iscsi共享存储
3. 直接attach共享磁盘，老师的环境就是这么做的，而且我在vm9上也能正常使用。
1，2需要至少开3台虚拟机，3两台就够了，相比前两种要省资源。
虚拟机的配置初看起来是vmx里面添加了disk.locking=&false&，然后共享磁盘的模式选为 scsiX:X.mode = &independent-persistent&，不知是不是还漏掉了什么？
欢迎大家补充，指正
论坛徽章:8
虚拟机上都是第3种来弄的。
金牌会员, 积分 1061, 距离下一级还需 1939 积分
论坛徽章:4
第3条能详细说说不？
高级会员, 积分 742, 距离下一级还需 258 积分
论坛徽章:3
我一般都是自己搭建存储来搞的，感觉很简单，最接近模拟的真实环境
我一般用的rhel5.8搭建的存储。
论坛徽章:29
iscsi更通用
我喜欢iscsi
高级会员, 积分 824, 距离下一级还需 176 积分
论坛徽章:3
我感觉和使用的虚拟机软件有一定的关系，我比较喜欢使用VBOX虚拟机，因为创建共享存储非常简单，添加磁盘后设置成共享就OK了。
论坛徽章:23
我只用过第一种搭过。
中级会员, 积分 239, 距离下一级还需 261 积分
论坛徽章:4
本帖最后由 huazien 于
11:37 编辑
我用rh5l5.8搭的ISCSI存储环境，可是主机每次重启后，磁盘顺序都变化了，ORC和VOTE的盘符都变了，而且两个节点的认的盘符也不一样。每次启动，只能手动把所有盘logout,然后手工按原来的顺序一个一个盘login，CRS才能起来。你们是怎么解决这个问题？求解，请指教。targets.conf配置如下
&target iqn..example:server.target1&
& & backing-store /dev/sdb1
&target iqn..example:server.target2&
& & backing-store /dev/sdc1
&target iqn..example:server.target3&
& & backing-store /dev/sdc2
&target iqn..example:server.target4&
& & backing-store /dev/sdc3
&target iqn..example:server.target5&
& & backing-store /dev/sdc4
&target iqn..example:server.target6&
& & backing-store /dev/sdd1
&target iqn..example:server.target7&
& & backing-store /dev/sdd2
&target iqn..example:server.target8&
& & backing-store /dev/sdd3
金牌会员, 积分 2817, 距离下一级还需 183 积分
论坛徽章:9
我使用的是第一种，搭建好之后贼慢！！ 笔记本内存8G
高级会员, 积分 574, 距离下一级还需 426 积分
论坛徽章:3
最简单的方式，还是使用VBOX。
建议对虚拟机不是特别了解的同学直接使用VBOX。
扫一扫加入本版微信群Oracle10.2.0.4-RAC两节点集群环境搭建 - 共享存储服务端ISCSI配置_数据库技术_Linux公社-Linux系统门户网站
你好，游客
Oracle10.2.0.4-RAC两节点集群环境搭建
共享存储服务端ISCSI配置
来源：CSDN&
作者：dbseesee
搭建10g-RAC集群环境，首先需要解决共享存储问题；
这里使用FreeNAS-8.0.4-RELEASE-p1-x64.iso来配置ISCSI共享存储；
安装FreeNAS8系统，操作系统磁盘几个G就可以，这里我给了6G，
另外新增两块50G的磁盘，用于配置共享存储;
(注：使用的服务器是Xen虚拟化平台,新建一台freeNAS虚拟机，两台Linux虚拟机)
1、安装freeNAS8系统后配置IP
下图，已经将默认获取到的192.168.0.139改成192.168.0.160
再将192.168.100.139改成192.168.100.160
浏览器访问：http://192.168.0.160 ，下面是访问freeNAS的web主页：
2、开启SSH服务，并允许root登陆，点&Services&
3、修改root用户密码
终端ssh远程登陆freeNAS服务器
使用两块盘，ZFS格式
web端查看创建好的卷
服务器上查看创建好的卷
5、添加Protal
6、添加认证规则，这里All允许所有
7、添加共享的Extent
8、添加认证用户
这个是客户端连接共享存储使用的用户和密码，要记住，我这里设置的密码：oracle999
9、配置全局参数
10、添加target
注意下图红色框的内容：
11、关联目标
这样，ISCSI共享存储服务端配置完成，
下一篇：Oracle10.2.0.4-RAC两节点集群环境搭建(12)--iscsi客户端连接共享存储，
如何在linux下来使用本文配置好了的ISCSI共享存储;
【内容导航】
相关资讯 & & &
& (12/23/:42)
& (06/12/:55)
& (12/06/:11)
& (09/02/:18)
& (03/17/:16)
& (05/30/:29)
　　　同意评论声明
　　　发表
尊重网上道德，遵守中华人民共和国的各项有关法律法规
承担一切因您的行为而直接或间接导致的民事或刑事法律责任
本站管理人员有权保留或删除其管辖留言中的任意内容
本站有权在网站内转载或引用您的评论
参与本评论即表明您已经阅读并接受上述条款博客访问： 6088255
博文数量： 953
注册时间：
认证徽章：
网名：小麦苗|
微信公众号:xiaomaimiaolhr|
QQ群: 微信群：私聊|
《数据库笔试面试宝典》作者
ITPUB论坛APP
ITPUB论坛APP
APP发帖 享双倍积分
IT168企业级官微
微信号：IT168qiye
系统架构师大会
微信号：SACC2013
分类： Oracle
一步一步在上搭建 之共享磁盘准备 （三）
注意：这一步是配置的过程中非常重要的一步，很多童鞋多次安装都不成功，主要原因就是失败在共享磁盘的配置上，包括小麦苗我自己，多次安装才懂的这个道理，所以，这一步大家一定要睁大眼睛多看多想，如有不懂的地方就直接联系小麦苗吧。
本部分目录截图：
配置共享存储
这个是重点，也是最容易出错的地方，我最初安装的时候就是在这里老报错，大家看仔细了哟！！！
添加共享磁盘
在 中进入 安装目录，执行命令创建磁盘：
cd C:\Program Files (x86)\VMware\VMware Workstation
C:\Program Files (x86)\VMware\VMware Workstation>vmware-vdiskmanager.exe -c -s 2g -a lsilogic -t 2 "E:\My Virtual Machines\rac\sharedisk\ocr_vote.vmdk"
VixDiskLib: Invalid configuration file parameter.
Failed to read configuration file.
Creating disk 'E:\My Virtual Machines\rac\sharedisk\ocr_vote.vmdk'
Create: 100% done.
Virtual disk creation successful.
C:\Program Files (x86)\VMware\VMware Workstation>vmware-vdiskmanager.exe -c -s 2g -a lsilogic -t 2 "E:\My Virtual Machines\rac\sharedisk\data.vmdk"
VixDiskLib: Invalid configuration file parameter.
Failed to read configuration file.
Creating disk 'E:\My Virtual Machines\rac\sharedisk\data.vmdk'
Create: 100% done.
Virtual disk creation successful.
C:\Program Files (x86)\VMware\VMware Workstation>vmware-vdiskmanager.exe -c -s 5g -a lsilogic -t 2 "E:\My Virtual Machines\rac\sharedisk\data.vmdk"
VixDiskLib: Invalid configuration file parameter.
Failed to read configuration file.
Creating disk 'E:\My Virtual Machines\rac\sharedisk\data.vmdk'
Create: 100% done.
Virtual disk creation successful.
C:\Program Files (x86)\VMware\VMware Workstation>vmware-vdiskmanager.exe -c -s 5g -a lsilogic -t 2 "E:\My Virtual Machines\rac\sharedisk\fra.vmdk"
VixDiskLib: Invalid configuration file parameter.
Failed to read configuration file.
Creating disk 'E:\My Virtual Machines\rac\sharedisk\fra.vmdk'
Create: 100% done.
Virtual disk creation successful.
C:\Program Files (x86)\VMware\VMware Workstation>
其实这个步骤可以通过界面创建，如下：
尤其注意这一步的选择，目前测试通过的只能这样选择：
点击下一步，输入名称，完成，依次添加需要的磁盘！
关闭两台虚拟机，用记事本打开 虚拟机名字，即打开配置文件，个节点都需要修改 例如
添加以下内容，红色字体修改为自己的共享虚拟机磁盘文件路径，当然如果在上一步中如果是通过界面来创建的那么需要把下边的缺失的部分添加进去即可
#shared disks configure
disk.EnableUUID="TRUE"
disk.locking = "FALSE"
scsi1.shared = "TRUE"
diskLib.dataCacheMaxSize = "0"
diskLib.dataCacheMaxReadAheadSize = "0"
diskLib.dataCacheMinReadAheadSize = "0"
diskLib.dataCachePageSize= "4096"
diskLib.maxUnsyncedWrites = "0"
scsi1.present = "TRUE"
scsi1.virtualDev = "lsilogic"
scsil.sharedBus = "VIRTUAL"
scsi1:0.present = "TRUE"
scsi1:0.mode = "independent-persistent"
scsi1:0.fileName = "E:\share\ocr_vote.vmdk"
scsi1:0.deviceType = "disk"
scsi1:0.redo = ""
scsi1:1.present = "TRUE"
scsi1:1.mode = "independent-persistent"
scsi1:1.fileName = "E:\share\data.vmdk"
scsi1:1.deviceType = "disk"
scsi1:1.redo = ""
scsi1:2.present = "TRUE"
scsi1:2.mode = "independent-persistent"
scsi1:2.fileName = "E:\share\fra.vmdk"
scsi1:2.deviceType = "disk"
scsi1:2.redo = ""
第二个节点添加共享磁盘的时候也可以使用界面添加：
关闭 软件重新打开
此时看到共享磁盘正确加载则配置正确
设置共享磁盘
这里可以采用也可以采用来管理，我安装的时候没有通过一直报错，最后采用了来管理，推荐采用来管理，最高支持到，所以这里只演示采用udev来管理，当然使用也可以的，有兴趣的可以联系我，，，
可以使用udev来 共享存储规划
配置绑定的
注意以下两点：
首先切换到root用户下：
不同的操作系统，命令的位置不同。
[root@localhost ~]# cat /etc/issue
Oracle Linux Server release 6.5
Kernel \r on an \m
注意：rhel 6 之后只支持 --whitelisted --replace-whitespace 参数，之前的 -g -u -s 参数已经不支持了。
[root@localhost ~]# which scsi_id
/sbin/scsi_id
[root@localhost ~]#
编辑 文件，如果该文件不存在，则创建该文件并添加如下行：
[root@localhost ~]# vi /etc/scsi_id.config
options=--whitelisted --replace-whitespace
[root@localhost ~]#
如果是使用 虚拟机，直接输入 命令可能无法获取 ，需修改 文件参数，这一步如果在添加磁盘的时候做过这一步的话就可以跳过了，直接获取即可
[root@localhost ~]# scsi_id --whitelisted --replace-whitespace --device=/dev/sdb
[root@localhost ~]# scsi_id --whitelisted --replace-whitespace --device=/dev/sdc
D:\VMs\Oracle Database 11gR2\Oracle Database 11gR2.vmx
使用文本编辑器编辑该文件，在尾部新增一行参数：
disk.EnableUUID="TRUE"
保存文件，重新启动虚拟机。这里注意修改文件的时候一定要在关机的状态下修改，或者 scsi_id -g -u /dev/sdc 来获得uuid，-g -u参数在rhel6以后已经不用了
创建并配置文件
[root@localhost ~]# vi /etc/udev/rules.d/99-oracle-asmdevices.rules
根据步骤 5 获取的 ID 修改 RESULT 值
这里需要注意，一个KERNEL就是一行，不能换行的，我之前就是犯了这个错误的
添加块硬盘：
KERNEL=="sd*", SUBSYSTEM=="block", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name",RESULT=="c1344ffb26f0ee", NAME="asm-diskb", OWNER="grid",GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", SUBSYSTEM=="block", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name",RESULT=="ee059acd03", NAME="asm-diskc", OWNER="grid",GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", SUBSYSTEM=="block", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name",RESULT=="a910bfb765af8f400aa07", NAME="asm-diskd", OWNER="grid",GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", SUBSYSTEM=="block", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name",RESULT=="bda048f642acd3c429ec983", NAME="asm-diske", OWNER="grid",GROUP="asmadmin", MODE="0660"
scp /etc/udev/rules.d/99-oracle-asmdevices.rules rac2:/etc/udev/rules.d
添加完成后，重启，不同 发行版本重启方式不一样。
该步骤慢一点，大约可能需要秒左右吧，等等等等。。。。。。
[root@localhost ~]# start_udev
Starting udev:
[root@localhost ~]#
查看绑定的，如果此时还是看不到 ，请重启操作系统后再查看。
[root@localhost ~]# ll /dev/asm*
brw-rw---- 1 grid asmadmin 8, 17 Oct 17 14:26 /dev/asm-diskb
brw-rw---- 1 grid asmadmin 8, 33 Oct 17 14:26 /dev/asm-diskc
对硬盘进行分区
以下操作在节点完成：
fdisk /dev/sdc
fdisk /dev/sdd
共享磁盘设置不正确报错
执行脚本报错：
DiskGroup CRS creation failed with the following message:
ORA-15018: diskgroup cannot be created
ORA-15080: synchronous I/O operation to a disk failed
Configuration of ASM failed, see logs for details
Did not succssfully configure and start ASM
CRS-2500: Cannot stop resource 'ora.crsd' as it is not running
CRS-4000: Command Stop failed, or completed with errors.
Command return code of 1 (256) from command: /u01/app/grid/11.2.0/bin/crsctl stop resource ora.crsd -init
Stop of resource "ora.crsd -init" failed
Failed to stop CRSD
06:39:01: Did not succssfully configure and start ASM
06:39:01: Exiting exclusive mode
06:39:01: Command return code of 1 (256) from command: /u01/app/grid/11.2.0/bin/crsctl stop resource ora.crsd -init
06:39:01: Stop of resource "ora.crsd -init" failed
06:39:01: Failed to stop CRSD
06:39:32: Initial cluster configuration failed.
See /u01/app/grid/11.2.0/cfgtoollogs/crsconfig/rootcrs_rac1.log for details
11:19:25.396: [
CRSOCR][1] OCR context init failure.
Error: PROC-26: Error while accessing the physical storage ASM error [SLOS: cat=8, opn=kgfoOpenFile01, dep=15056, loc=kgfokge
ORA-17503: ksfdopnGOpenFile05 Failed to open file +OCR.255.
ORA-17503: ksfdopn:2 Failed to open file +OCR.255.
ORA-15001: diskgroup "OCR"
11:19:25.396: [
CRSD][1][PANIC] CRSD exiting: Could not init OCR, code: 26
11:19:25.396: [
CRSD][1] Done.
23:20:23.442: [
OCRRAW][]propriogid:1_2: INVALID FORMAT
23:20:23.442: [
OCRRAW][]proprioini: all disks are not OCR/OLR formatted
23:20:23.442: [
OCRRAW][]proprinit: Could not open raw device
23:20:23.445: [
OCRAPI][]a_init:16!: Backend init unsuccessful : [26]
23:20:23.445: [
CRSOCR][] OCR context init failure.
Error: PROC-26: Error while accessing the physical storage
23:20:23.445: [
CRSD][][PANIC] CRSD exiting: Could not init OCR, code: 26
23:20:23.446: [
CRSD][] Done.
阅读(36053) | 评论(9) | 转发(11) |
相关热门文章
给主人留下些什么吧！~~
：adg可以实现读写分离，读写分离和共享磁盘不一样的，搭建一个adg就可以实现读写分离了，
实现读写分离在安装数据库的过程中与普通数据库安装有什么区别的吗，在grid&installation&options那一步，选择单例安装还是集群安装啊 |
：博主你好，我想咨询一下使用Active&DataGuard实现读写分离，因为公司要求要做读写分离，每个节点需要保存完整的数据。不是像本篇文章说的使用共享磁盘的这种情形。我是个新人，很多地方不懂，不知道有没有相关资源可以参考？
adg可以实现读写分离，读写分离和共享磁盘不一样的，搭建一个adg就可以实现读写分离了， |
博主你好，我想咨询一下使用Active&DataGuard实现读写分离，因为公司要求要做读写分离，每个节点需要保存完整的数据。不是像本篇文章说的使用共享磁盘的这种情形。我是个新人，很多地方不懂，不知道有没有相关资源可以参考？
关于共享磁盘的配置，三思笔记中说，必须使用VMWARE的Server版才能实现共享，(VMWARE分为server和workstation两种类型)，&三思笔记参考：/note/html/srac/rac-shared-storage-disk.shtml，但是本文中采用的是VMware&workstation&10&也实现了共享存储，可能是VMWARE&升级了吧。
：你上面一下2G&5G&5G&两个DATA盘能同时在E盘一个目录，奇了怪了，&三块盘后面又变四块，你这不是误导人啊，写文章要写清楚啊，到底建几块盘，你都没说，每块盘是做什么用的，每块盘的容量是多少，希望你能改下你的文章
配置共享磁盘这里需要去理解，3块也可以，4块也可以，不要纠结磁盘的个数，重点是如何配置共享磁盘，一般情况下至少创建3块磁盘，一个是voting&disk，一个是data，一个是fra，如果有的磁盘组包含多个磁盘，也可以创建多个磁盘，根据自己喜好吧，如果还是模糊的话就先创建一个磁盘吧，等到后边安装数据库的时候缺少磁盘的时候再回来创建磁盘也可以，这样对磁盘组就比较清晰了。 |
请登录后评论。RAC共享磁盘物理路径故障导致OCR、Votedisk所在ASM磁盘组不可访问的案例分析
日期: 14:03:45
来源：itpub
RAC共享磁盘物理路径故障导致OCR、Votedisk所在ASM磁盘组不可访问的案例分析
客户的环境是两台IBM X3850，安装Oracle Linux 6.x x86_64bit的操作系统部署的Oracle 11.2.0.4.0 RAC Database，共享存储是EMC，使用了EMC vplex虚拟化软件对存储做了镜像保护，操作系统安装了EMC原生的多路径软件。故障的现象是当vplex内部发生切换时，RAC其中一个节点的OCR和Votedisk所在的磁盘组变得不可访问，导致ora.crsd服务脱机，Grid Infrastrasture集群堆栈宕掉，但是该节点的数据库实例不受影响，但不再接受外部新的连接，在这个过程中另外一个节点完全不受影响。下面是相关的日志信息：1.操作系统日志：Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 3 Lun 4 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 3 Lun 2 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 3 Lun 3 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 3 Lun 1 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 3 Lun 0 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 3 Lun 11 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 3 Lun 12 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 3 Lun 10 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 3 Lun 9 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 3 Lun 8 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 3 Lun 7 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 3 Lun 5 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 3 Lun 6 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Bus 3 to VPLEX CKM
port CL2-00 is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 2 Lun 1 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 2 Lun 12 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 2 Lun 11 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 2 Lun 10 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 2 Lun 7 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 2 Lun 4 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 2 Lun 8 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 2 Lun 9 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 2 Lun 5 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 2 Lun 3 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 2 Lun 6 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 2 Lun 2 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Path Bus 3 Tgt 2 Lun 0 to CKM
is dead.Mar 18 08:25:48 dzqddb01 kernel: Error:Mpx:Bus 3 to VPLEX CKM
port CL2-04 is dead.
从操作系统日志可以看出，Mar 18 08:25:48的时候port CL2-00和port CL2-04两个链路dead了。2.ASM日志：Fri Mar 18 08:25:59 2016WARNING: Waited 15 secs for write IO to PST disk 0 in group 1.WARNING: Waited 15 secs for write IO to PST disk 0 in group 1.WARNING: Waited 15 secs for write IO to PST disk 0 in group 2.WARNING: Waited 15 secs for write IO to PST disk 0 in group 2.WARNING: Waited 15 secs for write IO to PST disk 0 in group 3.
&&&& 几乎在和操作系统报错的相同时间，ASM开始检查所有磁盘的PST(partnership state table)，ASM的等待时间为15秒。WARNING: Waited 15 secs for write IO to PST disk 1 in group 3.WARNING: Waited 15 secs for write IO to PST disk 2 in group 3.WARNING: Waited 15 secs for write IO to PST disk 0 in group 3.WARNING: Waited 15 secs for write IO to PST disk 1 in group 3.WARNING: Waited 15 secs for write IO to PST disk 2 in group 3.Fri Mar 18 08:25:59 2016NOTE: process _b000_+asm1 (66994) initiating offline of disk 0. (OCRVDISK_0000) with mask 0x7e in group 3
&&&& group 3是OCR和Votedisk所在的磁盘组。NOTE: process _b000_+asm1 (66994) initiating offline of disk 1. (OCRVDISK_0001) with mask 0x7e in group 3NOTE: process _b000_+asm1 (66994) initiating offline of disk 2. (OCRVDISK_0002) with mask 0x7e in group 3NOTE: checking PST: grp = 3GMON checking disk modes for group 3 at 10 for pid 48, osid 66994ERROR: no read quorum in group: required 2, found 0 disks
&&&& 由于OCR和Votedisk所在的磁盘组是Normal冗余级别，3个ASM磁盘，要求2个可访问，但是实际是0个可访问。NOTE: checking PST for grp 3 done.NOTE: initiating PST update: grp = 3, dsk = 0/0xbe3119c4, mask = 0x6a, op = clearNOTE: initiating PST update: grp = 3, dsk = 1/0xbe3119c3, mask = 0x6a, op = clearNOTE: initiating PST update: grp = 3, dsk = 2/0xbe3119c2, mask = 0x6a, op = clearGMON updating disk modes for group 3 at 11 for pid 48, osid 66994ERROR: no read quorum in group: required 2, found 0 disks
&&&& 0个磁盘可访问。Fri Mar 18 08:25:59 2016NOTE: cache dismounting (not clean) group 3/0x3D81E95D (OCRVDISK) WARNING: Offline for disk OCRVDISK_0000 in mode 0x7f failed.
&&&& OCR和Votedisk所在的磁盘组对应的所有磁盘都脱机。WARNING: Offline for disk OCRVDISK_0001 in mode 0x7f failed.WARNING: Offline for disk OCRVDISK_0002 in mode 0x7f failed.NOTE: messaging CKPT to quiesce pins Unix process pid: 66996, image: oracle@dzqddb01 (B001)Fri Mar 18 08:25:59 2016NOTE: halting all I/Os to diskgroup 3 (OCRVDISK)
&&&& OCRVDISK磁盘组下面的所有I/O都不可用。Fri Mar 18 08:25:59 2016NOTE: LGWR doing non-clean dismount of group 3 (OCRVDISK)NOTE: LGWR sync ABA=11.69 last written ABA 11.69Fri Mar 18 08:25:59 2016kjbdomdet send to inst 2detach from dom 3, sending detach message to inst 2Fri Mar 18 08:25:59 2016List of instances: 1 2Dirty detach reconfiguration started (new ddet inc 1, cluster inc 96) Global Resource Directory partially frozen for dirty detach* dirty detach - domain 3 invalid = TRUE Fri Mar 18 08:25:59 2016NOTE: No asm libraries found in the system 2 GCS resources traversed, 0 cancelledDirty Detach Reconfiguration completeFri Mar 18 08:25:59 2016WARNING: dirty detached from domain 3NOTE: cache dismounted group 3/0x3D81E95D (OCRVDISK) SQL& alter diskgroup OCRVDISK dismount force /* ASM SERVER: */
&&&& dismount OCRVDISK磁盘组。Fri Mar 18 08:25:59 2016NOTE: cache deleting context for group OCRVDISK 3/0x3d81e95dGMON dismounting group 3 at 12 for pid 51, osid 66996NOTE: Disk OCRVDISK_0000 in mode 0x7f marked for de-assignmentNOTE: Disk OCRVDISK_0001 in mode 0x7f marked for de-assignmentNOTE: Disk OCRVDISK_0002 in mode 0x7f marked for de-assignmentNOTE:Waiting for all pending writes to complete before de-registering: grpnum 3ASM Health Checker found 1 new failures3.Clusterware告警日志： 11:53:19.394: [crsd(47973)]CRS-1006:The OCR location +OCRVDISK is inaccessible. Details in /u01/app/11.2.0/grid/log/dzqddb01/crsd/crsd.log.
&&&& 时间上要比OCRVDISK被dismount的时间晚很多。 11:53:38.437: [/u01/app/11.2.0/grid/bin/oraagent.bin(48283)]CRS-5822:Agent '/u01/app/11.2.0/grid/bin/oraagent_oracle' disconnected from server. Details at (:CRSAGF00117:) {0:7:121} in /u01/app/11.2.0/grid/log/dzqddb01/agent/crsd/oraagent_oracle/oraagent_oracle.log. 11:53:38.437: [/u01/app/11.2.0/grid/bin/scriptagent.bin(80385)]CRS-5822:Agent '/u01/app/11.2.0/grid/bin/scriptagent_grid' disconnected from server. Details at (:CRSAGF00117:) {0:9:7} in /u01/app/11.2.0/grid/log/dzqddb01/agent/crsd/scriptagent_grid/scriptagent_grid.log. 11:53:38.437: [/u01/app/11.2.0/grid/bin/orarootagent.bin(48177)]CRS-5822:Agent '/u01/app/11.2.0/grid/bin/orarootagent_root' disconnected from server. Details at (:CRSAGF00117:) {0:5:3303} in /u01/app/11.2.0/grid/log/dzqddb01/agent/crsd/orarootagent_root/orarootagent_root.log. 11:53:38.437: [/u01/app/11.2.0/grid/bin/oraagent.bin(48168)]CRS-5822:Agent '/u01/app/11.2.0/grid/bin/oraagent_grid' disconnected from server. Details at (:CRSAGF00117:) {0:1:7} in /u01/app/11.2.0/grid/log/dzqddb01/agent/crsd/oraagent_grid/oraagent_grid.log. 11:53:38.442: [ohasd(47343)]CRS-2765:Resource 'ora.crsd' has failed on server 'dzqddb01'.
&&&& ora.crsd 已经OFFLINE。 11:53:39.773: [crsd(45323)]CRS-1013:The OCR location in an ASM disk group is inaccessible. Details in /u01/app/11.2.0/grid/log/dzqddb01/crsd/crsd.log. 11:53:39.779: [crsd(45323)]CRS-0804:Cluster Ready Service aborted due to Oracle Cluster Registry error [PROC-26: Error while accessing the physical storage]. Details at (:CRSD00111:) in /u01/app/11.2.0/grid/log/dzqddb01/crsd/crsd.log.
&&&& 物理设备不可访问。 11:53:40.470: [ohasd(47343)]CRS-2765:Resource 'ora.crsd' has failed on server 'dzqddb01'.
这里我们会产生一个疑问，为什么ora.crsd挂掉，但是ora.cssd没有OFFLINE（通过crsctl stat res -t -init可以确认ora.cssd没有挂掉，数据库实例还正常运行，节点并没有被踢出去），原因在于OCRVDISK对应的磁盘只是短暂的不可访问，cssd进程是直接访问OCRVDISK对应的3个ASM磁盘，并不依赖于OCRVDISK磁盘组是MOUNT状态，并且Clusterware默认的磁盘心跳超时时间为200秒，所以cssd进程没有出现问题。
由此我们又会有更多的疑问，为什么RAC的另外一个节点没有出现故障？为什么只有OCRVDISK磁盘组dismount，其他的磁盘组都正常？
在出现问题后重启has服务之后该节点即可恢复正常，加上其他磁盘组，其他节点并没有出现故障，所以可以简单的判断共享存储没有太大的问题，只是链路断掉之后有短时间的不可访问，寻找问题的关键是ASM实例日志中的这个信息：WARNING: Waited 15 secs for write IO to PST disk，15秒的时间是否过短影响了OCRVDISK的脱机，下面是MOS上的解释：
Generally this kind messages comes in ASM alertlog file on below situations,
Delayed ASM PST heart beats on ASM disks in normal or high redundancy diskgroup,
&&&& 在normal或high冗余度的磁盘组上的ASM磁盘被执行延迟ASM PST心跳检查。 thus the ASM instance dismount the diskgroup.By default, it is 15 seconds.
&&&& 检查失败，ASM实例会dismount磁盘组，默认的超时时间为15秒。
By the way the heart beat delays are sort of ignored for external redundancy diskgroup.
&&&& PST heartbeat检查会忽略外部冗余的磁盘组。ASM instance stop issuing more PST heart beat until it succeeds PST revalidation,but the heart beat delays do not dismount external redundancy diskgroup directly.
&&&& PST heartbeat检查即使超过了15秒也不会dismount外部冗余的磁盘组。
The ASM disk could go into unresponsiveness, normally in the following scenarios:
&&& ASM磁盘出现无反应的情况通常是由于以下几个原因：
Some of the paths of the physical paths of the multipath device are offline or lost
&&&& 1.聚合设备下的一些物理路径offline或丢失。+
During path 'failover' in a multipath set up
&&&& 2.具有设备下的物理路径发生failover。+
Server load, or any sort of storage/multipath/OS maintenance
&&&& 3.系统或设备的维护操作。
通过上面的这段描述，能大概的解释出现问题的原因，由于存储链路断掉了2条（可能发生failover），导致聚合后的共享存储设备短暂的不可访问，OCRVDISK是Normal冗余度的磁盘组，ASM会执行PST heartbeat检查，由于超过15秒OCRVDISK对应的磁盘组不可访问导致ASM将OCRVDISK直接dismount，进而导致OCR文件不可访问，导致crs服务OFFLINE，由于cssd的磁盘心跳超时时间为200秒，且是直接访问ASM磁盘，不经过ASM磁盘组，所以css服务没有受影响，hasd高可用堆栈依然正常工作，集群节点未被踢出，数据库实例正常工作。
Oracle给出了在数据库层面解决这个问题的办法：
you can not keep the disk unresponsiveness to below 15 seconds, then
the below parameter can be set in the ASM instance ( on all the Nodes of
_asm_hbeatiowait
&&&& 该参数指定了PST heartbeat超时时间。
As per internal bug
, based on internal testing the value should be increased to 120 secs, which is fixed in 12.1.0.2
&&&& 从12.1.0.2开始，该参数默认值被增加到了120秒。
Run below in asm instance to set desired value for _asm_hbeatiowait
alter system set "_asm_hbeatiowait"= scope=spfile sid='*';
&&&& 运行这条命令修改ASM实例的该参数，之后重启ASM实例，CRS。
And then restart asm instance / crs, to take new parameter value in effect.
为了避免类似的问题，可以将OCR镜像到不同的ASM磁盘组，这样将进一步的提高ora.crsd服务的可用性。更详细的内容请参考文章：《ASM diskgroup dismount with "Waited 15 secs for write IO to PST" (文档 ID )》--end--
本页内容版权归属为原作者，如有侵犯您的权益，请通知我们删除。
最近碰到了一个oracle bug，但是我感觉还是有些运气的成分，虽然错误日志和bug描述吻合，版本也完全对应，现在有几个问题在我脑海中翻腾，就是这个问题是不是一个特例，是不是一些额外的原因导致的，于是我翻出了日志重新来看。 这是一个一主两备的环境，一个本地灾备，一个异地灾备，数据库版本是10.2.0.4.0，单实例 数据库日志如下： Redo Shipping Client Connected as PUBLIC -- Connected User is Valid RFS[8]: Assigned to
概述 在一般的项目开发中，对数据表的多表查询是必不可少的。而对于存在大量数据量的情况时（例如百万级数据量），我们就需要从数据库的各个方面来进行优化，本文就先从多表查询开始。其他优化操作，后续另外更新，敬请关注。 版权说明 著作权归作者所有。 商业转载请联系作者获得授权，非商业转载请注明出处。 作者： Coding-Naga 发表日期： 日 链接： http://blog.csdn.net/lemon_tree12138/article/details/ 来源：CSDN 更
Merge存储引擎允许将一组使用MyISAM存储引擎的并且表结构相同（即每张表的字段顺序、字段名称、字段类型、索引定义的顺序及其定义的方式必须相同）的数据表合并为一个表，方便了数据的查询。
假设有log_2004、log_2005、log_2006、log_2007 这四张日志记录表，其数据分别是每一年的数据，表结构如下（YY代表年份）： CREATE TABLE log_YY ( dt DATETIME NOT NULL, info VARCHAR(100) NOT NUL
数据库中的存储引擎其实是对使用了该引擎的表进行某种设置，数据库中的表设定了什么存储引擎，那么该表在数据存储方式、数据更新方式、数据查询性能以及是否支持索引等方面就会有不同的“效果”。在MySQL数据库中存在着多种引擎（不同版本的MySQL数据库支持的引擎不同），熟悉各种引擎才能在软件开发中应用引擎，从而开发出高性能的软件，MySQL数据库中的引擎有哪些呢？一般来说，MySQL有以下几种引擎：ISAM、MyISAM、HEAP（也称为MEMORY）、CSV、BLACKHOLE、ARCHIVE、P
一个INNODB SPACE 最大为64TB，但是为什么这样大呢？ 如果我们设置innodb_file_per_table后出现了多个SPACE 那么空间又是多大呢？ 先讨论一下INNODB 每个PAGE的 4-8字节为 block 的块号，我们查看一下： （工具为自己编写放到了云盘/s/1num76RJ） root@hadoop1 test]# bcview ibdata1 16 4 4|more **********************************
情景：源端Oracle，hub为Oracle，目标端为sqlserver，由于种种原因，不能再目标端安装hvr软件，此时，配置图： server：目标端IP database：sqlserver数据库 user：用户名 记得，class选择SQL Server。
说明： 调用文件系统 (FS)Shell 命令应使用 bin/hadoop fs args 的形式。所有的的 FS shell 命令使用 URI 路径作为参数。 1 、 cat 说明：将路径指定文件的内容输出到 stdout 。 用法： hadoop fs -cat URI [URI …] 范例： hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2 hadoop fs -cat file:///file3/user/h
从oracle 12c 备份（expdp）出来的包，还原到11g里，想想都知道会有兼容性问题。 果不其然，报错了： ORA-39142: 版本号 4.1 (在转储文件 “叉叉叉.expdp” 中) 不 兼容 之类 后来才知道，在12C中备份出来时，应指定版本信息，例如我要导进11g的库（具体版本为11.1.0.6.0，打开sqlplus就能看到），则version=11.1.0.6.0 语句： 在12C备份 expdp system /password@SID12c directory =dbbak du
系统中有这样一条报警信息，看似比较简单，但是引起了我的注意，主要原因是因为这是一个10gR2的备库，备库如果出现这样的问题，看起来似乎是在归档删除上存在一些问题。 [DB监控系统]_ora_test_s2_yangjr@10.127.2.133_报警 ZABBIX-监控系统: ------------------------------------ 报警内容: Free disk space is less than 20% on volume /opt --------------------------
开发同学前几天给我提了一个数据查询的需求，大体是查询某个表的数据，然后把查询结果以csv的形式提供给他们，一般来说这种定制查询，开发的同学都会提供好语句，DBA同学只需要简单执行即可。
每次看到语句，我都要简单评估一下，今天的语句看起来非常简单，需要在一个历史库中进行数据查取，从开发同学提供的语句来看，这个查询看起来真不简单。提供的数据都是近5年内的历史数据，所以我简单看了下，这个表有10亿的记录，而符合条件的数据就有1亿多条。从数据量来看，这个我是真没法提供了，数据结果集就肯定几十上百G了，发
Copyright (C)
ITfish.net}