Too young, too simple. Sometimes, naive & stupid

虚拟化概述

什么是虚拟化?

虚拟化是一个广泛的计算术语,用于运行软件,通常是多个操作系统,与单个系统上的其他程序隔离。虚拟化是通过使用管理程序完成的。这是一个软件层或子系统,可以控制硬件,并且可以在单个(通常是物理)机器上运行多个操作系统(称为VM(虚拟机)或guests)。这台装有操作系统的机器被称为HOST。有几种虚拟化方法:

  • 完全虚拟化

    完全虚拟化使用未经修改的客户操作系统版本。访客通过管理程序创建的通道来访问主机的CPU。因为guest虚拟机与CPU直接通信,所以这是最快的虚拟化方法。

  • 半虚拟化

    半虚拟化使用修改的客户操作系统。访客与管理程序进行通信。虚拟机管理程序将来自guest虚拟机的未修改的调用传递给CPU和其他接口,包括实际的和虚拟的。由于呼叫是通过管理程序路由的,因此此方法比完全虚拟化慢。

  • 软件虚拟化(或仿真)

    软件虚拟化使用二进制翻译和其他仿真技术来运行未经修改的操作系统。管理程序将来宾呼叫转换为主机系统可以使用的格式。由于所有的调用都被翻译,所以这个方法比虚拟化要慢。请注意,红帽不支持红帽企业Linux上的软件虚拟化。

    阅读全文 »

JBOD

​ 一天小明做了个系统,要装ceph,也许是Raid卡不支持JBOD,就只能做Raid0咯,表面看着好像没区别,大佬还会跟你讲做Raid0有毛线用,我在想也许他还不知道Ceph是替代什么的吧,像我这种小白,连JBOD是什么都不知道,(之前Cisco UCS 做Raid的时候看到过这个选项)。

mark

​JBOD是存储领域中一类重要的存储设备,Low点的说法叫Raid卡直通,Just a Bunch Of Disks是JBOD的全名,奥,JBOD真的是只是一堆盘的缩写,23333。

​如果已经安装完系统,并且没有配置JBOD 而是做了RAID 插入新磁盘, 系统是看不到的,但是有些业务是不能重启的 ,但是你还想加盘,这就需要Megacli来搞事情了。

安装MegaCli

下载并安装

1
2
3
wegt https://docs.broadcom.com/docs-and-downloads/raid-controllers/raid-controllers-common-files/8-07-10_MegaCLI_Linux.zip
unzip 8-07-10_MegaCLI_Linux.zip
yum localinstall 8.07.10_MegaCLI_Linux/Linux\ MegaCLI\ 8.07.10/MegaCli-8.07.10-1.noarch.rpm

目录根据情况修改

我们看下都生成了什么!!

1
2
3
4
rpm -ql  rpm -ql MegaCli
/opt/MegaRAID/MegaCli/MegaCli
/opt/MegaRAID/MegaCli/MegaCli64
/opt/MegaRAID/MegaCli/libstorelibir-2.so.14.07-0

/opt/MegaRAID/MegaCli/MegaCli64这个文件就是我们要用到的,

阅读全文 »

第 1 章 简单MULTIPATH 功能实现

实现dm功能

如果仅仅是想实现多路径功能 请直接安装 device-mapper-multipath

1
yum install  -y device-mapper-multipath

修改 /etc/multipath.conf 配置文件内容

生效内容为以下

1
2
3
4
5
6
7
8
9
blacklist {
devnode "^sda"
}
defaults {
user_friendly_names yes
path_grouping_policy multibus
failback immediate
no_path_retry fail
}

sda为你要排除的非多路径设备

然后你启动服务就好咯

阅读全文 »

先说明下,不建议在生产环境使用,写这个只是为了理解ISCSI以及Multipath* I/O 的工作方式;这次测试的操作系统是CENTOS6 ;没别的了懒得装 就先用这个,7系列可能包的名字有些不同, 根据情况百度吧!

mark

阅读全文 »

因为虚拟化引入了额外级别的内存映射,所以可以跨虚拟机来管理内存。

虚拟机的一些物理内存可能映射到共享页面或未映射或交换的页面。

主机执行内存管理时无需了解客户机操作系统,也不会干涉客户机操作系统自身的内存管理子系统。

每个虚拟机的VMM保持了从客户机操作系统的物理内存页到基础计算机上物理内存页的映射。

每个虚拟机均有连续的可寻址的物理内存空间,该空间从零开始。每个虚拟机使用的服务器上的基础内存不一定是连续的。

客户机虚拟地址到客户机物理地址的转换由客户机操作系统管理。管理程序仅负责将客户机物理地址转换为计算机地址。硬件辅助的内存虚拟化将利用硬件基础设施生成具有由管理程序维护的客户机页表和嵌套页表的组合映射。

阅读全文 »

Ceph被设计为运行在商品硬件上,这使得建立和维护PB级数据集群在经济上是可行的。在规划集群硬件时,您需要平衡许多注意事项,包括故障域和潜在的性能问题。硬件规划应包括在许多主机上分发Ceph守护进程和其他使用Ceph的进程。通常,我们建议在为该类型的守护程序配置的主机上运行特定类型的Cep守护程序。我们建议对其他主机使用您的数据集群(例如OpenStack,CloudStack等)。

阅读全文 »

Info

安装NGINX的还没来得及整理到这个博客,以后再来补,今天主要写跳转的实现,安装通过yum,仅供测试,生产建议编译;

环境

Centos7
ssl
nginx

结果

浏览器 — 直接访问80 — 跳转https ,

阅读全文 »

现有vsphere5.5环境,300+ VM ,不少重要业务需要备份,之前部署了三个节点的VDP来备份这些VM,由于标准版VDP有存储容量上的限制(好像可用3T),现在的备份任务只保存三天,正好测试备份产品,准备用测试产品备份现有VDP的备份计划,今天一看vcenter事件,vdp3告警,再往下看,两三天的任务都没正常备份了,坑以后再说,开始说故障处理。

故障发现

==vcenter 任务事件告警信息==
mark
检查点过期?马上看前几天的事件,发现近几天的备份都未成功,
登录vsphere-web-client 看看vdp上的事件(慢)

VDP的报告截图
mark

第一反应,完整性检查,但是这不应该需要人员干预阿,But,看以用容量, 2% 再看下最后成功备份的日期,备份保留时间只有三天,第一反应是三天备份失败,备份都被删除了,但是这不科学的阿,

这里说下,最好的处理办法是现在重新部署一个VDP来接管之前的备份任务。
这里抱着试试看的心态来搞点事情,(结果通宵了- -!

顺便证明一波国内某知名搜索引擎有多没用
使用一波搜索引擎,给的答案简直就是所问非所答,只有有关键字就往上靠,搜vdp故障竟让能搜出安装vcenter的文档,(呵呵呵)

还有什么vmsky阿,太不活跃,看帖子跟学历史似的,
gg一波,

阅读全文 »

原文地址:http://blog.csdn.net/liuaigui/article/details/6324133

[导读] 数据压缩与重复数据删除两种技术有何区别与联系呢?实际中又该如何正确应用呢?笔者之前对数据压缩原理和技术没有研究,因此做了点功课,查阅整理了相关资料,并与重复数据删除技术进行对比分析。

面对数据的急剧膨胀,企业需要不断购置大量的存储设备来应对不断增长的存储需求。然而,单纯地提高存储容量,这似乎并不能从根本解决问题。首先,存储设备的采购预算越来越高,大多数企业难以承受如此巨大的开支。其次,随着数据中心的扩大,存储管理成本、占用空间、制冷能力、能耗等也都变得越来越严重,其中能耗尤为突出。再者,大量的异构物理存储资源大大增加了存储管理的复杂性,容易造成存储资源浪费和利用效率不高。因此,我们需要另辟蹊径来解决信息的急剧增长问题,堵住数据“井喷”。高效存储理念正是为此而提出的,它旨在缓解存储系统的空间增长问题,缩减数据占用空间,简化存储管理,最大程度地利用已有资源,降低成本。目前业界公认的五项高效存储技术分别是数据压缩、重复数据删除、自动精简配置、自动分层存储和存储虚拟化。目前,数据压缩和重复数据删除是实现数据缩减的两种关键技术。简而言之,数据压缩技术通过对数据重新编码来降低冗余度,而重复数据删除技术侧重于删除重复的数据块,从而实现数据容量缩减的目的。

阅读全文 »

重复数据删除可以被视为一种高度专门的压缩形式,针对特定的上下文。接下来的长的答案。在对比这些技术之前,让我们来谈谈一些典型的压缩方式。压缩压缩本身是非常多样的。您有有损压缩算法,例如JPEG和MP3,它们使用我们看到或听到的模型来丢弃一些可能对图像或声音不重要的信息,但仍降低了质量。根据您的问题,这些技术大都不在此问题的范围之内。您可能主要关心的是我们所说的通用无损算法,如zip,LZMA,LZ4等,可以以可逆的方式压缩任意文件。通常这些压缩文件至少使用以下非详尽列表中的几种技术:匹配查找 在(重复字节串)中找到冗余,并用较短的序列替换重复。例如,这样的算法可能具有字符串:developers developers developers developers然后用以下代码替换:developers (0,11)(0,22)其中(0,11)表示“从位置0开始重新使用11个字符”。这被称为“匹配发现”或LZ77风格的压缩,是直截了当的。熵编码。您可以从以下字符串开始:AABCABBCABACBAAACBCCAABAAACBAA这看起来很随机,对吧?但是,您可能会注意到,某些字母比其他字母更多出现 - A出现在B和C两倍左右,其他字母根本不会出现!使用该信息,可以选择表示与更少的信息,例如,该串中的字符的编码,A可以使用二进制编码0,而B和C被指派1011分别。如果你最初每个字符使用8位,这是一个很大的节省。造型大多数数据具有复杂的关系,这些关系不一定很好地被上面简单的技术压缩,而是需要一些类型的模型。例如,您可能有各种模型可以根据相邻像素预测图像中像素的值。您可能有一个模型,根据该句子预测句子中最可能的下一个单词。例如,如果我说:Who let the dogs ___你可能能够高精度地填写空白。这些都不是相互排斥的 - 它们通常以互补的方式使用,并且还有以上没有提及的附加技术。现在,在讨论重复数据删除之前,确切地说,值得注意的是压缩算法的典型特征。这些不是绝对的规则,而是许多压缩算法的常见特征,除非它们被专门设计来避免它们:输入字节和输出字节之间没有简单的关系。输入和输出以复杂的方式相关(不同的是,Base-64编码,其中每3个连续输入字节按顺序对应到4个连续的输出字节)。其含义如下:您经常不能简单地获取压缩数据并解压缩其任意部分,例如“解压缩此文件的最后500个字节”。您可能需要从头开始读取整个压缩文件,或至少从流中的一些着名点开始。未压缩输入的修改可能对压缩输出有任意大的影响。例如,更改输入中的单字节可能会改变输出中的每个后续字节。这通常意味着很难逐渐更新大型压缩流(即,基于对输入的修改)。重复数据删除所以考虑到上述压缩的定义和讨论,重复数据删除通常意味着什么?今天,您通常会在存储设备或体系结构比赛中介绍重复数据删除技术。例如,当存在大量重复数据时,这是一种节省磁盘空间的方法(例如,在SAN上有100个VM映像 - 操作系统和其他常见的可能会有很多重复每个虚拟机上的文件)。重复数据删除是将这种冗余数据仅存储一次的一种方法。实质上,它实现了大规模的上述技术(1),没有上面讨论的一些限制。因此,它只是一种压缩形式,可在大块区域,跨整个驱动器或整个存储主机,甚至跨网络机器集群上运行。现在,您不能只是“gzip”整个驱动器,因为重复数据删除应该是透明的,功能上和性能方面的。文件系统提供的API(例如POSIX或Win32等)允许用户写入文件的任意部分。如果用户修改1GB文件中的1个字节,如果这需要一分钟或更长时间解压缩然后压缩整个文件,那么它们会感到惊讶。因此,重复数据删除工作方式是可以随意访问文件,例如,通过具有使得任何字节的位置可以被定位的索引)。这通常意味着重复数据删除仅适用于大型匹配(块)大小,否则跟踪块的成本变得令人望而却步。一些系统只能检测到符合其他条件的重复,如在文件中具有相同的对齐方式。重复数据消除通常会透明地发生(文件系统的用户不知道),也可能会异步发生:即,当新数据写入时,它首先被视为唯一的,只有稍后才能检查重复数据,并可能与现有数据合并。简而言之,重复数据删除可以被认为是一种类型的压缩的特定应用,调整到将要用于的域中:去除典型压缩算法的一些限制,以换取可接受的性能,但是以牺牲大的重复区域为代价,并且通常避免其他压缩机会,例如 熵编码 或 建模。

Whether you want to provide Ceph Object Storage and/or Ceph Block Device services to Cloud Platforms, deploy a Ceph Filesystem or use Ceph for another purpose, all Ceph Storage Cluster deployments begin with setting up each Ceph Node, your network, and the Ceph Storage Cluster. A Ceph Storage Cluster requires at least one Ceph Monitor, Ceph Manager, and Ceph OSD (Object Storage Daemon). The Ceph Metadata Server is also required when running Ceph Filesystem clients.

阅读全文 »