1. 根据您的需求和当前市场提供的，为您的使用案例选择最佳云提供商。

   当前认证的运行 RHEL 实例的云提供商有：

   • Amazon Web Services (AWS)
   • Google Cloud Platform (GCP)

   • Microsoft Azure

     注意

     本文档专门讨论在 Microsoft Azure 上部署 RHEL。

2. 在您选择的云平台上创建 RHEL 云实例。如需更多信息，请参阅 创建 RHEL 云实例的方法。
3. 要让您的 RHEL 部署保持最新状态，请使用 红帽更新基础设施 (RHUI)。

流程

1. 将镜像从 qcow2 转换为 raw 格式。

   $ qemu-img convert -f qcow2 -O raw <image-name>.qcow2 <image-name>.raw

2. 创建一个具有以下内容的 shell 脚本：

   #!/bin/bash
   MB=$((1024 * 1024))
   size=$(qemu-img info -f raw --output json "$1" | gawk 'match($0, /"virtual-size": ([0-9]+),/, val) {print val[1]}')
   rounded_size=$((($size/$MB + 1) * $MB))
   if [ $(($size % $MB)) -eq  0 ]
   then
    echo "Your image is already aligned. You do not need to resize."
    exit 1
   fi
   echo "rounded size = $rounded_size"
   export rounded_size

3. 运行脚本。本例使用名称 align.sh 。

   $ sh align.sh <image-xxx>.raw

   • 如需显示 "Your image is already aligned.You do not need to resize."，执行以下步骤。
   • 如果显示了一个值，代表您的镜像没有被对齐。

4. 使用以下命令来将文件转换为固定的 VHD 格式：

   示例使用 qemu-img 版本 2.12.0。

   $ qemu-img convert -f raw -o subformat=fixed,force_size -O vpc <image-xxx>.raw <image.xxx>.vhd

   转换后，VHD 文件就可以上传到 Azure。

5. 如果 raw 镜像不一致，请完成以下步骤使其保持一致。

   1. 使用运行验证脚本时显示的舍入值来调整 raw 文件的大小。

      $ qemu-img resize -f raw <image-xxx>.raw <rounded-value>

   2. 将 raw 镜像文件转换为 VHD 格式。

      示例使用 qemu-img 版本 2.12.0。

      $ qemu-img convert -f raw -o subformat=fixed,force_size -O vpc <image-xxx>.raw <image.xxx>.vhd

      转换后，VHD 文件就可以上传到 Azure。

流程

1. 导入 Microsoft 软件仓库密钥。

   $ sudo rpm --import https://packages.microsoft.com/keys/microsoft.asc

2. 创建本地 Azure CLI 存储库条目。

   $ sudo sh -c 'echo -e "[azure-cli]\nname=Azure CLI\nbaseurl=https://packages.microsoft.com/yumrepos/azure-cli\nenabled=1\ngpgcheck=1\ngpgkey=https://packages.microsoft.com/keys/microsoft.asc" > /etc/yum.repos.d/azure-cli.repo'

3. 更新 dnf 软件包索引。

   $ dnf check-update

4. 检查您的 Python 版本(python --version)，并根据需要安装 Python 3.x。

   $ sudo dnf install python3

5. 安装 Azure CLI。

   $ sudo dnf install -y azure-cli

6. 运行 Azure CLI。

   $ az

步骤

1. 使用 Azure 验证您的系统并登录。

   $ az login

   注意

   如果在您的环境中有浏览器，则 CLI 会打开浏览器到 Azure 登录页面。如需更多信息和选项，请参阅使用 Azure CLI 登录。

2. 在 Azure 区域中创建资源组。

   $ az group create --name <resource-group> --location <azure-region>

   例如：

   [clouduser@localhost]$ az group create --name azrhelclirsgrp --location southcentralus
   {
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp",
     "location": "southcentralus",
     "managedBy": null,
     "name": "azrhelclirsgrp",
     "properties": {
       "provisioningState": "Succeeded"
     },
     "tags": null
   }

3. 创建存储帐户。有关有效 SKU 值的更多信息，请参阅 SKU Types。

   $ az storage account create -l <azure-region> -n <storage-account-name> -g <resource-group> --sku <sku_type>

   例如：

   [clouduser@localhost]$ az storage account create -l southcentralus -n azrhelclistact -g azrhelclirsgrp --sku Standard_LRS
   {
     "accessTier": null,
     "creationTime": "2017-04-05T19:10:29.855470+00:00",
     "customDomain": null,
     "encryption": null,
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Storage/storageAccounts/azrhelclistact",
     "kind": "StorageV2",
     "lastGeoFailoverTime": null,
     "location": "southcentralus",
     "name": "azrhelclistact",
     "primaryEndpoints": {
       "blob": "https://azrhelclistact.blob.core.windows.net/",
       "file": "https://azrhelclistact.file.core.windows.net/",
       "queue": "https://azrhelclistact.queue.core.windows.net/",
       "table": "https://azrhelclistact.table.core.windows.net/"
   },
   "primaryLocation": "southcentralus",
   "provisioningState": "Succeeded",
   "resourceGroup": "azrhelclirsgrp",
   "secondaryEndpoints": null,
   "secondaryLocation": null,
   "sku": {
     "name": "Standard_LRS",
     "tier": "Standard"
   },
   "statusOfPrimary": "available",
   "statusOfSecondary": null,
   "tags": {},
     "type": "Microsoft.Storage/storageAccounts"
   }

4. 获取存储帐户连接字符串。

   $ az storage account show-connection-string -n <storage-account-name> -g <resource-group>

   例如：

   [clouduser@localhost]$ az storage account show-connection-string -n azrhelclistact -g azrhelclirsgrp
   {
     "connectionString": "DefaultEndpointsProtocol=https;EndpointSuffix=core.windows.net;AccountName=azrhelclistact;AccountKey=NreGk...=="
   }

5. 通过复制连接字符串并将其粘贴到以下命令来导出连接字符串。这个字符串将您的系统连接到存储帐户。

   $ export AZURE_STORAGE_CONNECTION_STRING="<storage-connection-string>"

   例如：

   [clouduser@localhost]$ export AZURE_STORAGE_CONNECTION_STRING="DefaultEndpointsProtocol=https;EndpointSuffix=core.windows.net;AccountName=azrhelclistact;AccountKey=NreGk...=="

6. 创建存储容器。

   $ az storage container create -n <container-name>

   例如：

   [clouduser@localhost]$ az storage container create -n azrhelclistcont
   {
     "created": true
   }

7. 创建虚拟网络。

   $ az network vnet create -g <resource group> --name <vnet-name> --subnet-name <subnet-name>

   例如：

   [clouduser@localhost]$ az network vnet create --resource-group azrhelclirsgrp --name azrhelclivnet1 --subnet-name azrhelclisubnet1
   {
     "newVNet": {
       "addressSpace": {
         "addressPrefixes": [
         "10.0.0.0/16"
         ]
     },
     "dhcpOptions": {
       "dnsServers": []
     },
     "etag": "W/\"\"",
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Network/virtualNetworks/azrhelclivnet1",
     "location": "southcentralus",
     "name": "azrhelclivnet1",
     "provisioningState": "Succeeded",
     "resourceGroup": "azrhelclirsgrp",
     "resourceGuid": "0f25efee-e2a6-4abe-a4e9-817061ee1e79",
     "subnets": [
       {
         "addressPrefix": "10.0.0.0/24",
         "etag": "W/\"\"",
         "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Network/virtualNetworks/azrhelclivnet1/subnets/azrhelclisubnet1",
         "ipConfigurations": null,
         "name": "azrhelclisubnet1",
         "networkSecurityGroup": null,
         "provisioningState": "Succeeded",
         "resourceGroup": "azrhelclirsgrp",
         "resourceNavigationLinks": null,
         "routeTable": null
       }
     ],
     "tags": {},
     "type": "Microsoft.Network/virtualNetworks",
     "virtualNetworkPeerings": null
     }
   }

步骤

1. 将 VHD 文件上传到存储容器。它可能需要几分钟时间。要获取存储容器的列表，请输入 az storage container list 命令。

   $ az storage blob upload \
       --account-name <storage-account-name> --container-name <container-name> \
       --type page --file <path-to-vhd> --name <image-name>.vhd

   例如：

   [clouduser@localhost]$ az storage blob upload \
   --account-name azrhelclistact --container-name azrhelclistcont \
   --type page --file rhel-image-{ProductNumber}.vhd --name rhel-image-{ProductNumber}.vhd
   
   Percent complete: %100.0

2. 获取上传的 VHD 文件的 URL，以便在下面的步骤中使用。

   $ az storage blob url -c <container-name> -n <image-name>.vhd

   例如：

   $ az storage blob url -c azrhelclistcont -n rhel-image-9.vhd "https://azrhelclistact.blob.core.windows.net/azrhelclistcont/rhel-image-9.vhd"

3. 创建 Azure 自定义镜像。

   $ az image create -n <image-name> -g <resource-group> -l <azure-region> --source <URL> --os-type linux

   注意

   虚拟机的默认 hypervisor 系列为 V1。您可以通过包含 --hyper-v-generation V2 选项来（可选）指定 V2 管理程序生成。第二代虚拟机使用基于 UEFI 的引导架构。有关第 2 代虚拟机的信息，请参阅 对 Azure 上 2 代虚拟机的支持。

   命令可能会返回错误"Only blobs formatted as VHDs can be imported." 此错误可能意味着在转换为 VHD 之前，镜像与最接近的 1 MB 边界不一致。

   例如：

   $ az image create -n rhel9 -g azrhelclirsgrp2 -l southcentralus --source https://azrhelclistact.blob.core.windows.net/azrhelclistcont/rhel-image-9.vhd --os-type linux

流程

1. 输入以下命令来创建虚拟机。

   $ az vm create \
       -g <resource-group> -l <azure-region> -n <vm-name> \
       --vnet-name <vnet-name> --subnet <subnet-name> --size Standard_A2 \
       --os-disk-name <simple-name> --admin-username <administrator-name> \
       --generate-ssh-keys --image <path-to-image>

   注意

   选项 --generate-ssh-keys 创建私钥/公钥对。私钥和公钥文件创建在您系统上的 ~/.ssh 中。公钥被添加到 --admin-username 选项所指定的用户的虚拟机上的 authorized_keys 文件中。如需更多信息，请参阅其他身份验证方法 。

   Example:

   [clouduser@localhost]$ az vm create \
   -g azrhelclirsgrp2 -l southcentralus -n rhel-azure-vm-1 \
   --vnet-name azrhelclivnet1 --subnet azrhelclisubnet1 --size Standard_A2 \
   --os-disk-name vm-1-osdisk --admin-username clouduser \
   --generate-ssh-keys --image rhel9
   
   {
     "fqdns": "",
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Compute/virtualMachines/rhel-azure-vm-1",
     "location": "southcentralus",
     "macAddress": "",
     "powerState": "VM running",
     "privateIpAddress": "10.0.0.4",
     "publicIpAddress": "<public-IP-address>",
     "resourceGroup": "azrhelclirsgrp2"

   请注意 publicIpAddress。在以下步骤中，您需要这个地址来登录到虚拟机。

2. 启动 SSH 会话并登录到虚拟机。

   [clouduser@localhost]$ ssh -i /home/clouduser/.ssh/id_rsa clouduser@<public-IP-address>.
   The authenticity of host ',<public-IP-address>' can't be established.
   Are you sure you want to continue connecting (yes/no)? yes
   Warning: Permanently added '<public-IP-address>' (ECDSA) to the list of known hosts.
   
   [clouduser@rhel-azure-vm-1 ~]$

流程

1. 注册您的系统。

   # subscription-manager register --auto-attach

2. 附加您的订阅。

   • 您可以使用激活码来附加订阅。如需更多信息，请参阅创建红帽客户门户网站激活码。
   • 或者，您可以使用订阅池（池 ID）的 ID 手动附加订阅。请参阅通过命令行附加和删除订阅。

3. 可选： 要在 Red Hat Hybrid Cloud Console 中收集有关实例的各种系统指标，您可以使用 Red Hat Insights 注册实例。

   # insights-client register --display-name <display-name-value>

   有关 Red Hat Insights 进一步配置的详情，请参考 Red Hat Insights 的客户端配置指南。

步骤

1. 使用 Gold Image 在 Azure 实例中创建 RHEL 9 虚拟机。具体步骤请参阅在 Azure 中创建和启动虚拟机。
2. 启动创建的虚拟机。

3. 在 RHEL 9 虚拟机中，启用自动注册。

   # subscription-manager config --rhsmcertd.auto_registration=1

4. 启用 rhsmcertd 服务。

   # systemctl enable rhsmcertd.service

5. 禁用 redhat.repo 存储库。

   # subscription-manager config --rhsm.manage_repos=0

6. 关闭虚拟机，并将它保存为 Azure 上的受管镜像。具体说明请查看 如何创建虚拟机的受管镜像或 VHD。
7. 使用受管的镜像创建虚拟机。他们将自动订阅 RHSM。

步骤

1. 确定在您的系统中安装了 kdump 和其他必要的软件包。

   # dnf install kexec-tools

2. 验证崩溃转储文件的默认位置是否在 kdump 配置文件中设置，并且 /var/crash 文件是否可用。

   # grep -v "#" /etc/kdump.conf
   
   path /var/crash
   core_collector makedumpfile -l --message-level 7 -d 31

3. 根据 RHEL 虚拟机(VM)实例的大小和版本，决定是否需要一个具有更多可用空间的 vmcore 目标，如 /mnt/crash。为此，请使用下表。

   表 3.4. 在 Azure 上使用 GEN2 虚拟机 测试的虚拟机大小

   RHEL 版本	标准 DS1 v2 (1 vCPU, 3.5GiB)	标准 NV16as v4 (16 vCPU, 56 GiB)	Standard M416-208s v2 (208 vCPU, 5700 GiB)	标准 M416ms v2 (416 vCPU, 11400 GiB)
   RHEL 9.0 - RHEL 9.3	default	default	目标	目标

   • Default 表示 kdump 使用默认内存和默认 kdump 目标可以正常工作。默认 kdump 目标为 /var/crash。
   • target 表示 kdump 可以与默认内存按预期工作。但是，您可能需要分配具有更多可用空间的目标。

4. 如果您的实例需要它，分配一个具有更多可用空间的目标，如 /mnt/crash。为此，请编辑 /etc/kdump.conf 文件并替换默认路径。

   $ sed s/"path /var/crash"/"path /mnt/crash"

   选项 path /mnt/crash 代表 kdump 保存崩溃转储文件的文件系统的路径。

   有关更多选项，比如将崩溃转储文件写入不同的分区，直接写入设备或将其保存到远程机器中，请参阅配置 kdump 目标。

5. 如果您的实例需要它，请将崩溃内核大小增加到足够大小以便 kdump 通过添加相应的引导参数来捕获 vmcore。

   例如，对于标准 M416-208s v2 虚拟机，足够大小为 512 MB，因此引导参数应为 crashkernel=512M。

   1. 打开 GRUB 配置文件，并将 crashkernel=512M 添加到引导参数行中。

      # vi /etc/default/grub
      
      GRUB_CMDLINE_LINUX="console=tty1 console=ttyS0 earlyprintk=ttyS0 rootdelay=300 crashkernel=512M"

   2. 更新 GRUB 配置文件。

      • 在 RHEL 9.2 及更早版本中：

        # grub2-mkconfig -o /boot/grub2/grub.cfg

      • 在 RHEL 9.3 及更高版本中：

        # grub2-mkconfig -o /boot/grub2/grub.cfg --update-bls-cmdline

6. 重启虚拟机，为虚拟机分配单独的内核崩溃内存。

步骤

1. 使用 Azure 验证您的系统并登录。

   $ az login

   注意

   如果在您的环境中有浏览器，则 CLI 会打开浏览器到 Azure 登录页面。

   例如：

   [clouduser@localhost]$ az login
   
   To sign in, use a web browser to open the page https://aka.ms/devicelogin and enter the code FDMSCMETZ to authenticate.
     [
       {
         "cloudName": "AzureCloud",
         "id": "Subscription ID",
         "isDefault": true,
         "name": "MySubscriptionName",
         "state": "Enabled",
         "tenantId": "Tenant ID",
         "user": {
           "name": "clouduser@company.com",
           "type": "user"
         }
       }
     ]

2. 在 Azure 区域中创建资源组。

   $ az group create --name resource-group --location azure-region

   例如：

   [clouduser@localhost]$ az group create --name azrhelclirsgrp --location southcentralus
   
   {
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp",
     "location": "southcentralus",
     "managedBy": null,
     "name": "azrhelclirsgrp",
     "properties": {
       "provisioningState": "Succeeded"
     },
     "tags": null
   }

3. 创建存储帐户。

   $ az storage account create -l azure-region -n storage-account-name -g resource-group --sku sku_type --kind StorageV2

   例如：

   [clouduser@localhost]$ az storage account create -l southcentralus -n azrhelclistact -g azrhelclirsgrp --sku Standard_LRS --kind StorageV2
   
   {
     "accessTier": null,
     "creationTime": "2017-04-05T19:10:29.855470+00:00",
     "customDomain": null,
     "encryption": null,
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Storage/storageAccounts/azrhelclistact",
     "kind": "StorageV2",
     "lastGeoFailoverTime": null,
     "location": "southcentralus",
     "name": "azrhelclistact",
     "primaryEndpoints": {
       "blob": "https://azrhelclistact.blob.core.windows.net/",
       "file": "https://azrhelclistact.file.core.windows.net/",
       "queue": "https://azrhelclistact.queue.core.windows.net/",
       "table": "https://azrhelclistact.table.core.windows.net/"
   },
   "primaryLocation": "southcentralus",
   "provisioningState": "Succeeded",
   "resourceGroup": "azrhelclirsgrp",
   "secondaryEndpoints": null,
   "secondaryLocation": null,
   "sku": {
     "name": "Standard_LRS",
     "tier": "Standard"
   },
   "statusOfPrimary": "available",
   "statusOfSecondary": null,
   "tags": {},
     "type": "Microsoft.Storage/storageAccounts"
   }

4. 获取存储帐户连接字符串。

   $ az storage account show-connection-string -n storage-account-name -g resource-group

   例如：

   [clouduser@localhost]$ az storage account show-connection-string -n azrhelclistact -g azrhelclirsgrp
   {
     "connectionString": "DefaultEndpointsProtocol=https;EndpointSuffix=core.windows.net;AccountName=azrhelclistact;AccountKey=NreGk...=="
   }

5. 通过复制连接字符串并将其粘贴到以下命令来导出连接字符串。这个字符串将您的系统连接到存储帐户。

   $ export AZURE_STORAGE_CONNECTION_STRING="storage-connection-string"

   例如：

   [clouduser@localhost]$ export AZURE_STORAGE_CONNECTION_STRING="DefaultEndpointsProtocol=https;EndpointSuffix=core.windows.net;AccountName=azrhelclistact;AccountKey=NreGk...=="

6. 创建存储容器。

   $ az storage container create -n container-name

   例如：

   [clouduser@localhost]$ az storage container create -n azrhelclistcont
   
   {
     "created": true
   }

7. 创建虚拟网络。所有群集节点必须位于同一个虚拟网络中。

   $ az network vnet create -g resource group --name vnet-name --subnet-name subnet-name

   例如：

   [clouduser@localhost]$ az network vnet create --resource-group azrhelclirsgrp --name azrhelclivnet1 --subnet-name azrhelclisubnet1
   {
     "newVNet": {
       "addressSpace": {
         "addressPrefixes": [
         "10.0.0.0/16"
         ]
     },
     "dhcpOptions": {
       "dnsServers": []
     },
     "etag": "W/\"\"",
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Network/virtualNetworks/azrhelclivnet1",
     "location": "southcentralus",
     "name": "azrhelclivnet1",
     "provisioningState": "Succeeded",
     "resourceGroup": "azrhelclirsgrp",
     "resourceGuid": "0f25efee-e2a6-4abe-a4e9-817061ee1e79",
     "subnets": [
       {
         "addressPrefix": "10.0.0.0/24",
         "etag": "W/\"\"",
         "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Network/virtualNetworks/azrhelclivnet1/subnets/azrhelclisubnet1",
         "ipConfigurations": null,
         "name": "azrhelclisubnet1",
         "networkSecurityGroup": null,
         "provisioningState": "Succeeded",
         "resourceGroup": "azrhelclirsgrp",
         "resourceNavigationLinks": null,
         "routeTable": null
       }
     ],
     "tags": {},
     "type": "Microsoft.Network/virtualNetworks",
     "virtualNetworkPeerings": null
     }
   }

8. 创建可用性集。所有集群节点都必须处于相同的可用性集。

   $ az vm availability-set create --name MyAvailabilitySet --resource-group MyResourceGroup

   例如：

   [clouduser@localhost]$ az vm availability-set create --name rhelha-avset1 --resource-group azrhelclirsgrp
   {
     "additionalProperties": {},
       "id": "/subscriptions/.../resourceGroups/azrhelclirsgrp/providers/Microsoft.Compute/availabilitySets/rhelha-avset1",
       "location": "southcentralus",
       "name": “rhelha-avset1",
       "platformFaultDomainCount": 2,
       "platformUpdateDomainCount": 5,
   
   [omitted]

流程

1. 输入以下 grep 命令，来确定是否已安装了所需的 Hyper-V 设备驱动程序：

   # lsinitrd | grep hv

   在以下示例中安装了所有必需的驱动程序。

   # lsinitrd | grep hv
   drwxr-xr-x   2 root     root            0 Aug 12 14:21 usr/lib/modules/3.10.0-932.el9.x86_64/kernel/drivers/hv
   -rw-r--r--   1 root     root        31272 Aug 11 08:45 usr/lib/modules/3.10.0-932.el9.x86_64/kernel/drivers/hv/hv_vmbus.ko.xz
   -rw-r--r--   1 root     root        25132 Aug 11 08:46 usr/lib/modules/3.10.0-932.el9.x86_64/kernel/drivers/net/hyperv/hv_netvsc.ko.xz
   -rw-r--r--   1 root     root         9796 Aug 11 08:45 usr/lib/modules/3.10.0-932.el9.x86_64/kernel/drivers/scsi/hv_storvsc.ko.xz

   如果没有安装所有驱动程序，请完成剩余的步骤。

   注意

   环境中可能存在 hv_vmbus 驱动程序。即使存在这个驱动程序，请完成以下步骤。

2. 在 /etc/dracut.conf.d 中创建一个名为 hv.conf 的文件。

3. 在 hv.conf 文件中添加以下驱动程序参数。

   add_drivers+=" hv_vmbus "
   add_drivers+=" hv_netvsc "
   add_drivers+=" hv_storvsc "
   add_drivers+=" nvme "

   注意

   请注意引号前后的空格，例如 add_drivers+=" hv_vmbus "。这样可确保在环境中存在其他 Hyper-V 驱动程序时载入唯一驱动程序。

4. 重新生成 initramfs 镜像。

   # dracut -f -v --regenerate-all

验证

1. 重启机器。
2. 运行 lsinitrd | grep hv 命令来验证是否已安装了驱动程序。

步骤

1. 登录到虚拟机。

2. 注册虚拟机并启用 Red Hat Enterprise Linux 9 软件仓库。

   # subscription-manager register --auto-attach
   Installed Product Current Status:
   Product Name: Red Hat Enterprise Linux for x86_64
   Status: Subscribed

3. 确保安装了 cloud-init 和 hyperv-daemons 软件包。

   # dnf install cloud-init hyperv-daemons -y

4. 创建与 Azure 服务集成的所需的 cloud-init 配置文件：

   1. 要启用登录到 Hyper-V Data Exchange Service(KVP)，请创建 /etc/cloud/cloud.cfg.d/10-azure-kvp.cfg 配置文件并将以下行添加到该文件中。

      reporting:
          logging:
              type: log
          telemetry:
              type: hyperv

   2. 要将 Azure 添加为数据源，请创建 /etc/cloud/cloud.cfg.d/91-azure_datasource.cfg 配置文件，并将下面几行添加到该文件中。

      datasource_list: [ Azure ]
      datasource:
          Azure:
              apply_network_config: False

5. 要确保特定内核模块自动被阻止，请编辑或创建 /etc/modprobe.d/blocklist.conf 文件，并将下面几行添加到该文件中。

   blacklist nouveau
   blacklist lbm-nouveau
   blacklist floppy
   blacklist amdgpu
   blacklist skx_edac
   blacklist intel_cstate

6. 修改 udev 网络设备规则：

   1. 如果存在，请删除以下持久性网络设备规则。

      # rm -f /etc/udev/rules.d/70-persistent-net.rules
      # rm -f /etc/udev/rules.d/75-persistent-net-generator.rules
      # rm -f /etc/udev/rules.d/80-net-name-slot-rules

   2. 要确保在 Azure 上的 Accelerated Networking 可以正常工作，请创建一个新的网络设备规则 /etc/udev/rules.d/68-azure-sriov-nm-unmanaged.rules，并将其添加到其中。

      SUBSYSTEM=="net", DRIVERS=="hv_pci", ACTION=="add", ENV{NM_UNMANAGED}="1"

7. 将 sshd 服务设置为自动启动。

   # systemctl enable sshd
   # systemctl is-enabled sshd

8. 修改内核引导参数：

   1. 打开 /etc/default/grub 文件，并确保 GRUB_TIMEOUT 行具有以下值：

      GRUB_TIMEOUT=10

   2. 从 GRUB_CMDLINE_LINUX 行末尾删除以下选项（如果存在）。

      rhgb quiet

   3. 确保 /etc/default/grub 文件含有所有指定选项的以下行：

      GRUB_CMDLINE_LINUX="loglevel=3 crashkernel=auto console=tty1 console=ttyS0 earlyprintk=ttyS0 rootdelay=300"
      GRUB_TIMEOUT_STYLE=countdown
      GRUB_TERMINAL="serial console"
      GRUB_SERIAL_COMMAND="serial --speed=115200 --unit=0 --word=8 --parity=no --stop=1"

   4. 重新生成 grub.cfg 文件。

      • 在基于 BIOS 的机器上：

        • 在 RHEL 9.2 及更早版本中：

          # grub2-mkconfig -o /boot/grub2/grub.cfg

        • 在 RHEL 9.3 及更高版本中：

          # grub2-mkconfig -o /boot/grub2/grub.cfg --update-bls-cmdline

      • 在基于 UEFI 的机器上：

        • 在 RHEL 9.2 及更早版本中：

          # grub2-mkconfig -o /boot/efi/EFI/redhat/grub.cfg

        • 在 RHEL 9.3 及更高版本中：

          # grub2-mkconfig -o /boot/efi/EFI/redhat/grub.cfg --update-bls-cmdline

          如果您的系统对 grub.cfg 使用非默认位置，请相应地调整该命令。

9. 配置 Windows Azure Linux 代理 (WALinuxAgent)：

   1. 安装并启用 WALinuxAgent 软件包。

      # dnf install WALinuxAgent -y
      # systemctl enable waagent

   2. 要确保在置备的虚拟机中没有使用交换分区，请编辑 /etc/waagent.conf 文件中的以下行：

      Provisioning.DeleteRootPassword=y
      ResourceDisk.Format=n
      ResourceDisk.EnableSwap=n

10. 为 Azure 置备准备虚拟机：

    1. 从 Red Hat Subscription Manager 取消注册虚拟机。

       # subscription-manager unregister

    2. 清理现有的置备详情。

       # waagent -force -deprovision

       注意

       这个命令会生成警告，因为 Azure 会自动处理虚拟机的置备。

    3. 清理 shell 历史记录并关闭虚拟机。

       # export HISTSIZE=0
       # poweroff

流程

1. 在 HA 集群的任何节点上，登录到您的 Azure 帐户。

   $ az login

2. 为 Azure 隔离代理的自定义角色创建一个 json 配置文件。使用以下配置，但将 <subscription-id> 替换为您的订阅 ID。

   {
         "Name": "Linux Fence Agent Role",
         "description": "Allows to power-off and start virtual machines",
         "assignableScopes": [
                 "/subscriptions/<subscription-id>"
         ],
         "actions": [
                 "Microsoft.Compute/*/read",
                 "Microsoft.Compute/virtualMachines/powerOff/action",
                 "Microsoft.Compute/virtualMachines/start/action"
         ],
         "notActions": [],
         "dataActions": [],
         "notDataActions": []
   }

3. 为 Azure 隔离代理定义自定义角色。使用上一步中创建的 json 文件来进行此操作。

   $ az role definition create --role-definition azure-fence-role.json
   
   {
     "assignableScopes": [
       "/subscriptions/<my-subscription-id>"
     ],
     "description": "Allows to power-off and start virtual machines",
     "id": "/subscriptions/<my-subscription-id>/providers/Microsoft.Authorization/roleDefinitions/<role-id>",
     "name": "<role-id>",
     "permissions": [
       {
         "actions": [
           "Microsoft.Compute/*/read",
           "Microsoft.Compute/virtualMachines/powerOff/action",
           "Microsoft.Compute/virtualMachines/start/action"
         ],
         "dataActions": [],
         "notActions": [],
         "notDataActions": []
       }
     ],
     "roleName": "Linux Fence Agent Role",
     "roleType": "CustomRole",
     "type": "Microsoft.Authorization/roleDefinitions"
   }

4. 在 Azure web 控制台界面中，选择 Virtual Machine → 点击左侧菜单中的 Identity 。
5. 选择 On → 点 Save → 点 Yes 来确认。
6. 点 Azure role assignments → Add role assignment。
7. 选择角色所需的Scope，如 Resource Group。
8. 选择所需的 Resource Group。
9. 可选： 如果需要，更改 Subscription。
10. 选择 Linux Fence Agent Role 角色。
11. 点击 Save。

流程

1. 将镜像从 qcow2 转换为 raw 格式。

   $ qemu-img convert -f qcow2 -O raw <image-name>.qcow2 <image-name>.raw

2. 创建一个具有以下内容的 shell 脚本：

   #!/bin/bash
   MB=$((1024 * 1024))
   size=$(qemu-img info -f raw --output json "$1" | gawk 'match($0, /"virtual-size": ([0-9]+),/, val) {print val[1]}')
   rounded_size=$((($size/$MB + 1) * $MB))
   if [ $(($size % $MB)) -eq  0 ]
   then
    echo "Your image is already aligned. You do not need to resize."
    exit 1
   fi
   echo "rounded size = $rounded_size"
   export rounded_size

3. 运行脚本。本例使用名称 align.sh 。

   $ sh align.sh <image-xxx>.raw

   • 如需显示 "Your image is already aligned.You do not need to resize."，执行以下步骤。
   • 如果显示了一个值，代表您的镜像没有被对齐。

4. 使用以下命令来将文件转换为固定的 VHD 格式：

   示例使用 qemu-img 版本 2.12.0。

   $ qemu-img convert -f raw -o subformat=fixed,force_size -O vpc <image-xxx>.raw <image.xxx>.vhd

   转换后，VHD 文件就可以上传到 Azure。

5. 如果 raw 镜像不一致，请完成以下步骤使其保持一致。

   1. 使用运行验证脚本时显示的舍入值来调整 raw 文件的大小。

      $ qemu-img resize -f raw <image-xxx>.raw <rounded-value>

   2. 将 raw 镜像文件转换为 VHD 格式。

      示例使用 qemu-img 版本 2.12.0。

      $ qemu-img convert -f raw -o subformat=fixed,force_size -O vpc <image-xxx>.raw <image.xxx>.vhd

      转换后，VHD 文件就可以上传到 Azure。

步骤

1. 将 VHD 文件上传到存储容器。它可能需要几分钟时间。要获取存储容器的列表，请输入 az storage container list 命令。

   $ az storage blob upload \
       --account-name <storage-account-name> --container-name <container-name> \
       --type page --file <path-to-vhd> --name <image-name>.vhd

   Example:

   [clouduser@localhost]$ az storage blob upload \
   --account-name azrhelclistact --container-name azrhelclistcont \
   --type page --file rhel-image-{ProductNumber}.vhd --name rhel-image-{ProductNumber}.vhd
   
   Percent complete: %100.0

2. 获取上传的 VHD 文件的 URL，以便在下面的步骤中使用。

   $ az storage blob url -c <container-name> -n <image-name>.vhd

   Example:

   $ az storage blob url -c azrhelclistcont -n rhel-image-9.vhd "https://azrhelclistact.blob.core.windows.net/azrhelclistcont/rhel-image-9.vhd"

3. 创建 Azure 自定义镜像。

   $ az image create -n <image-name> -g <resource-group> -l <azure-region> --source <URL> --os-type linux

   注意

   虚拟机的默认 hypervisor 系列为 V1。您可以通过包含 --hyper-v-generation V2 选项来（可选）指定 V2 管理程序生成。第二代虚拟机使用基于 UEFI 的引导架构。有关第 2 代虚拟机的信息，请参阅 对 Azure 上 2 代虚拟机的支持。

   命令可能会返回错误"Only blobs formatted as VHDs can be imported." 此错误可能意味着在转换为 VHD 之前，镜像与最接近的 1 MB 边界不一致。

   Example:

   $ az image create -n rhel9 -g azrhelclirsgrp2 -l southcentralus --source https://azrhelclistact.blob.core.windows.net/azrhelclistcont/rhel-image-9.vhd --os-type linux

流程

1. 启动一个 SSH 终端会话，并使用管理员名称和公共 IP 地址连接到虚拟机。

   $ ssh administrator@PublicIP

   要获取 Azure 虚拟机的公共 IP 地址，请在 Azure 门户网站中打开虚拟机属性，或者输入以下 Azure CLI 命令。

   $ az vm list -g <resource-group> -d --output table

   例如：

   [clouduser@localhost ~] $ az vm list -g azrhelclirsgrp -d --output table
   Name    ResourceGroup           PowerState      PublicIps        Location
   ------  ----------------------  --------------  -------------    --------------
   node01  azrhelclirsgrp          VM running      192.98.152.251    southcentralus

2. 在红帽注册虚拟机。

   $ sudo -i
   # subscription-manager register --auto-attach

   注意

   如果 --auto-attach 命令失败，请手动将虚拟机注册到您的订阅。

3. 禁用所有软件仓库。

   # subscription-manager repos --disable=*

4. 启用 RHEL 9 服务器 HA 软件仓库。

   # subscription-manager repos --enable=rhel-9-for-x86_64-highavailability-rpms

5. 更新所有软件包。

   # dnf update -y

6. 安装红帽高可用性附加组件软件包，以及来自高可用性频道的 Azure 隔离代理。

   # dnf install pcs pacemaker fence-agents-azure-arm

7. 用户 hacluster 是在上一步中的 pcs 和 pacemaker 安装过程中创建的。在所有群集节点上为 hacluster 创建密码。所有节点都使用相同的密码。

   # passwd hacluster

8. 如果安装了 firewalld.service，请在 RHEL Firewall 中添加 high availability 服务。

   # firewall-cmd --permanent --add-service=high-availability
   # firewall-cmd --reload

9. 启动 pcs 服务，并使其在引导时启动。

   # systemctl start pcsd.service
   # systemctl enable pcsd.service
   
   Created symlink from /etc/systemd/system/multi-user.target.wants/pcsd.service to /usr/lib/systemd/system/pcsd.service.

流程

1. 在其中一个节点上，输入以下命令来验证 pcs 用户 hacluster。在该命令中，指定集群中的每个节点的名称。

   # pcs host auth <hostname1> <hostname2> <hostname3>

   Example:

   [root@node01 clouduser]# pcs host auth node01 node02 node03
   Username: hacluster
   Password:
   node01: Authorized
   node02: Authorized
   node03: Authorized

2. 创建集群。

   # pcs cluster setup <cluster_name> <hostname1> <hostname2> <hostname3>

   Example:

   [root@node01 clouduser]# pcs cluster setup new_cluster node01 node02 node03
   
   [...]
   
   Synchronizing pcsd certificates on nodes node01, node02, node03...
   node02: Success
   node03: Success
   node01: Success
   Restarting pcsd on the nodes in order to reload the certificates...
   node02: Success
   node03: Success
   node01: Success

验证

1. 启用集群。

   [root@node01 clouduser]# pcs cluster enable --all
   node02: Cluster Enabled
   node03: Cluster Enabled
   node01: Cluster Enabled

2. 启动集群。

   [root@node01 clouduser]# pcs cluster start --all
   node02: Starting Cluster...
   node03: Starting Cluster...
   node01: Starting Cluster...

步骤

1. 识别每个 RHEL 虚拟机的 Azure 节点名称。您可以使用 Azure 节点名称来配置隔离设备。

   # fence_azure_arm \
       -l <AD-Application-ID> -p <AD-Password> \
       --resourceGroup <MyResourceGroup> --tenantId <Tenant-ID> \
       --subscriptionId <Subscription-ID> -o list

   例如：

   [root@node01 clouduser]# fence_azure_arm \
   -l e04a6a49-9f00-xxxx-xxxx-a8bdda4af447 -p z/a05AwCN0IzAjVwXXXXXXXEWIoeVp0xg7QT//JE=
   --resourceGroup azrhelclirsgrp --tenantId 77ecefb6-cff0-XXXX-XXXX-757XXXX9485
   --subscriptionId XXXXXXXX-38b4-4527-XXXX-012d49dfc02c -o list
   
   node01,
   node02,
   node03,

2. 查看 Azure ARM STONITH 代理的选项。

   # pcs stonith describe fence_azure_arm

   例如：

   # pcs stonith describe fence_apc
   Stonith options:
   password: Authentication key
   password_script: Script to run to retrieve password

   警告

   对于提供方法选项的隔离代理，请不要指定循环值，因为它不被支持，并可能导致数据崩溃。

   有些隔离设备只能隔离一个节点，其他设备则可能隔离多个节点。您创建隔离设备时指定的参数取决于您的隔离设备的支持和要求。

   您可以在创建隔离设备时使用 pcmk_host_list 参数，以指定由该隔离设备控制的所有机器。

   在创建隔离设备时，您可以使用 pcmk_host_map 参数将主机名映射到包含隔离设备的规范。

3. 创建隔离设备。

   # pcs stonith create clusterfence fence_azure_arm

验证

1. 测试其他其中一个节点的隔离代理。

   # pcs stonith fence azurenodename

   例如：

   [root@node01 clouduser]# pcs status
   Cluster name: newcluster
   Stack: corosync
   Current DC: node01 (version 1.1.18-11.el7-2b07d5c5a9) - partition with quorum
   Last updated: Fri Feb 23 11:44:35 2018
   Last change: Fri Feb 23 11:21:01 2018 by root via cibadmin on node01
   
   3 nodes configured
   1 resource configured
   
   Online: [ node01 node03 ]
   OFFLINE: [ node02 ]
   
   Full list of resources:
   
     clusterfence  (stonith:fence_azure_arm):  Started node01
   
   Daemon Status:
     corosync: active/disabled
     pacemaker: active/disabled
     pcsd: active/enabled

2. 启动上一步中隔离的节点。

   # pcs cluster start <hostname>

3. 检查状态以验证节点已启动。

   # pcs status

   例如：

   [root@node01 clouduser]# pcs status
   Cluster name: newcluster
   Stack: corosync
   Current DC: node01 (version 1.1.18-11.el7-2b07d5c5a9) - partition with quorum
   Last updated: Fri Feb 23 11:34:59 2018
   Last change: Fri Feb 23 11:21:01 2018 by root via cibadmin on node01
   
   3 nodes configured
   1 resource configured
   
   Online: [ node01 node02 node03 ]
   
   Full list of resources:
   
   clusterfence    (stonith:fence_azure_arm):  Started node01
   
   Daemon Status:
     corosync: active/disabled
     pacemaker: active/disabled
     pcsd: active/enabled

流程

1. 创建基本负载均衡器。为 IP 地址分配类型选择 Internal load balancer、Basic SKU 和 Dynamic。
2. 创建后端地址池。将后端池与在 HA 中创建 Azure 资源时创建的可用性集关联。不要设置任何目标网络 IP 配置。
3. 创建健康探测。对于健康探测，选择 TCP 并输入端口 61000。您可以使用不会影响到另一个服务的 TCP 端口号。对于某些 HA 产品应用（如 SAP HANA 和 SQL Server），您可能需要与 Microsoft 合作以确定要使用的正确端口。
4. 创建负载均衡规则。要创建负载均衡规则，默认值会预先填充。确保将 Floating IP (direct server return) 设置为 Enabled。

步骤

1. 在所有节点上安装 nmap-ncat 资源代理。

   # dnf install nmap-ncat resource-agents-cloud

   在单个节点上执行以下步骤。

2. 创建 pcs 资源和组。将负载均衡器 FrontendIP 用于 IPaddr2 地址。

   # pcs resource create resource-name IPaddr2 ip="10.0.0.7" --group cluster-resources-group

3. 配置 负载平衡 资源代理。

   # pcs resource create resource-loadbalancer-name azure-lb port=port-number --group cluster-resources-group

流程

1. 使用 Azure 命令 az disk create 创建一个共享块卷。

   $ az disk create -g <resource_group> -n <shared_block_volume_name> --size-gb <disk_size> --max-shares <number_vms> -l <location>

   例如，以下命令在 Azure Availability Zone westcentralus 的资源组 sharedblock 中创建名为 shared-block-volume.vhd 的共享块卷。

   $ az disk create -g sharedblock-rg -n shared-block-volume.vhd --size-gb 1024 --max-shares 3 -l westcentralus
   
   {
     "creationData": {
       "createOption": "Empty",
       "galleryImageReference": null,
       "imageReference": null,
       "sourceResourceId": null,
       "sourceUniqueId": null,
       "sourceUri": null,
       "storageAccountId": null,
       "uploadSizeBytes": null
     },
     "diskAccessId": null,
     "diskIopsReadOnly": null,
     "diskIopsReadWrite": 5000,
     "diskMbpsReadOnly": null,
     "diskMbpsReadWrite": 200,
     "diskSizeBytes": 1099511627776,
     "diskSizeGb": 1024,
     "diskState": "Unattached",
     "encryption": {
       "diskEncryptionSetId": null,
       "type": "EncryptionAtRestWithPlatformKey"
     },
     "encryptionSettingsCollection": null,
     "hyperVgeneration": "V1",
     "id": "/subscriptions/12345678910-12345678910/resourceGroups/sharedblock-rg/providers/Microsoft.Compute/disks/shared-block-volume.vhd",
     "location": "westcentralus",
     "managedBy": null,
     "managedByExtended": null,
     "maxShares": 3,
     "name": "shared-block-volume.vhd",
     "networkAccessPolicy": "AllowAll",
     "osType": null,
     "provisioningState": "Succeeded",
     "resourceGroup": "sharedblock-rg",
     "shareInfo": null,
     "sku": {
       "name": "Premium_LRS",
       "tier": "Premium"
     },
     "tags": {},
     "timeCreated": "2020-08-27T15:36:56.263382+00:00",
     "type": "Microsoft.Compute/disks",
     "uniqueId": "cd8b0a25-6fbe-4779-9312-8d9cbb89b6f2",
     "zones": null
   }

2. 验证您是否已使用 Azure 命令 az disk show 创建了共享块卷。

   $ az disk show -g <resource_group> -n <shared_block_volume_name>

   例如，以下命令显示资源组 sharedblock-rg 中共享块卷 shared-block-volume.vhd 的详细信息。

   $ az disk show -g sharedblock-rg -n shared-block-volume.vhd
   
   {
     "creationData": {
       "createOption": "Empty",
       "galleryImageReference": null,
       "imageReference": null,
       "sourceResourceId": null,
       "sourceUniqueId": null,
       "sourceUri": null,
       "storageAccountId": null,
       "uploadSizeBytes": null
     },
     "diskAccessId": null,
     "diskIopsReadOnly": null,
     "diskIopsReadWrite": 5000,
     "diskMbpsReadOnly": null,
     "diskMbpsReadWrite": 200,
     "diskSizeBytes": 1099511627776,
     "diskSizeGb": 1024,
     "diskState": "Unattached",
     "encryption": {
       "diskEncryptionSetId": null,
       "type": "EncryptionAtRestWithPlatformKey"
     },
     "encryptionSettingsCollection": null,
     "hyperVgeneration": "V1",
     "id": "/subscriptions/12345678910-12345678910/resourceGroups/sharedblock-rg/providers/Microsoft.Compute/disks/shared-block-volume.vhd",
     "location": "westcentralus",
     "managedBy": null,
     "managedByExtended": null,
     "maxShares": 3,
     "name": "shared-block-volume.vhd",
     "networkAccessPolicy": "AllowAll",
     "osType": null,
     "provisioningState": "Succeeded",
     "resourceGroup": "sharedblock-rg",
     "shareInfo": null,
     "sku": {
       "name": "Premium_LRS",
       "tier": "Premium"
     },
     "tags": {},
     "timeCreated": "2020-08-27T15:36:56.263382+00:00",
     "type": "Microsoft.Compute/disks",
     "uniqueId": "cd8b0a25-6fbe-4779-9312-8d9cbb89b6f2",
     "zones": null
   }

3. 使用 Azure 命令 az network nic create 创建三个网络接口。对每个网络接口使用不同的 <nic_name> 来运行以下命令三次。

   $ az network nic create \
       -g <resource_group> -n <nic_name> --subnet <subnet_name> \
       --vnet-name <virtual_network> --location <location> \
       --network-security-group <network_security_group> --private-ip-address-version IPv4

   例如，以下命令创建一个名为 shareblock-nodea-vm-nic-protected 的网络接口：

   $ az network nic create \
       -g sharedblock-rg -n sharedblock-nodea-vm-nic-protected --subnet sharedblock-subnet-protected \
       --vnet-name sharedblock-vn --location westcentralus \
       --network-security-group sharedblock-nsg --private-ip-address-version IPv4

4. 使用 Azure 命令 az vm create 创建三个虚拟机并附加共享块卷。每个虚拟机的选项值都相同，但每个虚拟机都有自己的 <vm_name>、<new_vm_disk_name> 和 <nic_name>。

   $ az vm create \
       -n <vm_name> -g <resource_group> --attach-data-disks <shared_block_volume_name> \
       --data-disk-caching None --os-disk-caching ReadWrite --os-disk-name <new-vm-disk-name> \
       --os-disk-size-gb <disk_size> --location <location> --size <virtual_machine_size> \
       --image <image_name> --admin-username <vm_username> --authentication-type ssh \
       --ssh-key-values <ssh_key> --nics <nic_name> --availability-set <availability_set> --ppg <proximity_placement_group>

   例如，以下命令创建名为 sharedblock-nodea-vm 的虚拟机：

   $ az vm create \
   -n sharedblock-nodea-vm -g sharedblock-rg --attach-data-disks shared-block-volume.vhd \
   --data-disk-caching None --os-disk-caching ReadWrite --os-disk-name sharedblock-nodea-vm.vhd \
   --os-disk-size-gb 64 --location westcentralus --size Standard_D2s_v3 \
   --image /subscriptions/12345678910-12345678910/resourceGroups/sample-azureimagesgroupwestcentralus/providers/Microsoft.Compute/images/sample-azure-rhel-9.3.0-20200713.n.0.x86_64 --admin-username sharedblock-user --authentication-type ssh \
   --ssh-key-values @sharedblock-key.pub --nics sharedblock-nodea-vm-nic-protected --availability-set sharedblock-as --ppg sharedblock-ppg
   
   {
     "fqdns": "",
     "id": "/subscriptions/12345678910-12345678910/resourceGroups/sharedblock-rg/providers/Microsoft.Compute/virtualMachines/sharedblock-nodea-vm",
     "location": "westcentralus",
     "macAddress": "00-22-48-5D-EE-FB",
     "powerState": "VM running",
     "privateIpAddress": "198.51.100.3",
     "publicIpAddress": "",
     "resourceGroup": "sharedblock-rg",
     "zones": ""
   }

验证

1. 对于集群中的每个虚拟机，使用 ssh 命令和虚拟机的 IP 地址验证块设备是否可用。

   # ssh <ip_address> "hostname ; lsblk -d | grep ' 1T '"

   例如，以下命令列出了虚拟机 IP 198.51.100.3 的详细信息，其中包括主机名和块设备。

   # ssh 198.51.100.3 "hostname ; lsblk -d | grep ' 1T '"
   
   nodea
   sdb    8:16   0    1T  0 disk

2. 使用 ssh 命令来验证集群中的每个虚拟机是否使用相同的共享磁盘。

   # ssh <ip_address> "hostname ; lsblk -d | grep ' 1T ' | awk '{print \$1}' | xargs -i udevadm info --query=all --name=/dev/{} | grep '^E: ID_SERIAL='"

   例如，以下命令列出了 IP 地址为 198.51.100.3 的实例的详细信息，其中包括主机名和共享磁盘卷 ID 。

   # ssh 198.51.100.3 "hostname ; lsblk -d | grep ' 1T ' | awk '{print \$1}' | xargs -i udevadm info --query=all --name=/dev/{} | grep '^E: ID_SERIAL='"
   
   nodea
   E: ID_SERIAL=3600224808dd8eb102f6ffc5822c41d89