PVE服务器配置及常见问题处理




1、新装配置
取消订阅 sed -i “s/data.status !== ‘Active’/false/g” /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js
更换源 rm -rf /etc/apt/sources.list.d/pve-enterprise.list
wget http://download.proxmox.com/debian/proxmox-ve-release-6.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-6.x.gpg
echo “deb http://download.proxmox.com/debian/pve buster pve-no-subscription” >/etc/apt/sources.list.d/pve-install-repo.list
echo “deb http://mirrors.aliyun.com/debian/ buster main non-free contrib deb-src http://mirrors.aliyun.com/debian/ buster main non-free contrib deb http://mirrors.aliyun.com/debian-security buster/updates main deb-src http://mirrors.aliyun.com/debian-security buster/updates main deb http://mirrors.aliyun.com/debian/ buster-updates main non-free contrib deb-src http://mirrors.aliyun.com/debian/ buster-updates main non-free contrib deb http://mirrors.aliyun.com/debian/ buster-backports main non-free contrib deb-src http://mirrors.aliyun.com/debian/ buster-backports main non-free contrib” > /etc/apt/sources.list
apt update
更换LXC国内源
grep -rn “download.proxmox.com” /usr/share/perl5/PVE/* #查找设定下载源的文件 sed -i.bak “s#http://download.proxmox.com/images#https://mirrors.ustc.edu.cn/proxmox/images#g” /usr/share/perl5/PVE/APLInfo.pm wget -O /var/lib/pve-manager/apl-info/mirrors.ustc.edu.cn https://mirrors.ustc.edu.cn/proxmox/images/aplinfo-pve-6.dat
安装时间同步服务 apt-get install ntp -y
2、虚拟机迁移时需要确认几个问题
1、先将虚拟机的磁盘 通过硬件 中的 迁移磁盘 移到共享磁盘中。 2、再用迁移，将服务迁移过去。 3、迁移时需确认硬件，目标服务器是否满足硬盘需求。不能满足的需要先调整。
3、硬盘空间调小
3.0调整虚拟机硬盘的大小
查看虚拟机硬盘信息
fdisk -l 查看虚拟机硬盘路径 lvdisplay 查看虚拟机硬盘大小 lvs 调小虚拟机硬盘2G，备注：调整前先将系统内的硬盘调为未分配状态。 lvreduce -L -2G /dev/pve/vm-100-disk-0
3.1增加 或减小 local 目录的大小即扩容
首先执行命令 fdisk -l ，查看/dev/mapper/pve-root大小，显示内容大概如下面的：
Disk /dev/mapper/pve-root: 4.5 GiB, 4831838208 bytes, 9437184 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

然后对 /dev/mapper/pve-root 扩容，命令如下，即增加1G的空间.
lvextend -L +1G /dev/mapper/pve-root

执行后实际大小其实是还不会变化的,还需要下边的命令, 作用是执行上边的扩容操作 resize2fs /dev/mapper/pve-root
3.2如何要删除 local-vm 然后把所有的空间都移到 local下，那么如何操作。
1.先移除local-lvm对应的逻辑卷pve/data
lvremove pve/data

2.对local对应的逻辑卷/dev/mapper/pve-root进行在线扩容
lvextend -l +100%FREE -r /dev/mapper/pve-root

3、执行后实际大小其实是还不会变化的,还需要下边的命令, 作用是执行上边的扩容操作
resize2fs /dev/mapper/pve-root

4、Web中依次展开数据中心-存储，编辑local-lvm，把local-lvm中对应节点移除即可。
5、还有在数据中心-存储，编辑local，内容下拉菜单中把所有的内容都选上，以便这个空间可以储存磁盘映像。
4、开启PVE嵌套虚拟化功能
通过命令检验嵌套虚拟化功能是否已被开启：
vim /sys/module/kvm_intel/parameters/nested N
开启内核支持：
modprobe -r kvm_intel modprobe kvm_intel nested=1
现在再看看nested是否已开启：
cat /sys/module/kvm_intel/parameters/nested Y
编辑配置文件：
echo “options kvm_intel nested=1” >> /etc/modprobe.d/modprobe.conf
5、查看和关闭虚拟机
列出所有虚拟机：
qm list 关闭虚拟机：
qm stop
6、镜像转换
qemu-img convert disk.qcow2 disk.vmdk
7、迁移相关设置
PVE迁移的类型分加密（secure）或不加密（insecure） secure迁移 优点：信息安全，加密迁移 缺点：非常耗费host主机的CPU资源，且迁移速度慢 insecure迁移 优点：迁移速度快，对host主机的资源消耗小 缺点：不是加密迁移，信息安全需要考虑 如果在网络完全自主可控的情况下，可以考虑insecure迁移
迁移类型在配置文件中设置，web控制台无法设置 进入任意host节点----shell root@m71:~# cat /etc/pve/datacenter.cfg keyboard: en-us migration: network=172.18.171.71/24,type=insecure type可以设置为 加密secure（默认）不加密insecure
8、其它
如果只希望使用所有节点的列表，请使用： pvecm nodes
使分离的集群网络 添加回节点 将节点添加到具有独立集群网络的集群中时，需要使用link0参数设置该网络上的节点地址：
pvecm add IP-ADDRESS-CLUSTER -link0 LOCAL-IP-ADDRESS-LINK0
删除集群节点 pvecm delnode 节点名称
proxmox 退出集群 1、在需要退出集群的node上停止pve-cluster 服务 systemctl stop pve-cluster.service
systemctl stop corosync.service
2、node上集群系统文件设置未本地模式 pmxcfs -l
3、删除 corosync 配置文件 rm /etc/pve/corosync.conf
rm -rf /etc/corosync/*

4、重新启动集群文件系统服务 killall pmxcfs
systemctl start pve-cluster.service
一个三节点的PVE 6.1+CEPH集群，因为系统损坏，全部重新安装。 注意： 逐一重装系统／重新加入PVE集群／重新加入CEPH集群；
先禁用ceph的recover，避免其因OSD丢失重建：任一节点执行： for i in noout nobackfill norecover;do ceph osd set $i;done
重新加入pve集群前确保已经从集群中删除
步骤 1.备份配置和证书
备份到/root/bak/目录下，然后打包拷贝到其他地方保存(别忘了，否则就不能还原了)：
systemctl stop pvestatd.service systemctl stop pvedaemon.service systemctl stop pve-cluster.service
tar -czf /root/bak/pve-cluster-backup.tar.gz /var/lib/pve-cluster tar -czf /root/bak/ssh-backup.tar.gz /root/.ssh tar -czf /root/bak/corosync-backup.tar.gz /etc/corosync cp /etc/hosts /root/bak/ cp /etc/network/interfaces /root/bak/ tar cjvf bak-$(hostname).tgz /root/bak 2.从pve集群删除节点
节点xxx关机，然后在其他节点删除该节点，下面的xxx就是节点名：
pvecm nodes pvecm delnode xxx pvecm updatecerts 3.重新安装PVE
尽量和以前一致，尤其主机名/IP地址。 4.恢复备份的配置和证书
把刚才的备份拷贝回来还原，按照原来的目录
tar xjvf bak-xxx.tgz cp /root/bak/hosts /etc/hosts cp /root/bak/interfaces /etc/network/interfaces systemctl stop pvestatd.service systemctl stop pvedaemon.service systemctl stop pve-cluster.service
cd / ; tar -xvzf /root/bak/ssh-backup.tar.gz rm -rf /var/lib/pve-cluster cd / ; tar -xvzf /root/bak/pve-cluster-backup.tar.gz rm -rf /etc/corosync cd / ; tar -xvzf /root/bak/corosync-backup.tar.gz 5.重新加入pve集群
强制加入pve集群，下面的xxx.xxx.xxx.xxx是集群中现存节点的IP地址
pvecm add xxx.xxx.xxx.xxx -force pvecm updatecerts 6.重新加入ceph集群
6.1安装ceph，直接使用gui上的pveinstall就可以 在正常ceph节点上删除该节点的mon
ceph mon stat ceph mon rm xxx
6.2重建mon
在图形界面里面新建即可，注意选择重装的节点
6.3激活ceph的osd
ceph-volume lvm activate --all
后附 1.双节点集群删除节点需要修改expect：
pvecm expected 1 pvecm delete pvecm updatecerts 2.一般错误
Permission denied (publickey). TASK ERROR: Failed to run vncproxy.
修改/etc/hosts同步到所有节点，如： 192.168.254.11 node1.cqcq.com node1 192.168.254.12 node2.cqcq.com node2 192.168.254.13 node3.cqcq.com node3 3.最后别忘了恢复ceph的自动恢复，同步数据
for i in noout nobackfill norecover;do ceph osd unset $i;done
输出状态
停止
TASK ERROR: storage ‘local-lvm’ does not exist
10、问题处理
1、迁移时提示认证失败时
Host key verification failed.
在控制台运行如下 /usr/bin/ssh -e none -o ‘HostKeyAlias=pve1’ root@192.168.3.241 /bin/true
ssh 192.168.3.241
2、PVE下qm stop提示超时的解决办法
TASK ERROR: can’t lock file ‘/var/lock/qemu-server/lock-108.conf’ - got timeout
rm 该文件就可以了。
1.先在shell里输入 rm /var/lock/qemu-server/lock-108.conf #108是你的虚拟机编号
2.再输入qm stop 108 就可以立即关闭你的108号虚拟机了
3、虚拟机存放路径
iso存放路径： /var/lib/vz/template/iso/
备份路径： /var/lib/vz/dump/
local 路径：/var/lib/vz/images/
local-vm 路径： /dev/pve/
虚拟机配置文件路径： /etc/pve/
集群中虚拟机配置文件路径： /etc/pve/nodes/pve（pve为节点名称）/qemu-server/
4、本机硬盘格式是lvm，新加硬盘想使用zfs格式，那么请一定要关闭swap。 命令为 swapoff -a ,否则zfs会发生很怪异的事情.
5、虚拟机出现问题状态为unkonw的解决方法
service rrdcached stop

rm -rf /var/lib/rrdcached/*

service rrdcached start

6、 虚拟机无法启动提示：TASK ERROR: storage ‘local-lvm’ does not exist
原因分析：集群导致硬盘指向出错。
解决方式：先退出集群，再分离原有的硬盘，重新挂载硬盘
退出集群（该步也许可以不用做，一般来说只有集群坏了才可做，没做过验证）：
1、在需要退出集群的node上停止pve-cluster 服务
systemctl stop pve-cluster.service

systemctl stop corosync.service

2、node上集群系统文件设置未本地模式
pmxcfs -l

3、删除 corosync 配置文件
rm /etc/pve/corosync.conf

rm -rf /etc/corosync/*

4、重新启动集群文件系统服务
killall pmxcfs

systemctl start pve-cluster.service

分离硬盘：找到虚拟机，点硬件，点硬盘，点分离。
重新挂载硬盘：
SSH进入服务器，执行
qm set 105 -scsi0 local-vm:vm-105-disk-0
前面105 代表虚拟机ID 后面 105 代表对应的硬盘文件
虚拟机实际路径： /dev/pve/vm-105-disk-0

7、删除集群所有节点
删除集群：
/etc/init.d/pve-cluster stop
rm -rf /etc/corosync/*
rm -rf /var/lib/pve-cluster/*
rm -rf /var/lib/corosync/*
/etc/init.d/pve-cluster start

8、从配置文件及镜像中恢复虚拟系统
1、先新建一个同ID的虚拟机。为避免数据被覆盖，先将原来的镜像移动到其它目录。
mv /dev/pve/ vm-106-disk-0 /dev/pve99
106为对应的虚拟机磁盘 pve99 为临时备份目录
2、备份配置文件
mv /etc/pve/nodes/pve/qemu-server/ 106.conf /var/pve/
106.conf 为 106虚拟机的配置文件 /var/pve 为配置文件备份目录
3、创建同ID的虚拟机，并尽可能的把配置设为跟原虚拟机的一致，下一步修改时可以少修改点配置。
4、将/etc/pve/nodes/pve/qemu-server 下的配置文件改为跟/var/pve/下的一至，除vmgenid 和 smbios1 可以不用改。（如果系统应用授权有出错的，也可以修改 smbios1 的ID，该步没做过验证）
5、从/dev/pve99/下移回虚拟机磁盘到 /dev/pve 下。
6、在SSH下 用以下命令
qm set 106 -scsi0 local-vm:vm-106-disk-0
挂载虚拟机磁盘。

9、加入集群里，节点服务器必须没有虚拟机，如果有虚拟机将无法加入集群。
10、INFO: unable to open file ‘/etc/pve/nodes//qemu-server/.conf.tmp’ - Permission denied
pvecm expected 1 告诉服务器集群只有一个节点了。
11、安全的在集群中移动失效的节点
1、pvecm nodes 查看节点信息
2、pvecm delnode pve3 删除节点信息
3、cd /etc/pve/nodes 跳转至nodes目录下
4、rm -rf /pve3 删除pve3 目录及下面的