Ошибка 400 parameter verification failed

I have no problems deploying a single cloud-init resource. But when I attempt to deploy more than one, I get Error: 400 Parameter verification failed.

When I try to deploy a second resource (stage-01) with the first, TF trace logs show:

2020-07-08T21:52:51.500-0400 [DEBUG] plugin.terraform-provider-proxmox: 2020/07/08 21:52:51 <<<<<<<<<< RESULT:
2020-07-08T21:52:51.500-0400 [DEBUG] plugin.terraform-provider-proxmox: HTTP/1.1 400 Parameter verification failed.
2020-07-08T21:52:51.500-0400 [DEBUG] plugin.terraform-provider-proxmox: Connection: close
2020-07-08T21:52:51.500-0400 [DEBUG] plugin.terraform-provider-proxmox: Content-Length: 97
2020-07-08T21:52:51.500-0400 [DEBUG] plugin.terraform-provider-proxmox: Cache-Control: max-age=0
2020-07-08T21:52:51.500-0400 [DEBUG] plugin.terraform-provider-proxmox: Content-Type: application/json;charset=UTF-8
2020-07-08T21:52:51.500-0400 [DEBUG] plugin.terraform-provider-proxmox: Date: Thu, 09 Jul 2020 01:52:51 GMT
2020-07-08T21:52:51.500-0400 [DEBUG] plugin.terraform-provider-proxmox: Expires: Thu, 09 Jul 2020 01:52:51 GMT
2020-07-08T21:52:51.500-0400 [DEBUG] plugin.terraform-provider-proxmox: Pragma: no-cache
2020-07-08T21:52:51.500-0400 [DEBUG] plugin.terraform-provider-proxmox: Server: pve-api-daemon/3.0
2020-07-08T21:52:51.500-0400 [DEBUG] plugin.terraform-provider-proxmox: 
**2020-07-08T21:52:51.500-0400 [DEBUG] plugin.terraform-provider-proxmox: {"data":null,"errors":{"storage":"invalid format - storage ID '' contains illegal charactersn"}}**
2020/07/08 21:52:51 [DEBUG] proxmox_vm_qemu.stage-01: apply errored, but we're indicating that via the Error pointer rather than returning it: 400 Parameter verification failed.
2020/07/08 21:52:51 [TRACE] <root>: eval: *terraform.EvalMaybeTainted
2020/07/08 21:52:51 [TRACE] EvalMaybeTainted: proxmox_vm_qemu.stage-01 encountered an error during creation, so it is now marked as tainted
2020/07/08 21:52:51 [TRACE] <root>: eval: *terraform.EvalWriteState
2020/07/08 21:52:51 [TRACE] EvalWriteState: removing state object for proxmox_vm_qemu.stage-01
2020/07/08 21:52:51 [TRACE] <root>: eval: *terraform.EvalApplyProvisioners
2020/07/08 21:52:51 [TRACE] EvalApplyProvisioners: proxmox_vm_qemu.stage-01 has no state, so skipping provisioners
2020/07/08 21:52:51 [TRACE] <root>: eval: *terraform.EvalMaybeTainted
2020/07/08 21:52:51 [TRACE] EvalMaybeTainted: proxmox_vm_qemu.stage-01 encountered an error during creation, so it is now marked as tainted
2020/07/08 21:52:51 [TRACE] <root>: eval: *terraform.EvalWriteState
2020/07/08 21:52:51 [TRACE] EvalWriteState: removing state object for proxmox_vm_qemu.stage-01
2020/07/08 21:52:51 [TRACE] <root>: eval: *terraform.EvalIf
2020/07/08 21:52:51 [TRACE] <root>: eval: *terraform.EvalIf
2020/07/08 21:52:51 [TRACE] <root>: eval: *terraform.EvalWriteDiff
2020/07/08 21:52:51 [TRACE] <root>: eval: *terraform.EvalApplyPost
2020/07/08 21:52:51 [ERROR] <root>: eval: *terraform.EvalApplyPost, err: 400 Parameter verification failed.
2020/07/08 21:52:51 [ERROR] <root>: eval: *terraform.EvalSequence, err: 400 Parameter verification failed.
2020/07/08 21:52:51 [TRACE] [walkApply] Exiting eval tree: proxmox_vm_qemu.stage-01
2020/07/08 21:52:51 [TRACE] vertex "proxmox_vm_qemu.stage-01": visit complete
2020-07-08T21:52:51.527-0400 [DEBUG] plugin.terraform-provider-proxmox: 2020/07/08 21:52:51 <<<<<<<<<< RESULT:
2020-07-08T21:52:51.527-0400 [DEBUG] plugin.terraform-provider-proxmox: HTTP/1.1 200 OK
2020-07-08T21:52:51.527-0400 [DEBUG] plugin.terraform-provider-proxmox: Connection: close

I’m not sure how «storage ID containers illegal characters» when both resources are practically the same with necessary changes:

resource "proxmox_vm_qemu" "test-01" {
    name                    = "docker-test-01"
    target_node             = "vhost1"
    desc                    = "A Docker VM for testing service containers"

    clone                   = "generic-ubuntu.bionic"

    agent                   = 1

    os_type                 = "cloud-init"
    cores                   = "2"
    sockets                 = "1"
    cpu                     = "host"
    vcpus                   = "0"
    memory                  = "4096"

    scsihw                  = "lsi"
    disk {
        id                  = 0
        size                = 25
        type                = "virtio"
        storage             = "local-lvm"
        storage_type        = "lvmthin"
        iothread            = true
    }

    network {
        id                  = 0
        model               = "virtio"
        bridge              = "vmbr0"
    }

    ipconfig0 = "ip=192.168.2.230/24,gw=192.168.2.1"
}

resource "proxmox_vm_qemu" "stage-01" {
    name                    = "minikube-stage-01"
    target_node             = "vhost1"
    desc                    = "A Minikube VM"

    clone                   = "generic-ubuntu.bionic"

    agent                   = 1

    os_type                 = "cloud-init"
    cores                   = "2"
    sockets                 = "1"
    cpu                     = "host"
    vcpus                   = "0"
    memory                  = "8192"

    scsihw                  = "lsi"
    disk {
        id                  = 1
        size                = 50
        type                = "virtio"
        storage             = "local-lvm"
        storage_type        = "lvmthin"
        iothread            = true
    }

    network {
        id                  = 0
        model               = "virtio"
        bridge              = "vmbr0"
    }

    ipconfig0 = "ip=192.168.2.225/24,gw=192.168.2.1"
}

Снова столкнулся с тем, что в достаточно широко распространенном программном продукте не работает из коробки та функция, которая по логике должна бы работать.

На этот раз речь пойдет о среде виртуализации Proxmox и загрузке бэкапов виртуальных машин через веб-интерфейс. Итак, имеем следующие входные данные: на машине свежеустановленный Proxmox версии 3.2, на нем развернуто помимо хранилища Local еще и хранилище Backup с типом контента ISO, Backups, Templates. Задача  — перенести бэкапы виртуальных машин с другого гипервизора. Естественно, руки потянулись для этой цели использовать веб-интерфейс: выбираем наше хранилище Backup, жмем Upload, выбираем тип контента VZDump backup file, выбираем нужный файл, жмем Upload, смотрим на проценты загрузки и по итогу получаем сообщение об ошибке:

 Error 400: Parameter verification failed.

content: upload content type ‘backup’ not allowed

Собственно, я сразу не стал разбираться, почему так, и воспользовался консолью и самбой для решения этой задачи. Примерно то же самое(пойти обходным путем) рекомендует баг-трекер Proxmox’а(use scp to copy the file to the right directory). Но обсуждение этой проблемы вывело меня на верное решение.

Открываем для редактирования следующий скрипт: /usr/share/perl5/PVE/API2/Storage/Status.pm.

Находим там следующий фрагмент:

if ($content eq ‘iso’) {

if ($filename !~ m![^/]+.[Ii][Ss][Oo]$!) {

raise_param_exc({ filename => «missing ‘.iso’ extension» });

}

$path = PVE::Storage::get_iso_dir($cfg, $param->{storage});

} elsif ($content eq ‘vztmpl’) {

if ($filename !~ m![^/]+.tar.gz$!) {

raise_param_exc({ filename => «missing ‘.tar.gz’ extension» });

}

$path = PVE::Storage::get_vztmpl_dir($cfg, $param->{storage});

} else {

raise_param_exc({ content => «upload content type ‘$content’ not allowed» });

}

Как видим, по дефолту доступны для загрузки только ISO образы и шаблоны, при загрузке отличного от этих типов контента получаем знакомое сообщение об ошибке.

Исправляем:

if ($content eq ‘iso’) {
if ($filename !~ m![^/]+.[Ii][Ss][Oo]$!) {
raise_param_exc({ filename => «missing ‘.iso’ extension» });
}
$path = PVE::Storage::get_iso_dir($cfg, $param->{storage});
} elsif ($content eq ‘vztmpl’) {
if ($filename !~ m![^/]+.tar.gz$!) {
raise_param_exc({ filename => «missing ‘.tar

.gz’ extension» });
}
$path = PVE::Storage::get_vztmpl_dir($cfg, $param->{storage});
} elsif ($content eq ‘backup’) {
if ($filename !~ m![^/]+.vma.lzo$!) {
raise_param_exc({ filename => «missing ‘.vma.lzo’ extension» });
}
$path = PVE::Storage::get_backup_dir($cfg, $param->{storage});
} else {
raise_param_exc({ content => «upload content type ‘$content’ not allowed» });
}

Я добавил для себя проверку на расширение vma.lzo,  поскольку все мои бэкапы были сделаны именно в этом формате, но при желании можно добавить и  vma.gz, а можно и вообще отказаться от проверки на расширение.

Перезагружаем Proxmox — и таки да, загрузка бэкапов через веб-интерфейс работает. 

Обновлено: 25.05.2022
Опубликовано: 30.01.2020

Используемые термины: Proxmox VE, Linux.

В данной инструкции мы пошагово разберем способы установки Proxmox VE, базовую настройку и создание виртуальной машины. Proxmox основан на Debian — поэтому установку будем выполнять на данный дистрибутив Linux. В данной инструкции работа ведется на Proxmox версии 6.

Системные требования
Установка Proxmox
    Из готового образа
    Установка на Debian
    Проверка установки
Базовая настройка
    Как загрузить ISO-образ
    Создание сетей
        Bridge
        NAT
        Сеть между виртуалками
Создание виртуальной машины
Настройка виртуальной машины
    Базовые настройки
    Добавление диска
    Добавление сетевого адаптера
    Установка гостевого агента
Удаление виртуальной машины
Тюнинг Proxmox
    Предупреждения об отсутствии подписки
    Правильный сертификат
Создание нового пользователя
Ubuntu и CentOS

Системные требования

Требования разделены на минимальные и рекомендованные:

Поддержка виртуализации Intel VT или AMD-V может быть отключена на материнской плате. Для проверки заходим в БИОС — находим раздел настройки процессора (как правило, в пункте меню Advanced) — проверяем, что технология виртуализации (Intel VT, AMD-V, Virtualization Technology, VMX) включена (Enabled). Если мы хотим протестировать платформу и устанавливаем ее на виртуальную машину, то в ее настройках включаем поддержку технологии виртуализации. Например, в VMware ESX 6 в настройке виртуальной машины на вкладке Virtual Hardware раскрываем CPU и ставим галочку Expose hardware assisted virtualization to the guest OS:

Установка

Есть два варианта установки Proxmox VE — использовать готовый образ или установка на Debian. Мы рассмотрим оба.

Установка готового образа ISO

1. Переходим на страницу загрузки Proxmox официального сайта. Загружаем дистрибутив, например, Proxmox VE 6.1:

2. Если установка выполняется на виртуальную машину, монтируем образ. Если нет — создаем установочную флешку, например, с помощью WinSetupFromUsb или загрузочный диск с помощью InfraRecorder.

3. Загружаем сервер с установочного ISO — мы увидим окно приветствия Proxmox — выбираем пункт меню Install Proxmox VE:

4. Принимаем лицензионное соглашения, кликнув по I agree.

5. Выбираем диск, на который будет установлена система:

* при необходимости, кликаем по Options и задаем настройки файловой системы и размера раздела.

6. Пишем страну, временную зону, язык раскладки клавиатуры по умолчанию:

7. Вводим дважды пароль, который будет использоваться для пользователя root:

8. Прописываем сетевые настройки:

* где:

• Management Interface: сетевой интерфейс для управления сервером виртуальных машин.
• Hostname (FQDN): имя хоста для сервера.
• IP Address: IP-адрес нашего сервера.
• Netmask: маска подсети для сервера.
• Gateway: шлюз по умолчанию.
• DNS Server: сервер DNS.

9. В окне «Summary» проверяем введенные данные и кликаем по Install. Начнется процесс установки, который займет не более 10 минут.

10. После установки мы должны увидеть «Installation Successful» — перезагружаем сервер, кликнув по кнопке Reboot.

После переходим к проверке установки.

Установка на Debian

Если мы решили установить Proxmox на уже установленный Debian, выполняем следующую инструкцию.

При установке среды виртуализации меняется ядро Linux. Это может привести к потери работоспособности уже установленных сервисов. Таким образом, установку Proxmox следует выполнять на чистый сервер, а не тот, который уже используется для каких-либо задач.

1. Имя сервера должно разрешаться по его IP-адресу. Для этого либо добавляем А-запись в DNS, либо настраиваем на сервере файл hosts:

nano /etc/hosts

… и добавляем:

192.168.1.55 proxmox.dmosk.local   proxmox

* где 192.168.1.55 — IP-адрес нашего сервера; proxmox — имя сервера; dmosk.local — наш домен, если используется.

2. Добавляем репозитории, которые будем устанавливать для установки  Proxmox PE и дополнительных компонентов:

nano /etc/apt/sources.list

deb http://mirror.yandex.ru/debian/ buster main non-free contrib
deb-src http://mirror.yandex.ru/debian/ buster main non-free contrib
deb http://download.proxmox.com/debian/pve buster pve-no-subscription

Чтобы мы могли работать с репозиторием proxmox добавляем в систему цифровую подпись:

wget http://download.proxmox.com/debian/proxmox-ve-release-6.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-6.x.gpg

Обновляем список пакетов:

apt-get update

3. Устанавливаем Proxmox PE и компоненты:

apt-get install proxmox-ve open-iscsi

* где proxmox-ve — собственно, сам гипервизор; open-iscsi — iSCSI-клиент для подключения iSCSI-target-ов.

4. Перезагружаем сервер:

systemctl reboot

Проверка установки

В браузере открываем панель управления системой виртуализации по адресу https://<IP-адрес сервера>:8006. В открывшемся окне выбираем язык, вводим логин и пароль от пользователя root:

Должно открыться окно управления.

Начальная настройка

Чтобы начать использовать Proxmox и создать первую виртуальную машину, внесем небольшие настройки и подготовим гипервизор к работе.

1. Загрузка образов

Кликаем по Датацентр — и дважды по storage:

* мы можем создать отдельное хранилище для образов ISO. Для этого переходим в раздел Датацентр — Хранилище — Создать — Каталог.

Переходим в раздел Содержимое и кликаем по Загрузить:

В открывшемся окне выбираем ISO-образ системы, который будем устанавливать в качестве гостевой и кликаем по Загрузить. Ждем окончания копирования файла на сервер.

2. Создание сети для виртуальных машин

Мы рассмотрим примеры создания 2-х режимов сети — Bridge и NAT.

Независимо от способа установки Proxmox, необходимо подключиться к хосту по SSH и установить пакет ifupdown2 командой:

apt-get install ifupdown2

* ifupdown2 — утилита для конфигурации сетевого интерфейса (по сути, аналог ifupdown, написанный на языке Python).

… в противном случае, при попытке применить сетевые настройки мы получим ошибку you need ifupdown2 to reload networking (500).

Bridge

Сеть, работающая в данном режиме позволяет виртуальной машине видеть локальную сеть, как будто это отдельно стоящее устройство. Данный режим лучше всего подойдет для серверов, стоящих в локальной сети компании.

Для создания бриджа в панели управления кликаем по нашему серверу Proxmox — переходим в раздел Система — Сеть — обратите внимание, чтобы в системе не было bridge-интерфейсов:

… иначе, создавать его не обязательно.

Открываем настройки сетевого интерфейса, через который будет работать наш мост и удаляем шлюз:

* если мы не сделаем этого, то при настройке Bridge мы получим ошибку Parameter verification failed. (400). gateway: Default gateway already exists on interface ‘ens160’.

Нажимаем Создать и выбираем Linux Bridge:

В открывшемся окне заполняем поля IPv4/CIDR, Шлюз (IPv4), Порты сетевого моста:

* в данном примере мы задаем IP-адрес, на котором будет работать Proxmox (чтобы ничего не перепутать, можно задать IP-адрес физического интерфейса, который будет задействован под Bridge); маска указывается в нотации CIDR и в нашем примере это 24 или 255.255.255.0; в качестве физического интерфейса наш bridge будет использовать ens160.

… нажимаем Создать. 

Кликаем по Apply Configuration, чтобы применить сетевые настройки:

Подтверждаем действия.

NAT

Данный режим сети активно применяется в случае аренды сервера, где количество IP-адресов лимитировано. В данном случае, все виртуальные машины будут находисться за NAT, в качестве которого выступает сам Proxmox.

Сам интерфейс мы делаем из панели управления. Но чтобы виртуальные машины могли выходить в Интернет через сеть NAT, необходимо на самом хосте включить редирект и маскарадинг.

Создание нового bridge-интерфеса

Итак, кликаем по нашему серверу Proxmox — переходим в раздел Система — Сеть — нажимаем Создать и выбираем Linux Bridge:

Оставляем имя vmbr1 или пишем любое другое, прописываем IP-адрес с маской сети, в которой будут находиться серверы за NAT:

Нажимаем Создать. Применяем настройки:

Сеть настроена.

Настройка ядра и брандмауэра

Подключаемся к серверу по SSH. Открываем на редактирование файл настройки ядра:

nano /etc/sysctl.d/99-sysctl.conf

… и добавляем разрешение на редирект:

net.ipv4.ip_forward=1

После применяем настройки:

sysctl -p /etc/sysctl.d/99-sysctl.conf

Добавляем правило в брандмауэр:

iptables -t nat -A POSTROUTING -s ‘192.168.122.0/24’ -o vmbr0 -j MASQUERADE

* в данном примере мы создали правило для маскарадинга всех пакетов из подсети 192.168.122.0/24 и для исходящего интерфейса vmbr0. Обратите внимание, что если у нас будет другая подсеть и исходящий интерфейс для сети Интернет, то нужно будет задать другие значения.

Ставим утилиту для сохранения правил iptables:

apt-get install iptables-persistent

… и сохраняем правила в процессе установки или командой:

netfilter-persistent save

Наш NAT настроен.

Сеть между виртуалками

Данная сеть — частный случай NAT без выхода в Интернет. Мы должны создать бридж с отдельной подсетью без шлюза. При добавлении виртуальным машинам данного сетевого адаптера мы сможем настроить их взаимодействие по внутренней сети.

Создаем бридж, как делали это ранее:

Настраиваем новый интерфейс — задаем имя или оставляем тот, что предложит система, а также указываем IP-адрес:

Создаем интерфейс. Готово — при создании или редактировании виртуалок, мы можем указывать с качестве интерфейса созданный бридж (в данном примере, vmbr2) для изоляции их в отдельную подсеть 192.168.150.0/24.

Создание виртуальной машины

Базовая настройка закончена — можно опробовать наш гипервизор в деле. 

В правой верхней части панели управления кликаем по Создать VM:

В открывшемся окне снизу сразу ставим галочку Расширенный:

Задаем имя виртуальной машине и ставим галочку Запуск при загрузке (если хотим, чтобы виртуалка запускалась автоматически с сервером PVE):

* в данном примере мы задали имя FS. При желании, также можно изменить VM ID, но он проставляется автоматически и имеет правильное значение.

Выбираем загруженный нами ISO-образ, с которого будем ставить операционную систему, задаем тип гостевой операционной системы и ее версию:

* в данном примере мы будем устанавливать Linux Ubuntu. Среди списка операционных систем также доступны Microsoft Windows, Solaris и Other.

На вкладке Система можно оставить все значения по умолчанию:

* в некоторых случаях, необходимо выбрать другую видеокарту (при установке систем с GUI), а также особый вариант БИОС.

Задаем размер жесткого диска:

* 16 Гб для Ubuntu достаточно, однако, для наших задач расчет должен быть индивидуальным для каждой создаваемой виртуальной машины.

Мы можем задать количество процессоров и ядер:

* в данном примере мы создаем виртуалку с 2 процессорами, каждый из который с 2 ядрами, итого, 4. Для ненагруженных систем можно оставить значение по умолчанию.

Выделяем память:

* наша Ubuntu будет работать с 2 Гб оперативной памяти.

Выбираем созданный нами бридж — либо для получения прямого адреса из сети, либо для NAT:

* в данном примере, мы указали vmbr0 для подключения к сети напрямую.

Ставим галочку, чтобы виртуальная машина сразу запустилась после создания:

… и нажимаем Готово. Ждем окончания процесса и переходим к консоли:

Мы должны увидеть загрузку с ISO-образа.

Настройка виртуальной машины

После создания виртуальной машины нам может понадобиться ее изменить. Рассмотрим процесс настройки на примере изменения некоторых параметром, а также добавления диска и сетевого адаптера.

Полезные настройки

Для начала, переходим к виртуальной машине — Параметры:

На мой взгляд, чаще всего могут понадобиться следующие настройки:

• Имя — имя виртуальной машины.
• Запуск при загрузке — для серверов данный параметр должен быть активирован.
• Порядок загрузки — позволяет определить, с какого устройства должна запуститься виртуалка в первую очередь.

Для изменения параметра, просто кликаем по нему дважды, меняем значение и нажимаем OK.

Добавление дискового накопителя

Переходим в подраздел Оборудование — кликаем по Добавить и выбираем Жесткий диск:

В открывшемся окне задаем размер диска и нажимаем OK.

Для увеличения размера имеющегося диска устанавливаем на него курсов и кликаем по Изменить размер диска:

В открывшемся окне задаем объем, на который нужно увеличить дисковое пространство.

Добавление сетевого адаптера

Переходим в подраздел Оборудование — кликаем по Добавить и выбираем Сетевое устройство:

Как при создании ВМ, выбираем тип сетевого адаптера (бридж или нат) и нажимаем Добавить.

Установка гостевого агента

Обязательная процедура для повышения производительности и возможностей работы с виртуальной машиной. Настройка выполняется как на гипервизоре, так и в самой виртуальной машине. Рассмотрим пример установки агента на базе системы Linux.

В гипервизоре переходим в Параметры, находим пункт QEMU Guest Agent и кликаем по нему:

Ставим галочку Use QEMU Guest Agent и нажимаем OK:

Для применения настройки нужно выключить и включить виртуальную машину.

Теперь подключаемся к виртуальной машине и устанавливаем утилиту. В зависимости от типа Linux команды будут отличаться.

а) DEB-based:

apt install qemu-guest-agent

б) RPM-based:

yum install qemu-guest-agent

Установка завершена.

Для запуска сервиса выполняем:

systemctl enable qemu-guest-agent —now

В сводке виртуальной машины мы теперь можем увидеть информацию об IP-адресе, которая получена при помощи гостевого агента.

Подробнее процесс описан на странице https://pve.proxmox.com/wiki/Qemu-guest-agent.

Удаление виртуальной машины

Для удаления виртуальной машины, сначала ее отключаем — это можно сделать из операционной системы или из панели управления, нажав на стрелку вниз рядом с Выключить — Остановка:

После кликаем по Дополнительно — Удалить:

В открывшемся окне мы должны подтвердить свои намерения удалить виртуальную машину, вписав ее идентификатор:

* если мы поставим галочку Purge, то виртуальная машина будет удалена полностью вместе с виртуальным диском.

Кликаем по Удалить — готово.

Тюнинг сервера PVE

Внесем несколько изменений, которые сделают работу с Proxmox VE удобнее.

Отключение предупреждения об отсутствии подписки

Каждый раз при заходе в панель управления мы будем видеть такое предупреждение:

Оно говорит нам о том, что мы используем бесплатную версию программного продукта. Чтобы сообщение нас не беспокоило, выполним 2 действия:

1. Отключим платный репозиторий для получения пакетов proxmox.
2. Отредактируем файл js для отключения данного сообщения.

И так, в SSH открываем на редактирование репозиторий proxmox:

nano /etc/apt/sources.list.d/pve-enterprise.list

Приводим его к виду:

#deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise
deb http://download.proxmox.com/debian/pve stretch pve-no-subscription

* мы закомментировали репозиторий pve-enterprise и добавили pve-no-subscription.
* при большом желании, можно удалить файл репозитория с именем pve-enterprise.list и создать новый — кому как будет удобнее.

После обновим список пакетов:

apt-get update

Последнее — редактируем файл /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js:

sed -i «s/getNoSubKeyHtml:/getNoSubKeyHtml_:/» /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js

* данной командой мы находим getNoSubKeyHtml в файле /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js и меняем на getNoSubKeyHtml_.

Закрываем окно браузера с Proxmox, если оно было открыто и запускаем его снова. Входим в систему — сообщение не должно появиться.

Сертификаты

Сервер PVE устанавливается с самоподписанным сертификатом. Это означает, что при подключении к панели управления мы будем видеть предупреждение от системы безопасности. Чтобы браузер принимал сертификат, он должен соответствовать следующим требованиям:

• Быть выдан доверенным центром сертификации или зарегистрированным в вашей локальной сети, например, локальный AD CS.
• Быть для доменного имени, по которому мы заходим в панель управления.
• Иметь актуальные даты начала действия и окончания.

При этом, мы не должны заходить в панель управления по IP-адресу — в противном случае, независимо от сертификата, мы все-равно, получим предупреждение.

И так, сам сертификат можно купить, запросить бесплатно у Let’s Encrypt или создать с использованием локального центра сертификации, например, по данной инструкции. Получив сертификат, открываем панель управления PVE и переходим к серверу — Система — Сертификаты — кликаем по Загрузить пользовательский сертификат:

В открывшемся окне заполняем поля для закрытого и открытого ключей:

… и нажимаем Загрузить. Система предупредит, что загрузится с новым сертификатом — необходимо закрыть вкладку в браузере и открыть консоль управления снова. Если сертификат загружен правильный, мы не увидим предупреждения.

Создание нового пользователя

При установке PVE создается пользователь root. Рассмотрим процесс добавления еще одного через командную строку.

Подключаемся по SSH или открываем консоль из панели управления. Создаем пользователя в системе:

useradd user

* где user — имя создаваемого пользователя.

После создаем нового пользователя в Proxmox:

pveum useradd user@pam

* в данном примере мы создали пользователя user в области pam.

Задаем пароль:

pveum passwd user@pam

Задаем роль для созданного пользователя, например, административную:

pveum aclmod / -user user@pam -role Administrator

* весь список ролей можно посмотреть в панели администрирования в разделе Датацентр — Разрешения — Роли.

Ubuntu и CentOS

Возможно, кому-то захочется установить Proxmox именно на Ubuntu или CentOS. К сожалению, разработчики остановились на Debian. Возможно, есть неофициальные обходные пути установки Proxmox на другие дистрибутивы Linux, однако такой путь не является приемлемым для продуктивной среды. Для настройка виртуализации на Ubuntu и CentOS предлагаю инструкции:

1. Установка и настройка KVM на CentOS 7

2. Настройка KVM на Ubuntu Server

SUMMARY

When trying to create a VM using the sample in the proxmox_kvm module, I get the following error message:

MSG:

creation of qemu VM test with vmid 1234 failed with exception=400 Bad Request: Parameter verification failed. — b'{«data»:null,»errors»:{«archive»:»missing property — ‘force’ requires this property»}}’

ISSUE TYPE

• Bug Report

COMPONENT NAME

proxmox_kvm

ANSIBLE VERSION

«`paste below
ansible 2.9.13
config file = /Volumes/Data/Users/rob/CloudStation/My Files/Development/proxmox/k8s/ansible.cfg
configured module search path = [‘/Volumes/Data/Users/rob/.ansible/plugins/modules’, ‘/usr/share/ansible/plugins/modules’]
ansible python module location = /Volumes/Data/Users/rob/opt/anaconda3/envs/ansible/lib/python3.8/site-packages/ansible
executable location = /Volumes/Data/Users/rob/opt/anaconda3/envs/ansible/bin/ansible
python version = 3.8.5 (default, Sep 4 2020, 02:22:02) [Clang 10.0.0 ]

##### CONFIGURATION
<!--- Paste verbatim output from "ansible-config dump --only-changed" between quotes -->
```paste below
COLLECTIONS_PATHS(/Volumes/Data/Users/rob/CloudStation/My Files/Development/proxmox/k8s/ansible.cfg) = ['/Volumes/Data/Users/rob/CloudStation/My Files
DEFAULT_KEEP_REMOTE_FILES(/Volumes/Data/Users/rob/CloudStation/My Files/Development/proxmox/k8s/ansible.cfg) = False
DEFAULT_LOG_PATH(/Volumes/Data/Users/rob/CloudStation/My Files/Development/proxmox/k8s/ansible.cfg) = /Volumes/Data/Users/rob/CloudStation/My Files/De
DEFAULT_STDOUT_CALLBACK(/Volumes/Data/Users/rob/CloudStation/My Files/Development/proxmox/k8s/ansible.cfg) = debug

OS / ENVIRONMENT

Running Ansible on MacOS:
Software:

System Software Overview:

  System Version: OS X 10.11.6 (15G22010)
  Kernel Version: Darwin 15.6.0

PVE versions:
[email protected]:~# pveversion —verbose
proxmox-ve: 6.2-2 (running kernel: 5.4.65-1-pve)
pve-manager: 6.2-12 (running version: 6.2-12/b287dd27)
pve-kernel-5.4: 6.2-7
pve-kernel-helper: 6.2-7
pve-kernel-5.4.65-1-pve: 5.4.65-1
pve-kernel-5.4.60-1-pve: 5.4.60-2
pve-kernel-5.4.55-1-pve: 5.4.55-1
pve-kernel-5.4.41-1-pve: 5.4.41-1
pve-kernel-5.4.34-1-pve: 5.4.34-2
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.0.4-pve1
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: residual config
ifupdown2: 3.0.0-1+pve3
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.16-pve1
libproxmox-acme-perl: 1.0.5
libpve-access-control: 6.1-3
libpve-apiclient-perl: 3.0-3
libpve-common-perl: 6.2-2
libpve-guest-common-perl: 3.1-3
libpve-http-server-perl: 3.0-6
libpve-storage-perl: 6.2-8
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve4
lxc-pve: 4.0.3-1
lxcfs: 4.0.3-pve3
novnc-pve: 1.1.0-1
proxmox-backup-client: 0.9.0-2
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.3-1
pve-cluster: 6.2-1
pve-container: 3.2-2
pve-docs: 6.2-6
pve-edk2-firmware: 2.20200531-1
pve-firewall: 4.1-3
pve-firmware: 3.1-3
pve-ha-manager: 3.1-1
pve-i18n: 2.2-1
pve-qemu-kvm: 5.1.0-3
pve-xtermjs: 4.7.0-2
qemu-server: 6.2-15
smartmontools: 7.1-pve2
spiceterm: 3.1-1
vncterm: 1.6-2
zfsutils-linux: 0.8.4-pve2

STEPS TO REPRODUCE

Executing the playbook below results in the error

 tasks:
  - name: Create new VM with minimal options
    community.general.proxmox_kvm:
      api_host: '{{ pve_host }}'
      api_user: '{{ pve_user }}'
      api_password: '{{ pve_pass }}'
      vmid: 1234
      name: test
      node: pve

EXPECTED RESULTS

Creation of the new VM

ACTUAL RESULTS

The attribute ‘force’ is set the default value of false in proxmox_kvm.py in function main():
force=dict(type=’bool’, default=False)

This seems to create an issue because the API expects that the ‘archive’ attribute is set as well. However, ‘archive’ is not a valid attribute.

When removing the default value assignment, it works:
force=dict(type=’bool’)

«`paste below
ansible-playbook 2.9.13
config file = /Volumes/Data/Users/rob/CloudStation/My Files/Development/proxmox/k8s/ansible.cfg
configured module search path = [‘/Volumes/Data/Users/rob/.ansible/plugins/modules’, ‘/usr/share/ansible/plugins/modules’]
ansible python module location = /Volumes/Data/Users/rob/opt/anaconda3/envs/ansible/lib/python3.8/site-packages/ansible
executable location = /Volumes/Data/Users/rob/opt/anaconda3/envs/ansible/bin/ansible-playbook
python version = 3.8.5 (default, Sep 4 2020, 02:22:02) [Clang 10.0.0 ]
Using /Volumes/Data/Users/rob/CloudStation/My Files/Development/proxmox/k8s/ansible.cfg as config file
setting up inventory plugins
host_list declined parsing /etc/ansible/hosts as it did not pass its verify_file() method
Skipping due to inventory source not existing or not being readable by the current user
script declined parsing /etc/ansible/hosts as it did not pass its verify_file() method
auto declined parsing /etc/ansible/hosts as it did not pass its verify_file() method
Skipping due to inventory source not existing or not being readable by the current user
yaml declined parsing /etc/ansible/hosts as it did not pass its verify_file() method
Skipping due to inventory source not existing or not being readable by the current user
ini declined parsing /etc/ansible/hosts as it did not pass its verify_file() method
Skipping due to inventory source not existing or not being readable by the current user
toml declined parsing /etc/ansible/hosts as it did not pass its verify_file() method
Loading callback plugin debug of type stdout, v2.0 from /Volumes/Data/Users/rob/opt/anaconda3/envs/ansible/lib/python3.8/site-packages/ansible/plugins/callback/debug.py

PLAYBOOK: k8s.yaml ************************************
Positional arguments: k8s.yaml
verbosity: 4
connection: smart
timeout: 10
become_method: sudo
tags: (‘vm_create’,)
inventory: (‘/etc/ansible/hosts’,)
forks: 5
1 plays in k8s.yaml

PLAY [localhost] **************************************
META: ran handlers

TASK [Create new VM with minimal options] ****************************
task path: /Volumes/Data/Users/rob/CloudStation/My Files/Development/proxmox/k8s/k8s.yaml:14
<127.0.0.1> ESTABLISH LOCAL CONNECTION FOR USER: rob
<127.0.0.1> EXEC /bin/sh -c ‘echo ~rob && sleep 0’
<127.0.0.1> EXEC /bin/sh -c ‘( umask 77 && mkdir -p «echo /Volumes/Data/Users/rob/.ansible/tmp«&& mkdir «echo /Volumes/Data/Users/rob/.ansible/tmp/ansible-tmp-1602279498.9265301-14700-203120890427993» && echo ansible-tmp-1602279498.9265301-14700-203120890427993=»echo /Volumes/Data/Users/rob/.ansible/tmp/ansible-tmp-1602279498.9265301-14700-203120890427993» ) && sleep 0′
Using module file /Volumes/Data/Users/rob/CloudStation/My Files/Development/proxmox/ansible/collections/ansible_collections/community/general/plugins/modules/proxmox_kvm.py
<127.0.0.1> PUT /Volumes/Data/Users/rob/.ansible/tmp/ansible-local-14696r3s_8h8t/tmp4x0i_w2a TO /Volumes/Data/Users/rob/.ansible/tmp/ansible-tmp-1602279498.9265301-14700-203120890427993/AnsiballZ_proxmox_kvm.py
<127.0.0.1> EXEC /bin/sh -c ‘chmod u+x /Volumes/Data/Users/rob/.ansible/tmp/ansible-tmp-1602279498.9265301-14700-203120890427993/ /Volumes/Data/Users/rob/.ansible/tmp/ansible-tmp-1602279498.9265301-14700-203120890427993/AnsiballZ_proxmox_kvm.py && sleep 0’
<127.0.0.1> EXEC /bin/sh -c ‘/Volumes/Data/Users/rob/opt/anaconda3/envs/ansible/bin/python /Volumes/Data/Users/rob/.ansible/tmp/ansible-tmp-1602279498.9265301-14700-203120890427993/AnsiballZ_proxmox_kvm.py && sleep 0’
<127.0.0.1> EXEC /bin/sh -c ‘rm -f -r /Volumes/Data/Users/rob/.ansible/tmp/ansible-tmp-1602279498.9265301-14700-203120890427993/ > /dev/null 2>&1 && sleep 0’
The full traceback is:
File «/var/folders/hd/lwc_f7xs3xq_z6974f1523mr0000gn/T/ansible_community.general.proxmox_kvm_payload_kp6vi0p6/ansible_community.general.proxmox_kvm_payload.zip/ansible_collections/community/general/plugins/modules/proxmox_kvm.py», line 1031, in main
File «/var/folders/hd/lwc_f7xs3xq_z6974f1523mr0000gn/T/ansible_community.general.proxmox_kvm_payload_kp6vi0p6/ansible_community.general.proxmox_kvm_payload.zip/ansible_collections/community/general/plugins/modules/proxmox_kvm.py», line 809, in create_vm
File «/Volumes/Data/Users/rob/opt/anaconda3/envs/ansible/lib/python3.8/site-packages/proxmoxer/core.py», line 117, in create
return self.post(args, **data)
File «/Volumes/Data/Users/rob/opt/anaconda3/envs/ansible/lib/python3.8/site-packages/proxmoxer/core.py», line 108, in post
return self(args)._request(«POST», data=data)
File «/Volumes/Data/Users/rob/opt/anaconda3/envs/ansible/lib/python3.8/site-packages/proxmoxer/core.py», line 90, in _request
raise ResourceException(«{0} {1}: {2} — {3}».format(
fatal: [localhost]: FAILED! => {
«changed»: false,
«invocation»: {
«module_args»: {
«acpi»: true,
«agent»: null,
«api_host»: «pve.disseldorp.home»,
«api_password»: «VALUE_SPECIFIED_IN_NO_LOG_PARAMETER»,
«api_user»: «[email protected]«,
«args»: null,
«autostart»: false,
«balloon»: 0,
«bios»: null,
«boot»: «cnd»,
«bootdisk»: null,
«clone»: null,
«cores»: 1,
«cpu»: «kvm64»,
«cpulimit»: null,
«cpuunits»: 1000,
«delete»: null,
«description»: null,
«digest»: null,
«force»: false,
«format»: «qcow2»,
«freeze»: null,
«full»: true,
«hostpci»: null,
«hotplug»: null,
«hugepages»: null,
«ide»: null,
«keyboard»: null,
«kvm»: true,
«localtime»: null,
«lock»: null,
«machine»: null,
«memory»: 512,
«migrate_downtime»: null,
«migrate_speed»: null,
«name»: «test»,
«net»: null,
«newid»: null,
«node»: «pve»,
«numa»: null,
«numa_enabled»: null,
«onboot»: true,
«ostype»: «l26»,
«parallel»: null,
«pool»: null,
«protection»: null,
«reboot»: null,
«revert»: null,
«sata»: null,
«scsi»: null,
«scsihw»: null,
«serial»: null,
«shares»: null,
«skiplock»: null,
«smbios»: null,
«snapname»: null,
«sockets»: 1,
«startdate»: null,
«startup»: null,
«state»: «present»,
«storage»: null,
«tablet»: false,
«target»: null,
«tdf»: null,
«template»: false,
«timeout»: 30,
«update»: false,
«validate_certs»: false,
«vcpus»: null,
«vga»: «std»,
«virtio»: null,
«vmid»: 1234,
«watchdog»: null
}
}
}

MSG:

creation of qemu VM test with vmid 1234 failed with exception=400 Bad Request: Parameter verification failed. — b'{«errors»:{«archive»:»missing property — ‘force’ requires this property»},»data»:null}’

PLAY RECAP ****************************************
localhost : ok=0 changed=0 unreachable=0 failed=1 skipped=0 rescued=0 ignored=0

«`