Необходимым элементом валидации сложной техники являются испытания компонентов и системы в целом (модельные, натурные, квалификационные, в составе объекта, сертификационные). При испытании технические средства, такие как специальное оборудование, приборы, методы моделирования, используют для объективной оценки характеристик системы или ее компонентов на определение соответствия целевым значениям требований. Типовой тест включает процесс моделирования сценариев эксплуатации всей системы или ее части под ограниченным набором контролируемых условий, чтобы определить количественное выполнение проектных или эксплуатационных требований.

Ведутся работы по развитию численных испытаний с использованием цифровых двойников, виртуального моделирования динамических процессов в системе. Целью данного направления является замена части натурных испытаний системы (как правило, дорогостоящих и длительных) результатами цифрового моделирования статических и переходных режимов эксплуатации, а также нерасчетных случаев (частичных отказов узлов и агрегатов, нештатных условий применения и др.). Предварительно сами цифровые двойники (расчетные модели) должны быть верифицированы для подтверждения требований достоверности и точности расчетных результатов.

Комплексное тестирование включает выполнение полных рабочих сценариев для нескольких элементов конфигурации, гарантирующих, что все требования к системе будут проверены. Эксплуатационные сценарии должны быть описаны для всех режимов работы, фаз применения (например, установка, запуск, типичные примеры операций с нормальными и аварийными ситуациями, выключение и обслуживание) и критических последовательностей действий. В сценарии дается пошаговое описание того, как система должна работать в конкретных условиях применения.

В процессе валидации важно сравнить фактические результаты с ожидаемыми. После завершения деятельности по проверке результаты собирают и анализируют. Данные проверяют на качество, целостность, правильность, согласованность и достоверность. Любые несоответствия проверки (аномалии, варианты и условия несоблюдения) идентифицируют и пересматривают, определяют запросы, необходимые в результате проверки для привлечения помощи или изменения требования. Недостатки и рекомендуемые корректирующие действия и результаты разрешения должны быть записаны.

При планировании испытаний требуется:

• разработать подробные квалификационные требования к испытаниям;

• определить подробные архитектуры компонентов для тестовых ресурсов (выявить, какие специальные установки, измерительные приспособления и тестовые заглушки необходимы);

• инициировать разработку и изготовление необходимых стендов;

• сформировать матрицы испытаний (выделить производные требования к функциональным и физическим архитектурам);

• написать детальные планы квалификации для каждого компонента с учетом ресурсов;

• создать сценарии тестирования с учетом нормативной документации;

• определить необходимые данные мотивации для каждого вида деятельности;

• написать программы испытаний и процедуры анализа результатов;

• определить графики по срокам испытаний и анализа.

В таблице 2 показан пример матрицы верификации для плана испытаний продукта. В левых столбцах указаны пункты технического задания для верификации и названия этапов работ. В последних колонках показаны выбранные верификационные методы по типам.

Планирование процедур верификации узлов и компонентов должно учитывать потребные сроки на проектирование и изготовление стендов и моделей. В одной из организаций проектирование стендов поручили разработчикам системы в порядке очередности. В результате на два года сорвали сроки испытаний из-за задержки изготовления стендов.