Субъективными методами измерения, используемыми в процессе разработки продукта, являются, например, оценка по шкале и методы, основанные на парном сравнении. Для определения рейтинга по шкале оценщику сначала дают инструкции по процедуре оценки продукта, включая пояснения по шкалам оценки, которые должны использоваться для масштабирования каждого свойства. Шкалы интервалов могут различаться по определению конечных точек шкал, количества используемых интервалов. При этом для сравнения продуктов используют следующие варианты оценки:
• число предпочтительных оценок, то есть сумма испытуемых, которые оценили продукт в интервале выше среднего;
• количество непредпочтительных оценок, то есть сумма испытуемых, которые оценили продукт в интервале ниже среднего;
• отношение числа предпочтительных оценок к числу непредпочтительных;
• среднее значение оценок;
• стандартное отклонение оценок.
В методе парного сравнения каждого испытуемого просят сравнить два продукта в выбранной паре с использованием заранее определенной процедуры и определить лучший продукт на основе заданного свойства (например, комфорта или удобства использования). Задача оценки здесь проще по сравнению с оценкой по шкале, поскольку эксперт должен сравнивать только два продукта в каждом испытании, и определять лучший продукт в паре. Основное преимущество метода парного сравнения заключается в том, что он делает задачи оценки субъекта простыми и более точными. Однако, если необходимо оценить несколько продуктов, то оценщик должен пройти через каждую комбинацию из возможных пар и определить лучший продукт в каждой паре, что делает процесс оценки очень трудоемким.
Некоторые примеры типов оценки, проводимой для верификации и валидации продукции, приведены далее:
1. Функциональные оценки состоят из испытаний отдельных компонентов, узлов и агрегатов, чтобы убедиться, что они будут выполнять требуемые функции или задачи в выбранных условиях окружающей среды, и удовлетворять заданным уровням спецификации по производительности.
2. Испытания на долговечность. Компоненты, подсистемы и продукты испытывают в самых сложных реальных условиях (например, при минимальных и максимальных рабочих температурах, высоких рабочих нагрузках, высоких скоростях и максимальных электромагнитных полях) в течение максимума требуемых рабочих циклов в течение срока эксплуатации, например, 10 лет или 250 000 км для легковых автомобилей.
3. Оценка сборки, выполняется и оценивается в реальных рабочих или модельных ситуациях (например, с использованием 3-Д моделей сборочных рабочих мест, с продуктом, инструментами и операторами), чтобы проверить, что компоненты и подсистемы могут быть собраны в изделия с минимальным количеством перемещений деталей в заданные сроки.
4. Тесты с участием клиентов или пользователей. Некоторые продукты могут эксплуатироваться или использоваться одним человеком-оператором, тогда как другие сложные продукты, например, коммерческие самолеты и корабли, требуют многочисленного экипажа для эксплуатации.
5. Оценка после продажи продукта. Отслеживание того, как продукт воспринимается покупателями на основе их опыта использования продукта, является очень важным элементом маркетинга, чтобы определить степень удовлетворенности клиентов.
Несмотря на то, что испытания и оценка результатов проекта занимают всего 5% графика проекта, эти 5% отражают этап жизненного цикла, наиболее важный для успеха программы. Здесь изменения в требованиях и проектных решениях в результате испытаний являются наиболее трудоемкими, дорогими и технически сложными.