Оцінка методів дослідження: валідація, верифікація, невизначеність
Серія статей з ISO 15189:2022
Перш ніж метод дослідження може бути використаний для видачі результатів пацієнтам, лабораторія повинна підтвердити, що він працює належним чином у її конкретних умовах. ISO 15189:2022 (п. 7.3) чітко розмежовує два процеси — валідацію та верифікацію — і вимагає оцінки невизначеності вимірювання для кожного методу. Ця стаття дає огляд усіх трьох елементів з акцентом на верифікацію як найбільш практично значущий процес для більшості лабораторій.
Валідація vs верифікація: в чому різниця
Ці два терміни часто плутають — навіть у професійному середовищі. Різниця принципова.
Визначає аналітичні характеристики методу вперше
- Метод розроблений лабораторією (in-house)
- Суттєва модифікація комерційного методу
- Метод використовується поза призначенням виробника
- Нестандартний зразок
Обсяг: повний, розширений
Тривалість: тижні — місяці
Виконує: лабораторія (або виробник)
Підтверджує, що заявлені виробником характеристики відтворюються на місці
- Впровадження комерційного IVD-методу зі CE/IVD
- Зміна аналізатора (той самий метод)
- Перехід на нову модель того ж виробника
- Після капітального ремонту аналізатора
Обсяг: цільовий, фокусований
Тривалість: дні — тижні
Виконує: лабораторія
Практичне правило: більшість клінічних лабораторій використовують комерційні IVD-методи та виконують верифікацію. Валідація потрібна значно рідше — переважно в референтних, дослідницьких лабораторіях або при розробці власних тестів (in-house methods).
Валідація: коротко про головне
Валідація — це повне дослідження аналітичних характеристик методу, який раніше не був оцінений для конкретного призначення. Стандарт вимагає валідації для нестандартизованих методів, методів, розроблених лабораторією, та стандартизованих методів, використаних поза сферою їхнього призначення.
Параметри валідації
| Параметр | Що оцінюється |
|---|---|
| Правильність (trueness) | Близькість середнього результату до «істинного» значення |
| Прецизійність (precision) | Збіжність (repeatability) та відтворюваність (reproducibility) |
| Аналітична чутливість | Межа виявлення (LoD), межа кількісного визначення (LoQ) |
| Аналітична специфічність | Інтерференції, перехресна реактивність |
| Діапазон вимірювання | Лінійність, аналітичний вимірювальний інтервал (AMI) |
| Стійкість (robustness) | Вплив незначних змін умов на результат |
| Перенесення (carryover) | Вплив високої концентрації попереднього зразка на наступний |
Валідація — масштабний процес, детальний опис якого виходить за межі цієї статті. Для лабораторій, яким потрібна валідація in-house методів, орієнтирами є CLSI EP-серія документів та ISO/TS 5798 (для молекулярних методів).
Верифікація: покроковий процес
Верифікація — це те, з чим стикається кожна лабораторія при впровадженні нового методу або аналізатора. Мета — підтвердити, що заявлені виробником аналітичні характеристики відтворюються в конкретних умовах лабораторії: з її персоналом, її зразками, її умовами середовища.
Що потрібно верифікувати
ISO 15189:2022 не дає вичерпного переліку параметрів верифікації — це залежить від типу методу та клінічного застосування. На практиці мінімальний обсяг для кількісних методів включає:
- Прецизійність (збіжність та внутрішньолабораторна)
- Правильність (порівняння з референтним або існуючим методом)
- Діапазон вимірювання (лінійність / AMI)
- Референтні інтервали (перевірка застосовності)
- Перенесення (carryover) — за потреби
- Діагностична чутливість (позитивне співпадіння)
- Діагностична специфічність (негативне співпадіння)
- Відтворюваність (збіжність)
- Збіжність (повторюваність титру / категорії)
- Порівняння з існуючим методом (відсоток збігу)
- Межа виявлення (за потреби)
Крок 1. Планування
Перед початком лабораторних робіт необхідно скласти протокол верифікації.
Крок 2. Прецизійність
Прецизійність показує, наскільки результати відтворюються при повторних вимірюваннях. Оцінюють два рівні: збіжність (одна серія, один оператор, один день) та внутрішньолабораторну прецизійність (різні дні, різні оператори).
Мінімальний дизайн експерименту:
- Матеріал: 2–3 рівні концентрації (низький, нормальний, високий)
- Повторів: щонайменше 5 (краще 10–20) вимірювань кожного рівня
- Умови: одна серія, один оператор, один день
- Розрахунок: SD та CV% для кожного рівня
- Критерій: CV% ≤ заявленої виробником збіжності
- Матеріал: ті самі 2–3 рівні
- Повторів: 2–3 вимірювання кожного рівня × 5 днів (мін.) = 10–15 результатів на рівень
- Умови: різні дні, бажано різні оператори, різні серії реагентів
- Розрахунок: SD та CV% для кожного рівня
- Критерій: CV% ≤ заявленої виробником відтворюваності
| Рівень | Середнє | SD | CV% | Заявлено виробником | Висновок |
|---|---|---|---|---|---|
| Низький (~3 ммоль/л) | 3,12 | 0,06 | 1,9% | ≤ 2,5% | Прийнятний |
| Нормальний (~5,5 ммоль/л) | 5,48 | 0,08 | 1,5% | ≤ 2,0% | Прийнятний |
| Високий (~15 ммоль/л) | 14,85 | 0,19 | 1,3% | ≤ 1,8% | Прийнятний |
Крок 3. Правильність (порівняння методів)
Правильність оцінюється шляхом порівняння нового методу з існуючим (референтним або рутинним). Якщо лабораторія впроваджує метод вперше і не має порівняння — можна використати сертифіковані референтні матеріали (CRM) або дані EQA.
Дизайн порівняння методів:
- Кількість зразків: щонайменше 20 (краще 40) пацієнтських зразків
- Діапазон: рівномірно розподілені по всьому клінічно значущому діапазону
- Вимірювання: кожен зразок — одночасно на обох методах
- Дублікати: бажано 2 вимірювання на кожному методі
- Тривалість: 5–10 днів (не всі зразки в один день)
- Scatter plot: X — існуючий, Y — новий
- Регресійний аналіз: Passing-Bablok (переважно) або Deming regression, НЕ звичайна OLR
- Slope: ідеал = 1,0 | Intercept: ідеал = 0
- Bland-Altman: середня різниця (bias), межі згоди (±1,96 SD)
- Виявлення систематичного та пропорційного зміщення
- Варіант 1: bias ≤ desirable bias (EFLM, біологічна варіація)
- Варіант 2: bias ≤ заявленого виробником
- Варіант 3: bias ≤ встановленого лабораторією на основі клінічних вимог
Для всіх варіантів: відсутність клінічно значущого систематичного зміщення
Приклад інтерпретації Bland-Altman:
Bias ≈ 0. Точки рівномірно розподілені навколо нульової лінії, без систематичного тренду.
Прийнятний
Bias = +0,3 ммоль/л. Усі точки зміщені вгору від нуля — метод стабільно завищує результат.
Оцінити клінічну значущість зміщення
Bias зростає з концентрацією. Різниця між методами збільшується при вищих значеннях — лінія тренду має нахил.
Потребує розслідування
Розкид зростає з концентрацією. При низьких значеннях точки щільні, при високих — розкид значно збільшується.
Можливо прийнятний, якщо клінічно незначущий
Крок 4. Діапазон вимірювання (лінійність)
Верифікація діапазону вимірювання підтверджує, що метод дає лінійний відгук у межах заявленого аналітичного вимірювального інтервалу (AMI).
Частково: звужений AMI, протокол розведень
Неприйнятний: значна нелінійність — не впроваджувати
Крок 5. Референтні інтервали
Лабораторія повинна перевірити, чи застосовні референтні інтервали виробника для її популяції пацієнтів.
Коли: популяція лабораторії не відрізняється суттєво від тієї, для якої встановлені інтервали виробника
- Зібрати 20 зразків від здорових осіб відповідної демографічної групи
- Виміряти на новому методі
- Критерій: не більше 2 з 20 (10%) за межами
≤ 2 за межами → прийнятний
> 2 за межами → розширена оцінка (≥120 осіб)
Коли: специфічна популяція (діти, вагітні, етнічні особливості) або суттєвий bias методу
- Мінімум 120 здорових осіб на підгрупу (вік/стать)
- Статистичний аналіз: непараметричний метод (2,5–97,5 перцентиль)
- Клінічна валідація результатів
Коли: надійні опубліковані дані для аналогічного методу та популяції
- Перевірити порівнянність методу
- Перевірити відповідність популяції
- Задокументувати джерело та обґрунтування
Крок 6. Звіт про верифікацію
Усі результати верифікації оформляються у звіт, який підписує керівник лабораторії або відповідальна особа. Це обов’язковий документ для акредитації.
Критерії прийнятності: звідки їх брати
Одне з найскладніших питань верифікації — визначення критеріїв прийнятності. Лабораторія повинна заздалегідь вирішити, який рівень похибки вона вважає допустимим.
Джерела критеріїв
Найвищий пріоритет. Допустима похибка визначається клінічним впливом: при якому відхиленні зміниться клінічне рішення?
Приклад: HbA1c — bias ≤ 0,3% для коректної класифікації діабету
Модель Ricos / Milan: TEa = bias + 1,65 × CV аналітичний. Desirable imprecision: CV ≤ 0,5 × CVi. Desirable bias: B ≤ 0,25 × √(CVi² + CVg²). База даних: EFLM Biological Variation Database.
Рекомендації CLIA, RiliBÄK (Німеччина), RCPA (Австралія) та інших органів.
Приклад: CLIA для глюкози: ±6 мг/дл або ±10%
Критерії прийнятності з програм зовнішньої оцінки якості (RIQAS, PREVECAL, INSTAND тощо)
Характеристики з IFU. Використовувати як мінімальну вимогу, якщо інші джерела недоступні.
Невизначеність вимірювання: огляд концепції
ISO 15189:2022 вимагає, щоб лабораторія оцінювала невизначеність вимірювання (Measurement Uncertainty, MU) для кожного методу. Це одна з найбільш незрозумілих вимог стандарту, тому ми присвятимо їй окрему детальну статтю. Тут — основи концепції.
Що таке невизначеність вимірювання
Результат лабораторного дослідження — це НЕ точне число. Це оцінка з певним діапазоном можливих значень.
Глюкоза = 5,8 ммоль/л
Що це насправді означає: Глюкоза = 5,8 ± 0,3 ммоль/л (з імовірністю 95%)
Тобто: справжнє значення, найімовірніше, знаходиться між 5,5 та 6,1 ммоль/л
Відхилення конкретного результату від «істинного» значення — невідома, неконтрольована
Кількісна оцінка діапазону, в якому «істинне» значення, ймовірно, знаходиться — відома, розрахована, контрольована
Навіщо це лабораторії
Невизначеність вимірювання має практичне значення в кількох ситуаціях:
| Ситуація | Як MU впливає на рішення |
|---|---|
| Результат біля порогу клінічного рішення | Глюкоза 6,9 ммоль/л при діагностичному критерії ≥7,0 — чи це вже діабет? MU покаже, чи різниця клінічно значуща |
| Порівняння послідовних результатів | Креатинін зріс з 90 до 105 мкмоль/л — це реальна зміна чи аналітична варіація? Reference Change Value (RCV) включає MU |
| Зовнішня оцінка якості | Оцінка результату EQA враховує невизначеність |
| Порівняння між лабораторіями | Результати двох лабораторій можна порівнювати лише з урахуванням MU обох |
Підходи до оцінки MU
- Ідентифікація всіх джерел невизначеності
- Кількісна оцінка кожного джерела
- Комбінування за законами розповсюдження невизначеності
Складний, трудомісткий
Практично нездійсненний для більшості клінічних методів
- На основі даних IQC (внутрішньолабораторна прецизійність)
- + дані EQA або порівняння методів (систематичне зміщення)
- u(c) = √(u(Rw)² + u(bias)²)
- u(Rw) — компонент прецизійності (SD з IQC)
- u(bias) — компонент зміщення (з EQA / CRM)
- U = k × u(c), де k = 2 (95%)
Практичний, рекомендований ISO/TS 20914
Використовує дані, які лабораторія вже збирає
Що вимагає ISO 15189:2022
Стандарт (п. 7.3) вимагає:
- оцінити невизначеність вимірювання для кожного методу,
- переглядати оцінку періодично,
- враховувати невизначеність при інтерпретації результатів (де це клінічно значущо),
- повідомляти невизначеність замовнику на запит.
Стандарт не вимагає зазначати MU в кожному звіті — але лабораторія повинна мати цю інформацію і бути готовою її надати.
Коли потрібна ревалідація / реверифікація
Верифікація — не одноразова дія. Стандарт вимагає повторної оцінки при зміні умов, які можуть вплинути на аналітичні характеристики.
- Заміна аналізатора на іншу модель
- Суттєва модифікація методу (зміна реагентної системи)
- Капітальний ремонт аналізатора (заміна ключових вузлів)
- Перехід на реагенти іншого виробника
- Заміна аналізатора на ідентичну модель
- Великий сервіс (annual maintenance) — за оцінкою ризику
- Оновлення програмного забезпечення аналізатора
- Зміна LOT-номера калібратора → верифікація калібрування
- Зміна LOT-номера реагентів → моніторинг IQC + оцінка
- Рутинна заміна LOT реагентів (за умови прийнятного IQC)
- Мале оновлення ПЗ без зміни аналітичних алгоритмів
- Планове ТО без заміни ключових компонентів (за умови прийнятного IQC після ТО)
Часті помилки при верифікації
| Помилка | Чому це проблема | Як правильно |
|---|---|---|
| Використання лише контрольних матеріалів замість пацієнтських зразків | Комутативність: контролі можуть поводитися інакше, ніж реальні зразки | Порівняння методів — на зразках пацієнтів; контролі — для прецизійності |
| Мало зразків для порівняння (5–10) | Недостатня статистична потужність, пропуск зміщення | Мінімум 20, краще 40 зразків по всьому діапазону |
| Всі зразки в нормальному діапазоні | Не оцінено поведінку методу при патологічних значеннях | Включити зразки з низькими та високими значеннями |
| Критерії прийнятності не визначені заздалегідь | Ризик «підгонки» критеріїв під результат | Зафіксувати критерії в протоколі до початку експерименту |
| Відсутній звіт або неповна документація | Невідповідність на аудиті | Оформити повний звіт із сирими даними та висновком |
| Використання OLR замість Passing-Bablok | OLR занижує нахил при наявності похибок в обох методах | Passing-Bablok або Deming regression |
Чеклист: оцінка методів
- Для кожного методу визначено: валідація чи верифікація
- Протокол верифікації складено ДО початку лабораторних робіт
- Критерії прийнятності визначені та обґрунтовані
- Визначені матеріали, зразки, кількість
- Оцінена збіжність (repeatability)
- Оцінена внутрішньолабораторна прецизійність
- CV% порівняний із заявленим виробником та TEa
- Порівняння методів проведено на ≥ 20 пацієнтських зразках
- Зразки охоплюють весь клінічно значущий діапазон
- Використано Passing-Bablok або Deming regression
- Побудовано Bland-Altman, оцінено bias
- Лінійність верифікована в заявленому AMI
- Протокол розведень визначено (якщо потрібно)
- Застосовність інтервалів виробника перевірена
- Або встановлені власні інтервали (≥ 120 осіб)
- Задокументовано обґрунтування
- MU оцінена для кожного методу
- Підхід до оцінки задокументований
- MU переглядається періодично
- Лабораторія готова надати MU на запит
- Звіт про верифікацію оформлено для кожного методу
- Сирі дані зберігаються
- Звіт підписаний та затверджений
- Визначені тригери для реверифікації
Підсумок
Оцінка методів — це не бюрократична вправа, а механізм захисту пацієнта. Верифікація підтверджує, що метод працює у ваших конкретних умовах; валідація доводить, що метод взагалі придатний для свого призначення; невизначеність вимірювання кількісно описує, наскільки можна довіряти числу у звіті.
Для більшості лабораторій практичний пріоритет — верифікація при впровадженні комерційних IVD-методів. Почніть з чітко визначених критеріїв прийнятності (на основі біологічної варіації або TEa), використовуйте реальні пацієнтські зразки для порівняння методів і оформлюйте повний звіт. Тема невизначеності вимірювання буде розкрита детально в наступній статті серії.
Ця стаття — частина серії публікацій про впровадження ISO 15189:2022 у медичних лабораторіях. Потрібна допомога з верифікацією методів або підготовкою до акредитації? [Контакт / CTA]