Methodenvalidierung

Analytische Performance gemäß CLSI-Guidelinesgemäß CLSI-Guidelines

In einer Methodenvalidierung ist der bestimmungsgemäße Gebrauch (Intended Use, Zweckbestimmung) nachzuweisen. Im biomedizinischem Umfeld gehören dazu je nach Zweckbestimmung zunächst die Messeigenschaften, hierum soll es in diesem Abschnitt gehen:

Richtigkeit,
intra- und interserielle Präzision
Impräzisionsprofil
Nachweisgrenze, Bestimmungsgrenze (LoD, LoQ)
Messbereich
Kalibrationskurve
Linearitätsnachweis
Spezifität/Selektivität
Robustheit
Stabilität.

ACOMED statistik unterstützt Ihre Methodenvalidierung gemäß CLSI-Guidelines (Clinical and Laboratory Standards Institute, ehemals NCCLS) durch Dienstleistungen bzgl. der Planung und Analyse der Experimente. Zudem werden entsprechende Statistik-Schulungen angeboten. Eine häufige Aufgabe ist die Anpassung der in der Richtlinie vorgeschlagenen Experimente auf die Belange des Herstellers, wenn z. B. nur geringes Probenvolumen vorliegt oder Proben nicht gelagert werden können. Hier sind die in der Guideline vorgeschlagenen Experimente und statistischen Analyse-Methoden geeignet zu adaptieren. ACOMED statistik unterstützt Sie hierbei.

CLSI-Guideline EP5 - Präzision
CLSI-Guideline EP6 - Linearität
CLSI-Guideline EP7 - Interferenzen
CLSI-Guideline EP9 - Methodenvergleich, Bias.

Dr. Keller war Mitglied im Subcommitteé der CLSI für die Erstellung der neuen Version (EP9-A3) dieser Richtlinie (Beobachterstatus).

CLSI-Guideline EP10 - Preliminary Evaluation
CLSI-Guideline EP12 - Performance Qualitative Tests
CLSI-Guideline EP14 - Matrix-Effekte/Kommutabilität
CLSI-Guideline EP17 - Detektionsgrenze (LoD),
Quantifizierungsgrenze (LoQ)
CLSI-Guideline GP10 - Diagnostische Güte, ROC-Analyse
CLSI-Guideline C28 - Referenzbereich

Dr. Keller ist Mitglied im Subcommitteé der CLSI für die Erstellung der neuen Version (EP25-A3) dieser Richtlinie.

Weiterhin ist Dr. Keller Mitglied der Arbeitsgruppe "Commutability in Metrological Traceability (WG-CMT)" der IFCC sowie Mitglied der Sektion Entscheidungsgrenzen / Richtwerte der DGKL (Link).

Klinische Performance

Wenn die Methode nicht nur für wissenschaftliche Zwecke, sondern für die klinische Diagnostik am Patienten eingesetzt werden soll, sind abhängig von der vorgesehenen Anwendungssituation (Diagnostik, Screening, ...) die diagnostischen Eigenschaften

Sensitivität, Spezifität
Vorhersagewerte PPV/NPV
ROC-Kurve
ggf. alternativ: positive und negative prozentuale Übereinstimmung mit Vergleichsmethode
Cut-Off-Wert
ggf. bis hin zur therapeutischen Relevanz (Wirksamkeitsstudien)

zu schätzen bzw. nachzuweisen. Diese Unterscheidung zwischen Schätzung oder Nachweis (gegen prospektiv gewählte Akteptanzkriterien) ist eine wichtiges Designfeature,

Weiterhin ist festzulegen, welcher Natur die Methode ist, anhand der die klinische Wirklichkeit beschrieben wird. Hierbei wird unterschieden (entsp. CLSI guideline EP12 bzw. FDA-guidance) zwischen einem diagnostischen Gütekriterium bzw. Referenzstandard einerseits (erlaubt Schätzung von Sensitivität, Spezifität etc.) oder einer Vergleichsmethode andererseits (erlaubt Bestimmung von positiver und negativer Übereinstimmung PPA und NPA). [Es geht hier nur um die Begrifflichkeiten, die Berechnungsformeln sind identisch.]

Ein letzter wichtiger Punkt ist die Frage, ob ein Fall-Kontroll-Design (ein bekanntes Referenzstandardergebnis wird als Einschlusskriterium herangezogen) oder ein Kohorten-Design (die Einbeziehung erfolgt anhand der beabsichtigten Diagnose) gewählt wird. Das Fall-Kontroll-Design ist zwar einfacher umzusetzen, führt jedoch in der Regel zu einem Spektrum-Bias, der mit einer Überschätzung der diagnostischen Genauigkeitsmaße einhergeht: Dies ist der Bias mit den größten Auswirkungen in diagnostischen Studien.

Entscheidungs- und Referenzgrenzen

Die Kenntnis der Cut-Off-Werte ist eine Voraussetzung für die Bestimmung der diagnostischen Güte wie für die klinische Anwendung überhaupt. Die Bestimmung der klinisch genutzten Cut-Off-Werte ist ein komplexes Thema, da deren Bestimmung aufwändig ist, und zudem von der klinischen Anwendung abhängt. Grundsätzlich werden Entscheidungsgrenzen (Definition anhand klinischer Gesichtspunkte, z.B. therapeutischer Konsequenzen) und Referenzintervalle bestehend aus zwei oder einer Referenzgrenze (limits) unterschieden. Die Referenzgrenzen werden anhand der "äußeren Grenze(n)" (in der Regel Perzentile) einer gut definierten und sorgfältig ausgewählten Gesundgruppe bestimmt. Diese Bestimmung der Referenzintervalle wird in der CLSI-Guideline C28 beschrieben. Es gibt auch alternative Konzepte, die in der AG Referenzgrenzen der DGKL untersucht werden, in der Dr. Keller mitarbeitet. Literatur:

Haeckel R, Wosniok W, Arzideh F. A plea for intra-laboratory reference limits. Part 1. General considerations and concepts of determination. Clin Chem Lab Med 2007; 45:1033-42,
Arzideh F, Wosniok W, Gurr E, Hinsch W, Schumann G Weinstock N, Haeckel R. A plea for intra-laboratory reference limits. Part 2. A bimodal retrospective concept for determining reference limits from intra-laboratory databases demonstrated by catalytic activity concentrations of enzymes. Clin Chem Lab Med 2007; 45:1043-57

Beispiele für statistische Hilfestellung bei Methodenvalidierungen

Methodenvergleich entspr. CLSI-EP9 bei unterschiedlichen Datenskalierungen, insbesondere Zähldaten (Hämatologie, Eli-Spot, ...)

Bei Methoden-Vergleichen von Analysern in der Hämatologie sind in der Regel sehr viele Analyten zu untersuchen. Diese weisen zudem unterschiedliche Eigenschaften auf, insbesondere sind eine Reihe von Analyten Zähldaten. Auch andere Verfahren, wie die Analyse von Tumorzell-Anzahlen, Flow-zytometrische Daten oder Elispot-Daten haben Zähldaten zum Ergebnis. Diese weisen die Besonderheit auf, dass sie Poisson-verteilt sind. Für Poisson-verteilte Daten erreicht man Varianzenhomogenität, wie sie z. B. im Differenzenplot, weder durch Darstellung der absoluten noch der relativen Differenzen. Auch bei Präzisionsuntersuchungen kann dies zu Problemen führen, da weder die Standardabweichung noch - alternativ - der Variationskoeffizient unabhängig von der Konzentration (korrekt: Anzahl) sind.

ACOMED statistik hat Verfahren entwickelt, um mit diesen Sachverhalten umzugehen.

Experimentelles Setup von Präzisions-Experimenten entspr. CLSI-EP05 bei wenig Probenmaterial

Präzisionsexperimente entspr. der CLSI EP05-Richtlinie, in denen 2 Faktoren untersucht werden, z. B. Lot und Tag, erfordern ca. 75 .. 80 Messungen, d. h. von einer Probe müssen entsprechend viele Aliquots hergestellt werden. Häufig steht jedoch nicht genügend Probenmaterial zur Verfügung.

Ausweg ist die Durchführung der Experimente an mehreren Proben und das statistische Poolen der Ergebnisse.

ACOMED statistik plant Ihre Präzsionsexperimente unter diesen Bedingungen und wertet sie aus.

Anwendungsbeispiel: Varga Z, Lebeau A, Bu H, Hartmann A, Penault-Llorca F, Guerini-Rocco E, Schraml P, Symmans F, Stoehr R, Teng X, Turzynski A, von Wasielewski R, Gürtler C, Laible M, Schlombs K, Joensuu H, Keller T, Sinn P, Sahin U, Bartlett J, Viale G (2017). An international reproducibility study validating quantitative determination of ERBB2, ESR1, PGR, and MKI67 mRNA in breast cancer using MammaTyper®.Breast Cancer Research. Breast Cancer Res. 2017 May 11;19(1):55. doi: 10.1186/s13058-017-0848, Link

Qualitative Nachweisgrenze entspr. CLSI-EP12 bei Messungen in schwierigen Matrizes

Die Nachweisgrenze derartiger Assays wird üblicherweise mit der Probit-Methode ausgewertet. Bei schwierigen Matrizes oder geringen Fallzahlen ist eine Schätzung mit der Probitmethode schwierig. Statistiker der Firma Roche Molecular Diagnostics (USA) haben ein anderes Auswerteverfahren entwickelt [Vaks JE (2017). New Method of Evaluation of Limit of Detection in Molecular Diagnostics, Link; Canchola JA, Vaks JE, Tang S (2016): Limit of Detection (LoD) Estimation Using Maximum Likelihood from (Hit) Rate Data: The LoD_MLE SAS Macro, Link].

Wir haben diese Methode von JE Vaks ohne in SAS, aber ohne IML, programmiert, und analysieren gern Ihre Daten mit dieser innovativen Methode.