Statistik-Beratung ROC curve, ROC curves, DAC method, diagnostic studies

 

Willkommen ! English Version Biometrie & Statistik Schwerpunkt Diagnostik Schwerpunkt Labor Passing-Bablok-Regression Performance limits Statistische Beratung Schwerpunkt Software Referenzen/Projekte Links Statistiksoftware ACOMED Kontakt / Anfahrt Vorstellung Stellenangebote / Praktika Ablauf / Konditionen Impressum

 

Grafik von E. Meisel, Leipzig: Die Widderin
disease cluster

Sie befinden sich: Labor - Methodenvalidierung

Statistik-Dienstleitungen für Kinische Labors:
Methodenvalidierung gemäß CLSI-Guidelines

Methodenvalidierung nach CLSI-Guidelines

ACOMED statistik unterstützt Ihre Methodenvalidierung gemäß CLSI-Guidelines (Clinical and Laboratory Standards Institute, ehemals NCCLS), und bietet entsprechende Schulungen an.

  • CLSI-Guideline EP5 - Präzision
  • CLSI-Guideline EP6 - Linearität
  • CLSI-Guideline EP7 - Interferenzen
  • CLSI-Guideline EP9 - Methodenvergleich, Bias.
    Dr. Keller ist Mitglied im Subcommitteé der CLSI für die Erstellung der neuen Version (EP9-A3) dieser Richtlinie (Beobachterstatus).
  • CLSI-Guideline EP10 - Preliminary Evaluation
  • CLSI-Guideline EP12 - Performance Qualitative Tests
  • CLSI-Guideline EP14 - Matrix-Effekte
  • CLSI-Guideline EP17 - Detektionsgrenze (LoD),
    Quantifizierungsgrenze (LoQ)
  • CLSI-Guideline GP10 - Diagnostische Güte, ROC-Analyse
  • CLSI-Guideline C28 - Referenzbereich

In einer Methodenvalidierung ist der bestimmungsgemäße Gebrauch (Intended Use, Zweckbestimmung) nachzuweisen. Im biomedizinischem Umfeld gehören dazu je nach Zweckbestimmung erstens die Messeigenschaften:

  • Richtigkeit,
  • intra- und interserielle Präzision
  • untere Nachweisgrenze
  • Messbereich
  • Kalibrationskurve
  • Impräzisionsprofil
  • Linearitätsnachweis
  • Spezifität/Selektivität
  • Robustheit

Links zur Methodenvalidierung (Messeigenschaften):
Publikationen zur Methodenvalidierung der Eurachem (europäisches Netzwerk für "international traceability of chemical measurements and the promotion of good quality practices")
Westgard Web Lessons - Internet-Quelle nicht nur für Validierung, sondern Statistik, QS u.v.a.m.

Bestimmung der diagnostischen Güte bzw. der Übereinstimmung in Diagnosestudien

Wenn die Methode nicht nur für wissenschaftliche Zwecke, sondern für die klinische Diagnostik am Patienten eingesetzt werden soll, sind abhängig von der vorgesehenen Anwendungssituation (Diagnostik, Screening, ...) die diagnostischen Eigenschaften

  • Sensitivität,
  • Spezifität
  • Vorhersagewerte
  • ROC-Kurve
  • ggf. alternativ: positive und negative Übereinstimmung mit Vergleichsmethode
  • Cut-Off-Wert
  • ggf. bis hin zur therapeutischen Relevanz (Wirksamkeitsstudien)

zu bestimmen.
Für das Design entscheidend ist, welcher Natur die Methode ist, anhand der die klinische Wirklichkeit beschrieben wird. Hierbei wird unterschieden (entsp. CLSI guideline EP12) zwischen einem diagnostischen Gütekriterium (erlaubt Schätzung von Sensitivität, Spezifität etc.) und Vergleichsmethode (erlaubt Bestimmung von positiver und negativer Übereinstimmung).

Entscheidungs- und Referenzgrenzen

Die Kenntnis der Cut-Off-Werte ist eine Voraussetzung für die Bestimmung der diagnostischen Güte wie für die klinische Anwendung überhaupt. Die Bestimmung der klinisch genutzten Cut-Off-Werte ist ein komplexes Thema, da deren Bestimmung aufwändig ist, und zudem von der klinischen Anwendung abhängt. Grundsätzlich werden Entscheidungsgrenzen (Definition anhand klinischer Gesichtspunkte, z.B. therapeutischer Konsequenzen) und Referenzintervalle bestehend aus zwei oder einer Referenzgrenze (limits) unterschieden. Die Referenzgrenzen werden anhand der "äußeren Grenze(n)" (in der Regel Perzentile) einer gut definierten und sorgfältig ausgewählten Gesundgruppe bestimmt. Diese Bestimmung der Referenzintervalle wird in der CLSI-Guideline C28 beschrieben. Es gibt auch alternative Konzepte, die in der AG Referenzgrenzen der DGKL untersucht werden, in der Dr. Keller mitarbeitet.
(see: Haeckel R, Wosniok W, Arzideh F. A plea for intra-laboratory reference limits. Part 1. General considerations and concepts of determination. Clin Chem Lab Med 2007; 45:1033-42,
Arzideh F, Wosniok W, Gurr E, Hinsch W, Schumann G Weinstock N, Haeckel R. A plea for intra-laboratory reference limits. Part 2. A bimodal retrospective concept for determining reference limits from intra-laboratory databases demonstrated by catalytic activity concentrations of enzymes. Clin Chem Lab Med 2007; 45:1043-57

Beispiele für Ziele einer Methodenvalidierung

Beispiel 1:
Intended Use: Der Laborkit X ist zur Messung des Analyten Y in Blutserum vorgesehen.
Methodenvalidierung: In diesem Fall sind die Messeigenschaften in Blutserum nachzuweisen: Richtigkeit, Präzision, Einfluss von verschiedenen Serumbestandteilen auf die Messung (Spezifität), usw.

Beispiel 2:
Intended Use: Der Laborkit CRP (C-reaktives Protein) ist zum Nachweis einer postoperativen, bakteriellen Entzündung vorgesehen .
Methodenvalidierung:
a) Diagnosestudie an Patienten nach einer Operation. Ermittlung der Sensitivität und Spezifität für verschiedene Schweregrade der OP. Festlegung des Cut-Off-Wertes für das Vorliegen einer bakteriellen Entzündung.
b) Ermittlung der Messeigenschaften. Dieser Link zeigt die Forderungen der FDA für CRP-Tests. (Achtung: Es gelten die auf der Linkseite genannten Hinweise).

Beispiel 3:
Intended Use: Der Laborkit h-CRP (hochsensitives C-reactives Protein) ist zur Ermittlung des Herzinfarktrisikos in der Screening-Situation vorgesehen.
Methodenvalidierung:
a) Diagnosestudie in der Screening-Situation (z.B. Gesunde, oder Risikopatienten Aletr > 40 Jahre mit einem der Riskofaktoren Rauchen, Stress, ungesunde Lebensweise). Ermittlung der Sensitivität, Spezifität und des positiven Vorhersagewertes für diese Population. Festlegung des Cut-Off-Wertes für das Vorliegen eines Herzinfarktrisikos).
b) Ermittlung der Messeigenschaften (hier insbesondere untere Nachweisgrenze, interserielle Präzision).

 
ROC curve, ROC curves, DAC method
Copyright: ACOMED   
{short description of image}
{short description of image} {short description of image} {short description of image}