Objektive Lieferantenbeurteilung - durch Quantifizierung von Auditergebnissen

Die Durchführung von "on site" Lieferantenaudits als Teil der Lieferantenqualifizierung ist u.a. in der Arzneimittelund Wirkstoffherstellungsverordnung (AMWHV¹) gefordert (§11). Etwaig gemachte Beobachtungen zu GMP-Abweichungen ("observations") werden i.d.R. sowohl von Auditoren als auch von Behördeninspektoren in drei Kategorien klassifiziert: kritische Mängel, schwerwiegende (Major) und andere (Minor) Mängel²; dazu kommen in den meisten Fällen noch "Empfehlungen".

Allein aus der Aufzählung der Abweichungen kann nur in seltenen Fällen auf die Geeignetheit des Lieferanten/ Servicedienstleisters geschlossen werden. Denn jede Abweichung sollte im Kontext zu der Situation beurteilt werden, in der die Abweichung beobachtet wurde. Dieses ist jemandem, z.B. einer "Qualified Person", die nicht am Audit teilgenommen hat, häufig nicht möglich, obwohl es der beispielhaft genannten "Qualified Person" obliegt, im Rahmen der Supply Chain die Geeignetheit von Lieferanten/Service Dienstleistern ggf. beurteilen zu müssen³.

Aus diesem Grund kann es wünschenswert sein, mittels eines managementkompatiblen "Ampelsystems", rot - gelb, grün, anzuzeigen⁴, ob ein Lieferant geeignet ist oder nicht.

Es wurde versucht, ein einfach zu handhabendes quantitatives Modell zu entwickeln, mittels dessen die Geeignetheit eines Lieferanten in Form eines Ampelsystems aufgezeigt werden kann.

Material und Methoden

Aus dem Auditberichtsarchiv von/für Boehringer Ingelheim Pharma durchgeführten Audits bei Lieferanten/ Service-Dienstleistern wurden nach dem Zufallsprinzip knapp 100 Auditberichte ausgewählt und ausgewertet. Etwa die Hälfte davon waren eigene Audits, die andere Hälfte bestand aus Audits, die durch "Dritte" durchgeführt wurden.

Seminarempfehlung

Amsterdam, The Netherlands27-29 November 2024

Bei der Auswertung diente die Klassifizierung von GMP-Abweichungen zur Orientierung, die auch von Behörden angewandt werden².

Zusätzlich zu den GMP-Abweichungen wurden auch noch die von den Auditoren gegebenen "Empfehlungen" in die Auswertung mit einbezogen, ohne sie als Abweichung zu klassifizieren. Gleichzeitig wurden die Abweichungen, je nach Kritikalität, mit einem Multiplikationsfaktor versehen: kritische Abweichungen mit dem Faktor 5, schwerwiegende (Major) Abweichungen mit dem Faktor 2 und andere (Minor) Abweichungen mit dem Faktor 0,5. Dazu wurden die gegebenen Empfehlungen noch mit 0,1 multipliziert⁵, auch wenn sie streng genommen nicht als Abweichung gewertet wurden.

Die Anzahl Abweichungen (+ Empfehlungen) in allen ausgewerteten Auditberichten wurden graphisch dargestellt und versucht, aus der erhaltenen Verteilung der Abweichungen/Empfehlungen eine statistische Berechnungsmöglichkeit abzuleiten, die den Stand der Geeignetheit des Lieferanten quantitativ abzubilden in der Lage ist ("GMP Readyness").

Ergebnisse

Aus Tabelle 1 sind die erhaltenen Ergebnisse aller Audits zu ersehen.

 

Die Ergebnisse eigener Audits und "Audits von Dritten" sind weitgehend miteinander vergleichbar, qualitativ und quantitativ, so dass bei weiterer Betrachtung nicht mehr zwischen beiden Auditarten unterschieden werden musste. Trägt man die erhaltenen Ergebnisse, Prozentzahlen, graphisch gegen die Klassifizierung auf, so erhält man eine Verteilung, die etwa an eine Poissonverteilung erinnert (Abbildung 1; rechts ist das typische Verteilmuster einer Poissonverteilung, "rechtsschiefe Verteilung", zum Vergleich abgebildet).

 

Abbildung 1: Die Verteilung von Beobachtungen bei Audits entspricht einer Poissonverteilung

 

Aus diesem Grunde scheint es gerechtfertigt, für die weiteren Betrachtungen die Poissonverteilung anzuwenden7:

PN = e-N * Nx/x!

wobei N der ermittelte Kritikalitätswert, P ein Wert zwischen 0 und 1 (multipliziert mit 100 ergibt sich der entsprechende Prozentwert ["GMP Readyness"]) und x die Zahl der gesuchten Ereignisse ist.

Für x=0 gilt per definitionem Nx und x! = jeweils 1, so dass die obige Gleichung folgendermaßen simplifiziert werden kann:

PN = e-N

Es gilt nun, für N einen akzeptablen Kritikalitätswert zu ermitteln: Beim Audit erwartet werden Beobachtungen zu Abweichungen von GMP-Vorgaben, die von "kritischen Abweichungen" bis "Empfehlungen" reichen.

Um der jeweiligen Kritikalität der Beobachtung gerecht zu werden, wurde die jeweilige Anzahl an Beobachtungen gleichen "rankings" mit den Multiplikatoren, wie unter "Material und Methoden" beschrieben, multipliziert. Aus den erhaltenen Produkten wurde dann die Gesamtsumme gebildet, so dass N die Summe aus den Produkten

N = (Anz. "kritisch" x5) + (Anz. "Major" x2) + (Anz. "Minor" x0,5) + (Anz. Empf. x0,1)

ist⁵.

 

Mit einem auf die oben beschriebene Art und Weise ermitteltem Wert für "N" ist keine sinnvolle Rechenoperation möglich. Es muss demnach noch ein zusätzlicher Korrekturfaktor eingeführt werden, um in einen "rechenbaren Bereich" zu kommen.

Als "best fit" hat sich ein Korrekturfaktor (Teiler) in Anhängigkeit von der Auditdauer und -intensität von 1/25 herauskristallisiert: Ein größerer Teiler würde zu einem steileren Abfall der "GMP Readyness" nach Audit ergeben, ein kleinerer Teiler würde kaum noch eine Aussage über den realen, durch ein Audit ermittelbaren GMP-Status des Lieferanten zulassen (Abbildung 2).

 

Abbildung 2: Abnahme der "GMP Readyness" in Abhängigkeit von dem gewählten Korrekturfaktor

 

Die Ergebnisse von insgesamt knapp 100 Audits wurde auf die beschriebene Art und Weise ausgewertet, und der jeweilige erhaltene Prozentwert für P wurde größenordnungsmäßig mit der "dezimalen Leistungstabelle für Berufsschulen" des Deutschen Industrie- und Handelskammertags korreliert⁸:

• ≥

80% = guter bis sehr guter Lieferant

≥

60 - 79% = akzeptabler Lieferant

<

60% = (ohne zugesagte Verbesserungen) nicht akzeptabel.

 

Abbildung 3: Ergebnisse eigener Audits im Vgl. zu "Audits durch Dritte"

 

Aus Abbildung 3 ist zu ersehen, dass bei 50 durchgeführten "eigenen Audits" insgesamt drei Auditergebnisse "nicht akzeptabel" waren (vier waren es bei den durch kommerzielle Auditanbieter, "Dritte", durchgeführte Audits), aber die allermeisten Auditergebnisse, jeweils >90%, liegen im "akzeptablen" bis "(sehr) guten" Bereich.

Mittels Chi²-Test⁷ wurde verglichen, ob Ergebnisse "eigener Audits" in Bezug auf Anzahl "gute" bis "sehr gute" Lieferanten mit denen von "Dritten" vergleichbar waren: Da von Audits bei Packmittelherstellern nur von "Dritten" Ergebnisse vorlagen, die auch überwiegend alle "sehr gut" waren, wurden diese bei einem zweiten Vergleichstest aus der Berechnung herausgelassen.

Die Ergebnisse zeigen (siehe Tabelle 2), dass, wenn die Packmittelhersteller nicht in die Auswertung einbezogen werden, die erhaltenen Ergebnisse ohne weiteres miteinander vergleichbar waren; auch unterschied sich die Anzahl "schlechter" (GMP Readyness <60%) Resultate nicht signifikant voneinander (warum insbesondere Packmittelhersteller allerdings überproportional "sehr gut" abgeschnitten haben, wurde nicht weiter untersucht).

 

 

Diskussion der Ergebnisse

Über die Qualität und Aussagekraft von Auditberichten wurde bereits häufiger diskutiert⁹. Unstrittig ist, dass z.B. die "Qualified Person" die Pflicht hat, die gesamte Supply Chain eines Lieferanten zu kennen, u.a. auch auf der Basis vorhandener Auditberichte¹⁰ (siehe auch Annex 16, Punkt 1.7.2¹¹).

Es ist jedoch unstrittig, dass jemand, der beim Audit nicht persönlich anwesend war und sich auf die Aussagen eines vorhandenen Berichts verlassen muss, oft nicht eindeutig beurteilen kann, ob der auditierte Lieferant den Anforderungen genügt, insbesondere dann nicht, wenn im Bericht nicht eindeutig ausgesagt ist, ob der auditierte Lieferant den Anforderungen genügt oder nicht. Aus diesen Gründen wurde u.a. auch die Forderung nach einer eindeutigen Stellungnahme seitens der Auditoren im Bericht bzgl. der etwaigen Geeignetheit/ Ungeeignetheit des Lieferanten gestellt⁹.

In dem hier vorgestellten Manuskript wurde die Möglichkeit beschrieben, statt einer (subjektiven) Aussage eine (objektive) Kennzahl ("GMP Readyness" als prozentualen Wert) zu ermitteln, die Auskunft über die Geeignetheit eines Lieferanten geben kann. Zur weiteren "Untermalung" kann die ermittelte Kennzahl mit einem "Ampelsystem" korreliert werden, welches der beispielhaft genannten "Qualified Person" mit einem Blick zu erkennen erlaubt, wie es um die Eignung des auditierten Lieferanten bestellt ist.

Aber auch die Ermittlung der als "objektiv" bewerteten Kennzahl ist erst einmal diskussionswürdig: Zu Gunsten der in diesem Manuskript beschriebenen Ermittlung kann angeführt werden, dass der vorgeschlagene Weg und die Rationale bereits einmal beschrieben wurde5 und offensichtlich zu vertrauenswürdigen Ergebnissen führt. Die Festlegung der Multiplikationsfaktoren für die Herausstellung der unterschiedlichen Kritikalitäten der gemachten Beobachtungen sowie die Wahl des Korrekturfaktors, um schlussendlich in einen "rechenbaren Bereich" zu gelangen, sind natürlich persönliche Festlegungen auf Grund gemachter Erfahrungen und damit erst einmal (leicht) subjektiv; die Möglichkeiten, dies zu ändern sind begrenzt. Damit diese nicht zu umgehende subjektive Festlegung von Multiplikatoren bzw. Korrekturfaktoren nicht zu willkürlichen Ergebnissen führt, ist es ratsam, Multiplikations- und Korrekturfaktor(en) nicht ständig neu festzulegen. Es mag zwar sein, dass sie anfänglich falsch festgelegt wurden, aber die durch diese falsche Festlegung sich ergebenden Fehler wären in diesen Fällen ein systematischer Fehler: Bleibt es erst einmal bei einer Festlegung, mag die Richtigkeit des Ergebnisses zwar in Frage gestellt werden, die Präzision ist jedoch hoch und abweichende Ergebnisse sind erkennbar - und darauf kommt es im Endeffekt an (siehe Abbildung 4 "Zielscheibendarstellung").

 

 

Fazit

• Auditberichte sollen Beurteilungen enthalten, die es am Audit nicht beteiligten Personen ermöglicht, die (Un-) Geeignetheit eines Auditierten zu erkennen.
• Beurteilungen sind häufig subjektiv, deshalb wurde eine statistische Lösung beschrieben, mittels deren eine Kennzahl (Prozentwert bzw. "GMP Readyness") berechnet werden kann.
• Wird die ermittelte Kennzahl mit einem "Schulnotensystem" korreliert, ist es auf diese Weise möglich, an Hand der Kennzahl "geeignete" von "bedingt geeigneten" bzw. "ungeeigneten" Lieferanten zu unterscheiden.
• Der immer noch vorhandenen Willkürlichkeit bei der Festlegung von Korrekturfaktoren zur Ermittlung der Kennzahl, siehe 2. Aufzählungspunkt, kann dadurch begegnet werden, dass Multiplikations- und Korrekturfaktoren, die einmal festgelegt wurden, nicht mehr geändert werden. Systematische Fehler sind damit zwar nicht ausgeschlossen, auf Grund der Präzision können abweichende Ergebnisse jedoch leicht erkannt werden.

 

Autor:
Dr. Michael Pfeiffer
ist Global Supply Chain Quality Manager im Global Quality Department bei Boehringer Ingelheim.

 

Fußnoten:
¹ Verordnung über die Anwendung der Guten Herstellungspraxis bei der Herstellung von Arzneimitteln und Wirkstoffen und über die Anwendung der Guten fachlichen Praxis bei der Herstellung von Produkten menschlicher Herkunft (Arzneimittel- und Wirkstoffherstellungsverodnung - AMWHV) vom 3. November 2006 BGBl. I S. 2523)
² Wie läuft eine GMP/GDP Behördeninspektion ab? Ein Beispiel aus der Schweiz; GMP News, 11.12.2017
³ Der neue Anhang 16 tritt in Kraft; GMP news, 11.4.2016
⁴ K. Kowalcze, Extrawürstel gibt's nur in der Werbung, Wiener Zeitung, online Ausgabe vom 06.04.2017
⁵ M. Pfeiffer, GMP Selbstinspektionen als Vorbereitungstool auf Kunden- und Behördeninspektionen, Pharm. Ind. 66, Nr. 10, 1255 - 1259 (2004)
⁶ J.R. Gills, G. A. Mosley et al, Understanding Biological Indicator Grow-Out Times, Pharmaceutical Technology, January 2010, Volume 34, Number 1 (online exclusive)
⁷ L. Cavalli - Sforza, Biometrie - Grundzüge biologisch-medizinischer Statistik, Gustav Fischer Verlag Stuttgart, 4. Auflage (1974), ISBN 3-437-00123-X
⁸ IHK Notenschlüssel (dezimal), Stand Januar/2006
⁹ S. Kettelhoit, GMP für Wirkstoffe - Auditqualität am Bericht erkennen, Pharm. Ind. 72, Nr. 2, 242 - 247 (2010)
¹⁰ MHRA, Around the world in 80 ways (part 2 of 2), https://mhrainspectorate.blog.gov.uk/2017/02/27/around-the-world-in-80-ways-part-2-of-2/
¹¹ Annex 16: Certfication by a Qualified Person and Batch Release (gültig ab 15.4.2016), EudraLex, Volume 4, EU Guideline for Medicinal Products for Human and Veterinary Use
¹² H. Lohninger, Zufällige und systematische Fehler, http://www.statistics4u.info/fundstat_germ/ee_precision_accuracy.html