Vergleichende Untersuchung verschiedener medizinischer Ordnungssysteme bezüglich ihrer Eignung für einen Einsatz zur Diagnoseverschlüsselung an der Orthopädischen Klinik der Justus-Liebig-Universität Gießen

Abstract

Die hier vorgestellte Untersuchung erfolgte mit der Zielsetzung, die zum Zeitpunkt der Durchführung international als Standard geschätzte ICD-9 mit einigen ihrer Erweiterungen und mit der SNOMED im Hinblick auf ihre Einsatzmöglichkeiten im Fachgebiet Orthopädie zu vergleichen. In Verbindung hiermit sollten auch die Praktikabilität einer adaptiven Dokumentation (Freitextkopplung) und die Möglichkeiten einer Verbesserung der ICD-Anwendungen durch den Einsatz von Erläuterungscodes für Komplikationsdiagnosen beurteilt werden.Material: Der Einsatz der Schlüssel wurde hierzu an einer größeren Zahl orthopädischer Diagnosen überprüft. Die Arbeitsgrundlage bildeten 2676 reale Diagnosen aus 1130 Entlassungsarztbriefen von 1002 Patienten der Orthopädischen Klinik Gießen aus den Jahren 1988 und 1989, die mit allen untersuchten medizinischen Begriffssystemen manuell codiert wurden. Angewandt wurden die folgenden 5 Schlüsselwerke: Die ICD-9, ICD-9-CM, ICD-9-Erweiterung aus Dresden, ICD-9-Erweiterung von Schepp, und SNOMED (Wingerts erweiterte deutsche Fassung).Methodik: Zur Beurteilung der Fragestellung wurden die Codierungsergebnisse jedes Begriffssystems bewertet. Hierzu wurden 50 repräsentative orthopädisch-traumatologische Diagnosen ausgewählt, 5 davon waren Komplikationsdiagnosen. Mit jedem Schlüssel wurde nach diesen 50 Diagnosen gesucht. Die Suchergebnisse wurden bezüglich der 4 zuvor definierten Parameter Retrievalergebnisse, Genauigkeit der textlichen Abbildung, Arbeitsaufwand und Vergleichbarkeit/Standardisierung beurteilt. In der Gesamtwertung wurde für jedes untersuchte Ordnungssystem die Punktsumme aus jeder der 4 Kategorien zu einer Gesamtsumme addiert, wobei eine Summe mit und eine ohne Berücksichtigung der Erläuterungscodes für Komplikationsdiagnosen gebildet wurde. Je niedriger der Gesamtpunktwert für den geprüften Schlüssel ist, desto günstiger ist seine Bewertung.Ergebnisse: Die Gesamtpunktzahlen der ICD-9 und ihrer Erweiterungen sind - ohne Berücksichtigung der Erläuterungscodes - nahezu identisch (zwischen 426 und 428,75 Punkten). Die SNOMED erhielt aufgrund ihres beträchtlichen Arbeitsaufwandes und der geringen Standardisierung mit einer Punktsumme von 555 die mit Abstand ungünstigste Gesamtwertung der untersuchten Diagnoseschlüssel, obwohl sie die weitaus beste Precision und gleich gute Recall Ergebnisse (99,58%) zeigte.Entsprechend den Zielvorgaben wurde geprüft, in welcher Form der geeigneteste Schlüssel möglichst effektiv eingesetzt werden kann. Eine zusätzliche Verschlüsselung von Komplikationsdiagnosen mit Erläuterungscodes erfolgte, wenn dies zur Beschreibung der Diagnose sinnvoll erschien und mit den Voraussetzungen des Schlüssels möglich war. Ihr Einsatz bedingte bei allen ICD-9-Klassifikationen eine Verbesserung der Ergebnisse ihrer Gesamtwertung, deren Ausmaß von einem Punkt (0,2%, Schepp-Schlüssel) bis zu 15,5 Punkten (3,6%, ICD-9) reichte. Die Gesamtwertungsergebnisse veränderten sich zugunsten der ICD-9, die bei Einsatz der Erläuterungscodes den Bestwert von 411,5 Punkten erzielte. Die Schepp-Erweiterung, zuvor auf dem besten Platz, fiel mit 425 Punkten auf die letzte Position innerhalb der ICD-Klassifikationen. Das zweitbeste Ergebnis innerhalb dieser Wertung (418,25) erzielte der Dresdener Schlüssel, gefolgt von der ICD-9-CM (420 Punkte).Die bei adaptiver Dokumentation entstehende Verbindung von Diagnosecode und Diagnosefreitext gestattet den vollständigen Erhalt aller wichtigen diagnostischen Informationen und ermöglicht eine eindeutige Identifizierung gesuchter Diagnosen aus aufgefundenen Diagnosetexten. Sie hilft, potentielle Fehlidentifikationen oder Fehlvergleiche zu vermeiden bzw. diese aufzudecken. Besonders nützlich erweist sich die ausführliche textliche Beschreibung bei Diagnosetexten, die Sammelcodes (XXX.8) zugeordnet werden müssen.Schlußfolgerungen: Kein Schlüssel erfüllte immer alle untersuchten Anforderung optimal und erwies sich als eindeutig am besten geeignet. Alle geprüften ICD 9 Schlüssel erbrachten nahezu gleich gute Gesamtwerte, wobei Unterschiede im Bereich der Precision und Abbildungsgenauigkeit in Abhängigkeit von der Spezifität des Schlüssels zu beobachten waren. Mit der (bis zum Jahr 2000) die gesetzlichen Anforderungen erfüllenden Klassifikation ICD 9, deren Verwendung ohnehin Pflicht war, und ihren Erweiterungen konnten klinische Fragestellungen annähernd genausogut beantwortet werden, wie mit der erheblich aufwendigeren SNOMED. Unter den Schlüsseln war mit steigender Genauigkeit der Abbildung und besseren Retrieval-Werten auch eine Zunahme des Arbeitsaufwandes - und damit Verschlechterung der Bewertung desselben - und eine Verschlechterung der Standardisierung zu beobachten. Dies war auch innerhalb der ICD-9 Schlüssel zu sehen, wobei eine stärkere orthopädisch-traumatologische Ausrichtung mit größerer Genauigkeit und besseren Retrievalwerten einherging. In der Gesamtwertung hoben sich diese gegenläufigen Tendenzen innerhalb der ICD-9-Schlüssel wieder auf, was zu annähernd gleichen Gesamtwerten für die ICD-9 und ihre Erweiterungen führte. Da sich kein wesentlicher Vorteil für die ICD-9-Erweiterungen ergab, kann dem allgemeinen Standard ICD-9 der Vorzug gegeben werden.Der in Gießen entwickelte Schepp-Schlüssel war in den Kategorien Retrieval-Wertung und Genauigkeit der Abbildung der Dresdener Erweiterung unterlegen.Für entscheidungsunterstützende Verfahren ist aufgrund der erheblich besseren Precision ein Vorteil für SNOMED RT zu erwarten - eine zusätzliche Anwendung ist aber nur für eine automatisierte Zusatzcodierung zu empfehlen.Der Einsatz von Erläuterungscodes für Komplikationsdiagnosen ist zu empfehlen. Der hiermit verbundene Mehraufwand bedingt eine Verbesserung von Precision und Genauigkeit der Abbildung.Auch die adaptive Dokumentation ist als besonders geeignete und effektive Anwendungsform unbedingt für alle untersuchten Schlüssel zu empfehlen. Mit ihrer Anwendung stehen durch Codierung geordnete Daten für Auswertungen zur Verfügung und die im Text enthaltenen Informationen bleiben für spätere neue Codierungen oder direkte Bearbeitung und/oder Nutzung erhalten. Mit diesem Vorgehen können bei gewissenhafter Codierung und Abfrageformulierung mit allen geprüften Schlüsseln sehr gute Resultate erwartet werden. Auch für zukünftige Entwicklungen von Schlüsselwerken ist dieses geschilderte Vorgehen einer Freitextkopplung unbedingt zu befürworten. The aim of this study was to compare the internationally known standard ICD 9 with three of its clinical modifications and with SNOMED regarding their usefulness in the field of orthopaedic surgery. The practicality of adaptive documentation (freetext coding) and possibilities of an improvement of the application of ICD-Codes with descriptive codes for complication diagnoses were also examined in this context.Material: The coding systems were tested on 2676 real diagnoses taken from 1130 discharge letters of 1002 patients that were hospitalised at the Department of Orthopaedic Surgery at the Justus-Liebig-University, Gießen in the years of 1988 and 1989. The diagnoses were coded manually with all five examined coding systems: ICD-9, ICD-9-CM, ICD-9-Dresden, ICD-9-Schepp, and SNOMED (Wingerts extended German version).Methods: To answer the underlying question the coding results of every coding system tested were evaluated. 50 representative orthopaedic diagnoses, 5 of them complication diagnoses, were chosen. With each coding system patients that were hospitalised with these diagnoses were searched. The results were evaluated regarding the following 4 parameters: retrieval results, quality of textual description, workload, and standardization/comparability. In the complete evaluation the sums of the 4 categories for each coding system were added to a total sum. One sum was formed with and one without consideration of the descriptive codes for complication diagnoses. The lower the value of the total sum, the better the result.Results: The total sums of the ICD-9 and its adaptions without consideration of the descriptive codes are almost identical (426 - 428.75 points). SNOMED arrived at a total sum of 555 points - by far the highest and therfore the poorest evaluation - in spite of it having by far the best precision among the systems tested and showing equally good recall (99.58%).According to the goal of this study we examined, in which way the most appropriate coding system could be used most effectively. Additional coding with descriptive codes was carried out whenever it seemed suitable and was possible. The use of descriptive codes caused an improvement of the total results of all ICD-9 classifications that reached from 1 point (0.2%, ICD-9-Schepp) to 15.5 points (3.6%, ICD-9). The total results changed in favour of the ICD 9 that reached the best value of 411.5 points. ICD-9-Schepp (425 points) fell back from best position to last within the ICD classifications. ICD-9-Dresden reached the second best result (418.25 points), followed by ICD-9-CM (420 points).Adaptive documentation resulting in the combination of the diagnostic code of the coding system with the original freetext of the diagnosis makes it possible to preserve all important diagnostic information and allows a quick survey of retrieved data with certain identification of diagnoses searched for. It helps to avoid or recognize false identifications and comparisons. It proved especially useful when codes that gathered several diagnoses had to be applied (XXX.8 - otherwise specified).Conclusions: None of the coding systems always filled all the requirements and proved itself to be the most appropriate. The ICD-9 and its modifications showed almost equally good results, with differences in precision and quality of description depending on the specificity of the adaption. The classification ICD-9 (which satisfied the legal requirements in Germany until the year 2000), which was mandatory, and the clinical ICD-9 modifications examined here could be used to answer clinical questions nearly as good as the much more elaborate SNOMED.With increasing quality of description and improved retrieval results an increasing workload (and poorer evaluation of this parameter) and decreasing standardization was observed. This was also evident among the ICD-9 codes. Greater orthopaedic-traumatologic orientation led to superior quality of description and better retrieval results. In the total evaluation these opposing tendencies within the ICD-9 codes levelled and led to nearly equal total sums for the ICD-9 and its modifications. Since there was no relevant advantage for the use of the modification, the standard ICD-9 can be preferred.The ICD-9-Schepp which was developed at the Department of Orthopaedic Surgery in Gießen by Schepp in 1985 proved inferior to the ICD-9-Dresden in the categories retrieval results and quality of description.Due to the markedly higher precision an advantage for SNOMED RT is to be expected for use in decision-support-systems. However, the additional coding of diagnoses with SNOMED RT can only be recommended for automatic coding strategies.The use of descriptive codes for complication diagnoses is suggested. The additional expenditure of work is rewarded by an improvement of precision and quality of description.Adaptive documentation is proposed as a very appropriate and effective measure. It is highly recommended for use with all the coding systems examined. With its application diagnostic data is classified and available for scientific evaluation. Moreover all information contained in the diagnostic text is retained for later, new coding or direct processing and/or use. With this procedure very good results can be expected with all examined coding systems with diligent coding and analysis. This method of freetext coding is also strongly recommend for future developments of coding systems.