ChatGPT in der Praxis: Diese Probleme könnten entstehen

Der Einsatz von künstlicher Intelligenz (KI) wie ChatGPT in Arztpraxen wird zunehmend als Möglichkeit gesehen, den Praxisalltag effizienter zu gestalten. Von der Automatisierung administrativer Aufgaben bis zur Unterstützung bei der Diagnostik bieten KI-Tools zahlreiche Vorteile. Doch wo Chancen sind, gibt es auch Herausforderungen. Der unbedachte Einsatz von ChatGPT kann erhebliche Risiken bergen – von Datenschutzproblemen über medizinische Verantwortung bis hin zu möglichen Fehlern in der Patientenkommunikation.

In diesem Beitrag beleuchten wir die zentralen Probleme, die durch die Nutzung von ChatGPT in der Praxis entstehen könnten, und zeigen, warum ein verantwortungsvoller Umgang mit der Technologie essenziell ist.

Aktueller Stand: Laut einer Bitkom/Hartmannbund-Umfrage (Mai 2025) setzen bereits 15 % aller deutschen Arztpraxen und 18 % der Krankenhäuser KI-Tools aktiv ein. Gleichzeitig haben über 40 % der niedergelassenen Ärzte KI-Tools bereits inoffiziell genutzt – oft ohne Wissen des Datenschutzbeauftragten.

1. Datenschutz und Datensicherheit

Patientendaten gehören zu den sensibelsten Daten überhaupt. Die DSGVO stuft sie als besondere Kategorien personenbezogener Daten (Art. 9 DSGVO) ein und stellt sie unter den höchstmöglichen Schutz. Genau hier liegt das Kernproblem beim Einsatz von ChatGPT.

Externe Speicherung von Daten

Jede Eingabe in ChatGPT wird an Server von OpenAI übermittelt, die sich außerhalb der Kontrolle Ihrer Praxis befinden. In der kostenlosen und Plus-Version werden Ihre Eingaben standardmäßig zum Training der KI verwendet: ein klarer Verstoß gegen die DSGVO, wenn Patientendaten enthalten sind.

Für die Enterprise-, Team- und API-Versionen hat OpenAI inzwischen reagiert: Hier werden Daten nicht für das Training verwendet, eine EU-Datenresidenz ist seit 2024 verfügbar, und OpenAI bietet einen Auftragsverarbeitungsvertrag (AVV) gemäß Art. 28 DSGVO an. API-Daten werden maximal 30 Tage gespeichert.

DSGVO-Verstöße: wie real ist das Risiko?

Sehr real. Die Datenschutzkonferenz (DSK), das Gremium aller deutschen Datenschutzbehörden, hat im Mai 2024 eine Orientierungshilfe „Künstliche Intelligenz und Datenschutz“ veröffentlicht. Die zentralen Forderungen: geschlossene KI-Systeme bevorzugen, Eingaben nicht für das Training verwenden, eine Datenschutz-Folgenabschätzung (DPIA) durchführen und Transparenz gemäß Art. 12/13 DSGVO sicherstellen.

Wie ernst die Aufsichtsbehörden es meinen, zeigt der Fall Italien: Die italienische Datenschutzbehörde Garante hat ChatGPT im März 2023 vorübergehend verboten und OpenAI im Dezember 2024 mit einer Geldstrafe von 15 Mio. € belegt – die erste DSGVO-Strafe gegen ein generatives KI-System überhaupt. Die Gründe: fehlende Rechtsgrundlage für das Training mit personenbezogenen Daten, mangelnde Transparenz und fehlender Altersschutz.

Insgesamt wurden im Gesundheitssektor EU-weit bereits 237 DSGVO-Bußgelder mit einem Gesamtvolumen von rund 22,8 Millionen Euro verhängt. Die durchschnittliche Strafe für unzureichende technisch-organisatorische Maßnahmen lag 2024 bei 203.423 Euro.

Schatten-KI: Das unterschätzte Risiko im Praxisalltag

Die Lösung: Klare interne Richtlinien zur KI-Nutzung erstellen, genehmigte Tools definieren und regelmäßige Schulungen durchführen.

Cyberangriffe und Datenlecks

Jede neue digitale Schnittstelle vergrößert die Angriffsfläche Ihrer Praxis. Die Bedrohungslage ist alarmierend: Erfolgreiche Cyberangriffe auf Gesundheitseinrichtungen in Deutschland sind zwischen 2020 und 2024 um 74 % gestiegen.

Das Bundesamt für Sicherheit in der Informationstechnik (BSI) stellte in seinem Bericht „Cybersicherheit im Gesundheitswesen 2024″ fest, dass Gesundheitseinrichtungen erheblichen Aufholbedarf bei IT-Sicherheitsmanagementsystemen haben. Besonders brisant für Praxen: Im BSI-Projekt „SiPra“ wurden Praxisverwaltungssysteme (PVS) überprüft – 3 von 4 getesteten Systemen wiesen Sicherheitslücken auf, die über das Internet ausgenutzt werden konnten. Fehlende Verschlüsselung und veraltete Algorithmen waren die häufigsten Schwachstellen.

Wenn Sie ChatGPT über einen Browser nutzen, der gleichzeitig Zugang zu Ihrem PVS hat, entsteht eine zusätzliche Angriffsfläche, die bei einem Cyberangriff ausgenutzt werden kann.

2. Medizinische Verantwortung und Haftung

ChatGPT kann Ärzte bei der Entscheidungsfindung unterstützen, darf aber niemals die alleinige Grundlage für Diagnosen oder Behandlungspläne sein.

ChatGPT hat keine Approbation, keine Haftpflichtversicherung und keine medizinische Zulassung. Die gesamte Verantwortung für jede medizinische Entscheidung liegt und bleibt beim behandelnden Arzt.

Fehlerhafte Diagnosen

Die KI generiert Antworten basierend auf Trainingsdaten, versteht aber weder den klinischen Kontext noch individuelle Patientenbedürfnisse. Ein Arzt, der sich blind auf Vorschläge der KI verlässt, könnte eine falsche Diagnose stellen – mit potenziell gravierenden Folgen für den Patienten.

Haftungsfragen: Wer zahlt, wenn die KI irrt?

Die Haftung in Deutschland basiert auf drei Säulen:

Arzthaftung: Der Arzt haftet für eigene Sorgfaltspflichtverletzungen (§§ 630a–630h BGB). Die KI selbst besitzt keine Rechtspersönlichkeit und kann kein „Erfüllungsgehilfe“ sein. Wird die KI als „Neulandmethode“ eingestuft, gelten erhöhte Sorgfaltspflichten – inklusive verstärkter Ergebniskontrolle und erweiterter Aufklärungspflicht gegenüber dem Patienten. Die blinde Übernahme einer falschen KI-Empfehlung wird als Behandlungsfehler gewertet.

Produkthaftung: Die neue EU-Produkthaftungsrichtlinie (2024/2853, verabschiedet Oktober 2024) definiert Software erstmals ausdrücklich als „Produkt“ und etabliert eine verschuldensunabhängige Herstellerhaftung für defekte KI-Software. Deutschland muss diese Richtlinie bis 9. Dezember 2026 umsetzen. Konkret bedeutet das: Wenn ein KI-Medizinprodukt einen Fehler verursacht, haftet der Hersteller auch ohne Verschulden.

Betreiberhaftung: Als Praxisbetreiber haften Sie als Anwender für die ordnungsgemäße Auswahl, Integration und Überwachung der eingesetzten Systeme.

Die Position der Bundesärztekammer

Der 129. Deutsche Ärztetag hat im Mai 2025 eine klare Resolution verabschiedet:

Die Bundesärztekammer fordert zudem die Einrichtung eines interdisziplinären KI-Expertenausschusses und die Verankerung von KI-Kompetenzen in Aus-, Weiter- und Fortbildung.

Regulatorischer Rahmen: Der EU AI Act

Die EU-KI-Verordnung (AI Act) stuft KI im Gesundheitswesen als Hochrisiko-System ein. KI-basierte Medizinprodukte ab Risikoklasse IIa und Systeme zur Triage von Notfallpatienten fallen unter strenge Anforderungen: Risikomanagement, Datenqualität, technische Dokumentation, menschliche Aufsicht, Transparenz und Cybersicherheit.

ChatGPT selbst ist derzeit kein zugelassenes Medizinprodukt, da OpenAI keine medizinische Zweckbestimmung erklärt hat. Wird ChatGPT jedoch in ein Medizinprodukt integriert, muss das Gesamtsystem die MDR- und AI-Act-Anforderungen erfüllen.

Automation Bias: Wenn Ärzte der KI blind vertrauen

Ein besonders tückisches Risiko ist der sogenannte Automation Bias – die Tendenz, KI-Empfehlungen unkritisch zu übernehmen, selbst wenn die eigene Einschätzung korrekt war.

Eine Studie mit 28 Pathologen zeigte eine Automation-Bias-Rate von 7 % – ursprünglich korrekte Bewertungen wurden durch fehlerhafte KI-Empfehlungen revidiert. Unter Zeitdruck stieg nicht die Häufigkeit, aber die Schwere der Fehlentscheidungen.

Eine weitere Studie in Nature Communications Medicine (2025) mit 50 US-Ärzten bestätigte: Ärzte ändern ihre Diagnosen auf Basis von GPT-4-Empfehlungen. Die Trefferquote stieg zwar von 47 % auf 65 %, doch das gleiche Experiment mit aktualisierten ChatGPT-Versionen lieferte unterschiedliche Empfehlungen – ein ernstes Problem für die Reproduzierbarkeit.

3. Qualität und Aktualität der Informationen

ChatGPT generiert Texte afuf Basis von statistischer Wahrscheinlichkeiten und liefert Antworten basierend auf einem umfangreichen Trainingsdatensatz, der jedoch nicht immer auf dem neuesten Stand ist. 

Das führt zu drei konkreten Problemen:

Halluzinationen: Wenn die KI Fakten erfindet

KI-Sprachmodelle „halluzinieren“: sie generieren Aussagen, die plausibel klingen, aber faktisch falsch sind. Im medizinischen Kontext kann das lebensgefährlich sein.

Die Studienlage ist eindeutig:

Eine Studie im Journal of Medical Internet Research (2024) analysierte 471 von KI generierte Literaturverweise und fand Halluzinationsraten von 39,6 % bei GPT-3.5 und 28,6 % bei GPT-4. Bei Google Bard lag die Rate sogar bei 91,4 %. Von allen generierten Quellenangaben waren nur 7 % tatsächlich korrekt und authentisch.

In klinischen Entlassungsbriefen enthielten 40 % der KI-generierten Zusammenfassungen Halluzinationen, wovon 37,5 % als hochklinisch relevant eingestuft wurden (Frontiers in AI, 2025). In der klinischen Notengenerierung liegt die Halluzinationsrate laut einer Nature-Studie (2025) bei 1,47 %. Klingt gering, kann bei Tausenden von Notizen jedoch fatale Folgen haben.

Anfälligkeit für Fehlinformationen

Eine Landmark-Studie im Lancet Digital Health (Februar 2026) testete 20 verschiedene KI-Modelle mit über 3,4 Millionen Prompts, die medizinische Fehlinformationen enthielten. Das Ergebnis: LLMs akzeptierten falsche medizinische Behauptungen in durchschnittlich 32 % der Fälle. Bei weniger leistungsstarken Modellen lag die Akzeptanzrate bei über 60 %. Besonders alarmierend: Medizinisch feinabgestimmte Modelle schnitten schlechter ab als allgemeine Modelle.

Wenn falsche Behauptungen mit einer Berufung auf Autoritäten versehen wurden, stieg die Akzeptanzrate um 34,6 % – ein ernstes Risiko, wenn Patienten fehlerhafte „Expertenmeinungen“ aus dem Internet in die Praxis mitbringen und der Arzt diese ungeprüft in ChatGPT einspeist.

Wie genau ist ChatGPT bei medizinischen Fragen wirklich?

Die Datenlage ist widersprüchlich und verdient differenzierte Betrachtung:

Prüfungswissen: GPT-4o erreicht 90,4 % auf USMLE-Prüfungsfragen (JMIR Medical Education, 2024). Das klingt beeindruckend, bildet aber den klinischen Alltag nicht ab.

Klinische Realität: Eine Meta-Analyse über 60 Studien hinweg ergab eine Gesamtgenauigkeit von nur 56 % bei realen medizinischen Anfragen (Journal of Biomedical Informatics, 2024). Bei pädiatrischen Fallstudien lag die diagnostische Fehlerrate bei 83 % (JAMA Pediatrics, 2024).

Leitlinienadhärenz: Bei Krebsbehandlungen stimmt GPT-4 zu 86,7 % mit NCCN-Leitlinien überein, beim Symptommanagement jedoch nur zu 37,3 %.

4. Patientenvertrauen und Akzeptanz

Nicht alle Patienten stehen dem Einsatz von KI in der Medizin positiv gegenüber. Die beste KI nützt nichts, wenn Patienten ihr nicht vertrauen – oder schlimmer: wenn das Vertrauen in den behandelnden Arzt leidet.

Was Patienten wirklich über KI denken

Die weltweit größte Patientenbefragung zur KI-Akzeptanz – die TUM COMFORT-Studie mit 13.806 Patienten in 43 Ländern (JAMA Network Open, September 2025) – zeigt ein klares Bild:

72,9 % der Patienten wollen, dass die Entscheidungshoheit beim Arzt bleibt. Nur 4,4 % befürworten Diagnosen ausschließlich durch KI. Patienten mit schlechtem Gesundheitszustand sind besonders skeptisch: Über 55 % dieser Gruppe bewerten medizinische KI negativ.

Der Philips Future Health Index 2025 (16.000 Patienten in 16 Ländern) belegt eine deutliche Vertrauenslücke: Während 79 % der Ärzte KI-optimistisch sind, teilen nur 59 % der Patienten diese Einschätzung. 52 % der Patienten befürchten den Verlust der „menschlichen Komponente“ in der Versorgung.

Das Transparenz-Paradox

Eine Studie der Universität Würzburg und der Charité Berlin (JAMA Network Open, 2025) enthüllte einen paradoxen Effekt: Patienten bewerten Ärzte, die den KI-Einsatz offenlegen, als weniger kompetent, weniger vertrauenswürdig und weniger empathisch – selbst wenn die KI nur für Verwaltungsaufgaben genutzt wird.

Das bedeutet nicht, dass Sie KI-Nutzung verschweigen sollten – denn Transparenz ist rechtlich geboten und ethisch notwendig. Die Empfehlung der Studienautoren: Bei der Offenlegung proaktiv auf die konkreten Vorteile für den Patienten hinweisen und Bedenken direkt adressieren.

Das Institute for Healthcare Improvement (IHI) empfiehlt ein dreistufiges Transparenzmodell: allgemeine Hinweise bei routinemäßiger KI-Nutzung, gezielte Information am Point of Care bei direktem KI-Patientenkontakt, und explizite Einwilligung bei autonomen KI-Anwendungen.

5. Eingeschränkte Kontextwahrnehmung

ChatGPT kann Ihren Patienten nicht sehen, nicht hören und nicht untersuchen. Es fehlen Mimik, Gestik, Hautkolorit, Geruch und das klinische Gespür – alles Informationen, die für eine korrekte Diagnose unverzichtbar sein können.

Systematische Verzerrungen

Neben fehlender Kontextwahrnehmung leidet ChatGPT unter systematischen Verzerrungen (Bias). Eine umfassende Analyse der Yale University (PLOS Digital Health, 2024) zeigt, dass Verzerrungen auf jeder Stufe der KI-Entwicklung entstehen – von der Datenselektion über die Annotation bis zum Deployment. Implizite Vorurteile in den Trainingsdaten können bestehende gesundheitliche Ungleichheiten reproduzieren und verstärken.

Das Zusammenwirken von Halluzinationen und verzerrten Trainingsdaten ist besonders gefährlich: Die KI generiert nicht nur falsche Informationen, sondern tut dies systematisch zuungunsten bestimmter Patientengruppen.

Fehlende emotionale Intelligenz

ChatGPT kann keine emotionalen Signale erkennen – eine Einschränkung mit messbaren Konsequenzen. In der Nature-Medicine-Studie zur ChatGPT-Health-Triage (2026) versagten die Suizidpräventions-Sicherungen inkonsistent. Ein System, das die Dringlichkeit eines Hilfeschreis nicht zuverlässig erkennt, ist kein geeigneter Ersatz für ärztliches Gespür.

​6. Empfehlungen zur Risikominimierung

Trotz aller Risiken ist eine pauschale Ablehnung von KI weder realistisch noch sinnvoll. Der Schlüssel liegt in einem strukturierten, verantwortungsvollen Einsatz. Hier sind sieben konkrete Empfehlungen:

1. Niemals Patientendaten in ChatGPT eingeben

Dies gilt absolut für die kostenlose und Plus-Version. Für Enterprise/API-Versionen mit AVV kann nach einer DPIA eine eingeschränkte Nutzung möglich sein – aber nur für anonymisierte oder pseudonymisierte Daten.

2. KI-Ergebnisse immer gegenlesen

Jede KI-generierte Information muss gegen Fachliteratur, Leitlinien und das eigene klinische Urteil geprüft werden. KI ist ein Werkzeug, kein Entscheider. Die BÄK-Resolution ist hier eindeutig: Diagnostik, Indikationsstellung und Therapie bleiben ärztliche Aufgabe.

3. Lokale KI-Lösungen prüfen

Datenschutzkonforme Alternativen existieren bereits:

Das Fraunhofer IAIS betreibt einen KI-gestützten Arztbriefgenerator, der lokal gehostet werden kann und über eine FHIR-Schnittstelle in bestehende Praxis-IT integrierbar ist. medatixx bietet seit Juli 2025 den „medatixx-Copilot“ als KI-Assistenten direkt in der Praxissoftware an. tomedo hat den sprachgesteuerten Arztassistenten ASPA entwickelt. Für datenschutzaffine Praxen gibt es Open-Source-Modelle wie DeepSeek R1, die auf handelsüblicher Hardware lokal betrieben werden können.

4. Klare interne KI-Richtlinien erstellen

Definieren Sie schriftlich: Welche KI-Tools dürfen genutzt werden? Für welche Aufgaben? Welche Daten dürfen eingegeben werden? Wer ist verantwortlich? So verhindern Sie Schatten-KI und schaffen Rechtssicherheit für Ihr Team.

5. Fortbildung und KI-Kompetenz aufbauen

Die BÄK fordert seit Januar 2025 verbindlich die Verankerung von KI-Kompetenzen in der ärztlichen Fortbildung. Konkrete Angebote: CGM Doctors-Days (kostenlose CME-zertifizierte KI-Kurse), arztCME mit KI-spezifischen Fortbildungen und der KI-Campus mit kostenlosen Online-Kursen.

Der Bedarf ist real: Nur 13,8 % der Gesundheitsfachkräfte fühlen sich durch ihre Ausbildung auf KI vorbereitet, obwohl 85 % an Einführungskursen interessiert sind.

6. Datenschutz-Folgenabschätzung durchführen

Bei der Verarbeitung von Gesundheitsdaten durch KI-Systeme ist eine DPIA gemäß Art. 35 DSGVO verpflichtend. Die DSK hat dies in ihrer KI-Orientierungshilfe explizit bestätigt. Die DPIA sollte vor der Einführung jedes KI-Tools durchgeführt und dokumentiert werden.

7. Aufklärungspflicht einhalten

Bei der Nutzung von KI als „Neulandmethode“ besteht eine erweiterte Aufklärungspflicht (§ 630e BGB). Patienten müssen darüber informiert werden, dass KI eingesetzt wird, welche Risiken bestehen und dass die ärztliche Entscheidung weiterhin maßgeblich ist. Die schriftliche Dokumentation der Aufklärung wird dringend empfohlen.

Fazit: KI in der Praxis – mit Verantwortung nutzen

ChatGPT und andere KI-Sprachmodelle bieten enormes Potenzial für den Praxisalltag. Gleichzeitig zeigen aktuelle Studien unmissverständlich, dass die Risiken nicht unterschätzt werden dürfen: eine Gesamtgenauigkeit von nur 56 % bei medizinischen Anfragen, Halluzinationsraten von bis zu 40 % bei generierten Dokumenten und eine Untertriage von 52 % bei Notfällen.

Der regulatorische Rahmen wird enger: Die EU-KI-Verordnung verpflichtet ab August 2026 zur Einhaltung strenger Anforderungen für Hochrisiko-KI, die neue Produkthaftungsrichtlinie macht KI-Software ab Dezember 2026 haftungsrechtlich zum Produkt, und die DSGVO setzt dem Datentransfer enge Grenzen – wie die 15-Millionen-Euro-Strafe gegen OpenAI in Italien zeigt.

Die klare Botschaft: Der Schlüssel liegt nicht in der Ablehnung der Technologie, sondern in einem strukturierten, DSGVO-konformen und verantwortungsvollen Einsatz – mit lokalen KI-Lösungen, Datenschutz-Folgenabschätzungen, Patientenaufklärung und kontinuierlicher Fortbildung.

Auch das könnte interessant für Sie sein