30. September 2019 | von Regina Kunz, David Y. von Allmen, Renato Marelli, Ulrike Hoffmann-Richter, Joerg Jeger, Ralph Mager, Etienne Colomb, Heinz J. Schaad, Monica Bachmann, Nicole Vogel, Jason W. Busse, Martin Eichhorn, Oskar Bänziger, Thomas Zumbrunn, Wout E. L. de Boer und Katrin Fischer

RELY-Studien zur Begutachtung von Menschen mit psychischen Beeinträchtigungen

Menschen mit psychischen Beeinträchtigungen, die eine IV-/UV-Rente beantragen, müssen sich oft einer Begutachtung durch Psychiater unterziehen. In den RELY-Studien suchten wir nach Möglichkeiten, die Reproduzierbarkeit der Begutachtung, ihre Akzeptanz und Nachvollziehbarkeit in diesem Prozess zu verbessern. RELY steht dabei für Reliable psychiatrische Begutachtung im Rentenverfahren.

Die Begutachtung der Arbeits(un)fähigkeit ist im Wandel

Seit mehreren Jahren steht die Begutachtung der Arbeitsfähigkeit von Personen, die bei der Invaliden- und Unfallversicherung einen Rentenantrag stellen, in der Kritik, insbesondere bei Patienten mit psychischen Beschwerden, wie z.B. Depressionen, chronische Schmerzen oder Angststörungen. Versicherungen, Betroffene und ihre Anwälte sowie Gerichte fordern mehr Transparenz und eine bessere Nachvollziehbarkeit, wie die Gutachter anhand des Gesprächs mit dem Rentenantragssteller* auf dessen Arbeitsfähigkeit schliessen.

Die Begutachtung hat sich in den letzten Jahren weiterentwickelt: Während sie in der Vergangenheit darauf abzielte, die Defizite von Versicherten zu bestätigen, liegt heute der Fokus vermehrt darauf, dass der Gutachter die verbliebene Leistungsfähigkeit der versicherten Person erhebt.

Im Laufe dieses Wandels manifestierten sich zunehmend Probleme mit den Methoden der Begutachtung. Das bestätigt auch ein Grundsatzurteil des Bundesgerichts von 2011 [1], das die Nachvollziehbarkeit der Gutachten bemängelte. Als Folge wurden in der Praxis die Begutachtungsmethoden weiterentwickelt. Die beiden wissenschaftlichen Fachgesellschaften, die Schweizerische Gesellschaft für Versicherungspsychiatrie und die Schweizerische Gesellschaft für Psychiatrie und Psychotherapie, interdisziplinäre Arbeitsgruppen (juristisch-medizinischer Leitfaden von Riemer-Kafka [2]) sowie die Gutachter haben mit Leitlinien [3] und Weiterbildungsmassnahmen selbst Impulse zur Qualitätsverbesserung der Begutachtungen gesetzt. Bisher fehlen jedoch wissenschaftlich gestützte Erkenntnisse, die diese Verbesserungsprozesse begleiten und deren Auswirkungen auf die Begutachtung und letztlich auf die Zusprache von Renten untersuchen.

Des Weiteren gelingt es Gutachtern häufig nicht besonders gut, arbeitsfähige Personen mit ausreichenden Ressourcen von bedingt arbeitsfähigen Personen mit eingeschränkten Ressourcen und arbeitsunfähigen Personen mit unzureichenden Ressourcen zu unterscheiden (Reliabilität) oder zu vergleichbaren Einschränkungen der Arbeitsfähigkeit zu kommen (Übereinstimmung) (Barth 2017 ).

Um zu überprüfen, ob die Weiterentwicklung des Begutachtungsverfahrens die Reliabilität und die Übereinstimmung unter den Gutachtern verbessern, aber auch die Transparenz und Nachvollziehbarkeit der Aussagen zur Arbeitsfähigkeit erhöhen kann, führten die RELY-Forscher der Forschungseinheit ’Evidence-based Insurance Medicine’, EbIM, am Universitätsspital Basel erstmals eine Studie zum Begutachtungsverfahren durch:

Mit der Studie «Reliable psychiatrische Begutachtung im Rentenverfahren RELY» wurde die Reproduzierbarkeit (ein Überbegriff für Reliabilität und Übereinstimmung), Nachvollziehbarkeit und Akzeptanz eines neu entwickelten Begutachtungsverfahren – die ‘funktionsorientierte Begutachtung’ in der Psychiatrie – untersucht.

* Dieser Text verwendet aus Gründen der besseren Lesbarkeit nur die männliche Form.

Ziele

Bei der Begutachtung für eine IV-/UV-Rente sollen Gutachter bei Personen mit einer vergleichbaren Beeinträchtigung aus psychischen oder anderen Gründen zu vergleichbaren Einschätzungen der Arbeitsfähigkeit kommen (akzeptable Übereinstimmung). Zudem sollen Gutachter zwischen Patienten mit hoher, mittlerer oder geringer Beeinträchtigung der Arbeitsfähigkeit unterscheiden können (akzeptable Reliabilität). Bis heute gibt es jedoch kein Verfahren, mit dem die Arbeitsfähigkeit, eine Teilarbeitsfähigkeit oder eine völlige Arbeitsunfähigkeit «gemessen» und eindeutig festgestellt werden kann. Bis ein solches Verfahren gefunden und etabliert ist, gilt der professionelle Konsens.

Hier setzten die RELY-Studien an, die darauf abzielten, diesen professionellen Konsens zu verbessern. Dazu haben die Studien den bisherigen Begutachtungsprozess um eine funktionsorientierte Ausrichtung erweitert.

Die RELY 1-Studie untersuchte, ob Psychiater nach einem Training in funktionsorientierter Begutachtung im Rahmen realer IV-Begutachtungen eine akzeptable Reproduzierbarkeit in der Einschätzung der Arbeitsfähigkeit erzielten. Dabei wird das Ausmass der Arbeitsfähigkeit in der Schweiz auf einer Skala zwischen 100% (Prozentpunkten) Arbeitsfähigkeit und 0% (Prozentpunkten) Arbeitsfähigkeit abgebildet. Die Zwischenergebnisse aus der RELY 1-Studie haben gezeigt, dass weder die angestrebte Reliabilität noch eine akzeptable Übereinstimmung erreicht wurden. Allerdings hat die funktionsorientierte Begutachtung bei den Gutachtern wie bei den versicherten Personen eine hohe Akzeptanz gefunden. Die geringe Reproduzierbarkeit führten wir auf das extern bedingte erhebliche Zeitintervall zwischen Training und Begutachtung sowie ein nicht ausreichend intensives Training zurück, mit der Folge, dass die neuen Komponenten der funktionsorientierten Begutachtung - Strukturierung und Standardisierung - nicht zum Tragen kamen. Damit entsprechen die Ergebnisse der RELY 1-Studie eher den Beobachtungen der üblichen Praxis (Barth 2017 ).

Ziel der RELY 2-Studie war, die Fragestellung aus RELY 1 unter Bedingungen zu überprüfen, die unserer ursprünglichen Studienplanung entsprachen und welche die Rückmeldungen der RELY 1-Gutachter nach mehr und intensiviertem Training in der funktionsorientierten Begutachtung integrierten. Die Fragestellung lautete demnach: Erzielen Psychiater nach einem intensiveren Training in funktionsorientierter Begutachtung und zeitnaher Umsetzung im Rahmen realer IV-Begutachtungen eine akzeptable Reproduzierbarkeit in der Einschätzung der Arbeitsfähigkeit? Des Weiteren wurde erfasst, wie die versicherte Person die funktionsorientierte Begutachtung erlebt hat.

Mit der Studie kann NICHT überprüft werden, wie zutreffend die Einschätzung der Arbeitsfähigkeit bzw. der Arbeitsunfähigkeit ist.

Studiendesign der RELY-Studie

Was wurde untersucht?

Nach erfolgreich abgeschlossener RELY 1-Studie (s.u. Ergebnisse) wurden anhand der Rückmeldungen der Gutachter das Training in funktionsorientierter Begutachtung weiterentwickelt und die Instrumente optimiert.

In der RELY 2-Studie prüften wir mit neuen Gutachtern, ob sich die Reproduzierbarkeit unter den Gutachtern verbessern lässt, wenn die Studie unter Bedingungen durchgeführt wird, die unserer ursprünglichen Studienplanung entsprechen und die Rückmeldungen der RELY 1-Gutachter nach mehr und intensiviertem Training in der funktionsorientierten Begutachtung berücksichtigt. In einem weiteren Schritt verglichen wir die Ergebnisse der RELY 2-Studie mit denen der RELY 1-Studie, welche eher die Standardpraxis widerspiegelt.

Im letzten Teil der Studie wurde mit RELY 3 untersucht, ob und falls ja, warum Gutachten aus der funktionsorientierten Begutachtung besser nachvollziehbar sind als herkömmliche Gutachten.

Wer sind die Antragsteller in der Studie?

Dreissig Antragsteller nahmen an der RELY 1-Studie teil. Vierzig Antragsteller (davon 15 Videos mit Begutachtungsgesprächen aus RELY 1) nahmen an der RELY 2-Studie teil. Alle Antragsteller waren zum ersten Mal für eine polydisziplinäre Begutachtung (einschliesslich psychiatrischer Begutachtung) aufgeboten. Ein weiteres Einschlusskriterium war die Verständigung auf Deutsch ohne Dolmetscher. Nach einer ersten Information zur Studie durch die Sachbearbeiter der Versicherungen und Einwilligung zur Weitergabe ihrer Kontaktangaben an unser Studienteam erhielten die Antragsteller von uns ausführlichere Informationen zur Studie und wurden nach ihrer schriftlichen Einwilligung zur Teilnahme gemäss Ethikantrag in die Studie aufgenommen.

Die Begutachtung erfolgte als funktionsorientierte Begutachtung. Für die Studie wurde nur die psychiatrische Begutachtung ausgewertet. Die Teilnahme hatte keinerlei Auswirkungen auf das reguläre Rentenverfahren. Die Studienteilnehmer halfen aber mit, die psychiatrische Begutachtung für alle Beteiligten zu optimieren.

Was ist die funktionsorientierte Begutachtung?

Die funktionsorientierte Begutachtung ist eine Weiterentwicklung des bisherigen Begutachtungsprozesses. Sie soll ermöglichen, Defizite und Fähigkeiten des Antragsstellers besser herauszuarbeiten und die Übereinstimmung der Gutachter und die Transparenz der Gutachten zu erhöhen. Die funktionsorientierte Begutachtung ist eine reguläre Begutachtung und entspricht den rechtlichen Anforderungen.

Im Vergleich zur bisherigen Begutachtung kommen bei der funktionsorientierten Begutachtung drei zusätzliche Elemente zum Einsatz:

ein halb-strukturierter Gesprächsteil mit einem Fokus auf die Funktions- und Leistungsfähigkeit des Rentenantragstellers
eine ausführliche Beschreibung des letzten Arbeitsplatzes vom ehemaligen Arbeitgeber
eine «Checkliste» (Instrument zum Funktionellen Assessment in der Psychiatrie, IFAP) zur systematischen Erfassung und Dokumentation der funktionellen Möglichkeiten und Einschränkungen des Rentenantragstellers

Der Gutachter führt mit der versicherten Person ein Gespräch und erfasst, was sie leisten kann (Möglichkeiten) und was sie aufgrund von Einschränkungen nicht mehr leisten kann. Das IFAP hilft dem Psychiater, im Gespräch systematisch vorzugehen und alle wichtigen Themen anzusprechen.

Elemente der funktionsorientierten Begutachtung werden bereits heute in der Begutachtung verwendet – aber nicht systematisch, nicht immer und nicht von allen Gutachtern. Deswegen hat die RELY-Forschergruppe ein Trainingsprogramm entwickelt, in dem die Psychiater lernen, diese Elemente gezielt in der Begutachtung einzusetzen. Alle Psychiater in der Studie haben dieses Trainingsprogramm durchlaufen.

Für die RELY 2-Studie wurde das Trainingsprogramm der RELY 1-Studie weiterentwickelt:

Die Trainingsdauer wurde verdoppelt und das Manual anhand der Rückmeldungen aus RELY 1 überarbeitet.
Die Psychiater wurden intensiver darauf trainiert, die Entscheidungskriterien des IFAP-Instruments einheitlich auf die Versicherten anzuwenden
Die Anwendung der funktionsorientierten Studie erfolgte zeitnah zum Training

Wie wurden die Studienteilnehmer ermittelt und kontaktiert?

Die Studie fand in Zusammenarbeit mit der IV-Stelle Zürich und ihrem Regional-Ärztlichen Dienst Zürich sowie der Clearingstelle der Suva statt. Für die funktionsorientierten Begutachtungen arbeitete die RELY-Forschergruppe mit vier medizinischen Abklärungsstellen (MEDAS) und der Clearingstelle der Suva zusammen.

Die IV-Stelle Zürich und die Clearingstelle der Suva kontaktierten die Antragsteller, informierten diese über die Studie und luden sie zur Teilnahme ein. Damit war die Rolle der IV-Stelle und der Suva-Clearingstelle in der Studie abgeschlossen. Der weitere Kontakt und der Ablauf erfolgte ausschliesslich über die RELY-Forschergruppe am EbIM. Die RELY-Forschergruppe kontaktierte den Antragsteller und beantwortete allfällige offene Fragen. Entschloss sich die versicherte Person zur Teilnahme an der Studie, schickte sie die Einverständniserklärung an die RELY-Forschergruppe.

Wer waren die Psychiater in der Studie?

Die allermeisten Psychiater, die an der Studie teilnahmen, waren aktiv in der Patientenversorgung tätig, sei es in der Klinik oder in der Praxis. Darüber hinaus verfügten sie über eine langjährige Erfahrung in der Begutachtung von Versicherten im Rahmen eines Rentenverfahrens. Vier Regional-Ärztliche Dienste – RAD Zürich, St. Gallen, Aargau, beider Basel – und Swiss Insurance Medicine halfen uns, Psychiater zu finden, die an der Studie teilnehmen wollten. Interessierte Psychiater konnten sich auch spontan bei uns melden.

Wie lief die Studie ab?

Teil 1: Das Begutachtungsgespräch und die Video-Aufnahme

Die Studie fand im Rahmen der regulären psychiatrischen Begutachtung statt. Das Gespräch wurde in einer medizinischen Abklärungsstelle (MEDAS) oder in der Praxis des Gutachters durchgeführt und dauerte nicht länger als die übliche Begutachtung. Der Gutachter war ein Psychiater, der in der funktionsorientierten Begutachtung geschult worden war.

Ein Mitarbeiter der RELY-Forschergruppe nahm das Begutachtungsgespräch auf Video auf. Nach dem Gespräch entschied der Gutachter über die Arbeitsfähigkeit des Antragstellers und verfasste ein rechtsgültiges IV- oder Suva-Gutachten. Es entsprach den gesetzlichen Vorschriften und bildete die Entscheidungsgrundlage für den Antrag auf eine IV-/ Suva-Rente.

Etwa eine Woche nach der Begutachtung erhielt der Antragsteller per Post einen kurzen Fragebogen, wie er die Begutachtung erlebt hatte.

Teil 2: Die Studiengutachter betrachten das Video

Drei Studien-Gutachter, ebenfalls Psychiater, schauten sich unabhängig voneinander das Video mit dem Begutachtungsgespräch an. Jeder von ihnen beurteilte daraufhin eigenständig die Arbeitsfähigkeit des Antragstellers. Wie der Gutachter, der das Gespräch geführt hatte, erhielten die Studien-Gutachter eine Arbeitsplatzbeschreibung und die Checkliste. Zusätzlich erhielten sie eine Zusammenfassung der Krankengeschichte. Die Studien-Gutachter sendeten ihre Beurteilungen ausschliesslich an die RELY-Forschergruppe. Diese Beurteilungen hatten keinerlei Einfluss auf den Rentenantrag (Bachmann 2016 ).

Teil 3: Auswertung

Die RELY-Forschergruppe gab alle Informationen anonymisiert in eine Datenbank ein. Nach Abschluss der Begutachtungsphase ermittelte sie, wie gut bzw. inwieweit die drei Studien-Gutachter und der Gutachter im Video in der Beurteilung der Leistungs- und Arbeitsfähigkeit desselben Rentenantragstellers übereinstimmen. Dazu verwendete sie statistische Methoden.

Primärer Endpunkt der Studie war die von den Psychiatern eingeschätzte Arbeitsfähigkeit der Patienten bezogen auf eine alternative, den Einschränkungen des Patienten angepasste Tätigkeit. An dieser Einschätzung orientierte sich der Versicherer bei der Berechnung der IV-Rente. Es wurde nicht erwartet, dass die Gutachter zu einer völlig identischen Einschätzung der Arbeitsfähigkeit kommen. Dies wäre unrealistisch, da weitere Faktoren, wie z.B. Detailkenntnis des Arbeitsplatzes oder das Wertesystem des einzelnen Gutachters bei der Einschätzung eine Rolle spielen. Diese Faktoren konnte man in der Studie nicht überprüfen und / oder kontrollieren.

Die Forscher erwarteten eine akzeptable Reproduzierbarkeit. Die Reliabilität, d.h., die Unterscheidbarkeit von Patienten mit hoher, mittlerer oder geringer Beeinträchtigung der Arbeitsfähigkeit, wurde anhand des ICC (Intraclass Correlation Coefficient, 1=perfekte Reliabilität und 0=keine Reliabilität) berechnet. Als akzeptabel erachteten die Forscher einen ICC-Wert von 0.6. Die Übereinstimmung unter Psychiatern wurde anhand zweier Parameter berechnet: 1) Standardmessfehler (SEM, ein ‘niedriger SEM’ bedeutet ‘weniger Streuung’, d.h. geringere Unterschiede) und 2) Anteil an Vergleichen zwischen zwei Gutachtern, der bei der Beurteilung der Arbeitsfähigkeit unterhalb oder gleich einer Schwelle für den ‘maximal akzeptablen Unterschied’ blieb.

Im Vorfeld zu den RELY-Studien hatten wir eine schweizweite Umfrage unter mehr als 600 Akteuren im Begutachtungswesen (Psychiater aus der Versorgung, gutachterlich tätige Psychiater, Anwälte, Richter und angestellte Fachpersonen (insbesondere Juristen und Fallführer, im Weiteren ‘Versicherer’ genannt) durchgeführt Schandelmaier 2015 . Wir wollten ihre Erwartungen kennenlernen, wie stark sich zwei Psychiater in ihren Einschätzungen der Arbeitsfähigkeit desselben Patienten maximal unterscheiden dürfen (‘maximal akzeptabler Unterschied’).

Unabhängig davon, ob sie ihren Schwerpunkt in der Begutachtung oder in der Versorgung hatten, definierten die Psychiater einen Unterschied von 25 Prozentpunkten Arbeitsfähigkeit zwischen 2 Gutachtern in der Beurteilung desselben Patienten als den für sie ‘maximal akzeptablen Unterschied’.

Auf die Praxis angewandt bedeutet der für Gutachter und Psychiater ‘maximal akzeptable Unterschied’ folgendes: Wenn Gutachter A einen Antragsteller als 45% arbeitsfähig beurteilt und Gutachter B denselben Antragsteller als 70% arbeitsfähig (‘strenger Gutachter’) ODER als 20% (‘nachsichtiger Gutachter’), sind beide Unterschiede zwischen Gutachter A und Gutachter B gerade noch akzeptabel.

Versicherer, Anwälte und Richter legten einen strengeren Masstab an und definierten einen Unterschied von 20 Prozentpunkten Arbeitsfähigkeit zwischen 2 Gutachtern als den für sie ‘maximal akzeptablen Unterschied’.

Die Erwartungen der Akteure wurden in den RELY-Studien herangezogen, wenn es darum ging, die gefundene Übereinstimmung unter den Psychiatern im schweizerischen Kontext zu interpretieren.

Gemäss den Verpflichtungen beim Schweizerischen Nationalfonds wurden die Ergebnisse veröffentlicht und in wissenschaftlichen Zeitschriften publiziert.

Zwischenergebnisse vom März 2015:

Die RELY 1-Studie

Die RELY 1-Studie überprüfte, ob Psychiater nach einem Training in funktionsorientierter Begutachtung im Rahmen realer IV-Begutachtungen eine akzeptable Reproduzierbarkeit in der Einschätzung der Arbeitsfähigkeit erzielen.

Die Studie konnte wie geplant mit 30 Teilnehmern – Antragstellern für eine IV-Rente – durchgeführt werden. Administrative Änderungen im Begutachtungsverfahren durch die zuständigen Behörden führten jedoch zu erheblichen Verzögerungen bei der Rekrutierung und Durchführung der RELY 1-Studie, weshalb die Begutachtungen mit einer durchschnittlichen Latenz von mehr als einem Jahr nach dem Training stattfanden. Jeder Teilnehmer wurde von vier Psychiatern unabhängig begutachtet, im direkten Gespräch oder über eine Videoaufnahme. Abbildung 1 (unten) zeigt die gutachterlichen Einschätzungen der Arbeitsfähigkeit aller 30 Antragsteller.

Die beobachtete Reliabilität mit einem ICC-Wert von 0.43 war mässig, die angestrebte Reliabilität der Gutachter bei der Einschätzung der Arbeitsfähigkeit (ICC von 0.6) wurde in RELY 1 nicht erreicht.
Die Übereinstimmung unter den Gutachtern (ausgedrückt als SEM-Wert) lag bei 24.3 Prozentpunkten Arbeitsfähigkeit und war deutlich schlechter als der Wert, den die Akteure in ihrer Umfrage erwartet hatten.
Die Erwartung der Akteure, dass die Beurteilung der Arbeitsfähigkeit zwischen 2 Gutachtern maximal 25 Prozentpunkte auseinanderliegen sollte (idealerweise weniger), wurde in 61.6% (109/177) der Vergleiche erfüllt. Das bedeutet, dass bei knapp 40% der Beurteilungen der Unterschied zwischen 2 Gutachtern grösser war.
Auf die Frage nach ihrer subjektiven Sicherheit in die eigene Einschätzung der Arbeitsfähigkeit gaben die Psychiater einen Wert von 7.2 (auf einer Skala von 0=sehr unsicher bis 10=sehr sicher) an.

Perspektive Antragsteller und Psychiater

Die Antragsteller äusserten einen hohen Grad an (subjektiv wahrgenommener) Fairness mit der funktionsorientierten Begutachtung (mittlerer Wert 8.00 auf einer Skala von 0=sehr unzufrieden bis 10=sehr zufrieden).
Die Psychiater bewerteten die funktionsorientierte Begutachtung positiv. Sie hoben die Strukturiertheit des Vorgehens («man vergisst nichts»), die funktionelle Ausrichtung und die positive Resonanz der Antragsteller (‘Arbeit wird zu Beginn des Gesprächs angesprochen’) hervor. Die meisten Psychiater gaben an, die funktionsorientierte Begutachtung nun auch in ihrer eigenen Praxis anzuwenden.

Erklärung: 30 Patienten (c01 bis c30) wurden von vier Gutachtern bezüglich Arbeitsfähigkeit für die letzte Arbeit und für eine alternative Tätigkeit beurteilt. Jedes Kästchen repräsentiert einen Patienten (z.B., c01=claimant 16). Auf der vertikalen Achse ist die Arbeitsfähigkeit (work capacity) von 100% bis 0% dargestellt. Die beiden Markierungen auf der horizontalen Achse (job) stellen ‘letzte Arbeit’ (last) und ‘alternative Tätigkeit’ (alternative) dar.

Die farbigen Punkte zeigen die Schätzungen der vier psychiatrischen Gutachter (jeder Gutachter mit eigener Farbe). Die Linie zwischen 2 Punkten verdeutlicht die Änderung der Arbeitsfähigkeit von letzter Arbeit zu alternativer Tätigkeit.

Wir führten die geringe Reproduzierbarkeit auf das erhebliche Zeitintervall zwischen Training und Begutachtung sowie ein nicht ausreichend intensives Training zurück, mit der Folge, dass die neuen Komponenten der funktionsorientierten Begutachtung - Strukturierung und Standardisierung - nicht zum Tragen kamen. Unsere Ergebnisse entsprachen vielmehr Werten, wie wir sie in unserem systematischen Review über konventionelle Begutachtungen beobachtet hatten, die auf Grundlage professioneller Erfahrung ohne systematischen Einsatz von Instrumenten durchgeführt worden waren.

Des Weiteren zeigten die Zwischenergebnisse aus der RELY 1-Studie, dass die hier erstmals getestete funktionsorientierte Begutachtung eine plausible Methode darstellt, um die Arbeitsfähigkeit einer versicherten Person zu erfassen. So erleichterte sie den Ablauf der Begutachtung und fand bei den Gutachtern und den versicherten Personen eine hohe Akzeptanz.

Die Forschergruppe ging nach wie vor davon aus, dass die funktionsorientierte Begutachtung die Reproduzierbarkeit unter den Gutachtern verbessert und führte eine Fortsetzung der Studie durch (RELY 2). Ziel der RELY 2-Studie war, die Fragestellung aus RELY 1 unter Bedingungen zu überprüfen, die unserer ursprünglichen Studienplanung entsprachen und die die Rückmeldungen der RELY 1-Gutachter nach mehr und intensiviertem Training in der funktionsorientierten Begutachtung integrierten.

Ergebnisse vom Juli 2019:

Die RELY 2-Studie

Die RELY 2-Studie überprüfte, ob Psychiater nach einem intensivierten Training in funktionsorientierter Begutachtung, mit weiterentwickeltem Manual und kurzem Intervall zwischen Training und Anwendung in der Studie im Rahmen realer IV-Begutachtungen eine akzeptable Reproduzierbarkeit (Überbegriff für Reliabilität und Übereinstimmung) in der Einschätzung der Arbeitsfähigkeit erzielen.

Die Studie konnte mit 40 Teilnehmern durchgeführt werden. Davon waren 25 Teilnehmer neu rekrutiert, die Videos von 15 weiteren Teilnehmern mit gut gemachter funktionsorientierter Begutachtung wurden aus RELY 1 übernommen. Auch hier wurde jeder Teilnehmer von vier Psychiatern unabhängig begutachtet, im direkten Gespräch oder über eine Videoaufnahme. Abbildung 2 (unten) zeigt die gutachterlichen Einschätzungen der Arbeitsfähigkeit aller 40 Antragsteller.

Die beobachtete Reliabilität mit einem ICC-Wert von 0.44 war mässig. Die angestrebte Reliabilität der Gutachter bei der Einschätzung der Arbeitsfähigkeit (ICC von 0.6) wurde damit auch in RELY 2 nicht erreicht.

Die Übereinstimmung unter den Gutachtern (ausgedrückt als SEM-Wert) lag bei 19.4 Prozentpunkten Arbeitsfähigkeit, war aber noch immer deutlich schlechter verglichen mit den Erwartungen der Akteure.
Die beobachteten Unterschiede unter den Gutachtern waren deutlich höher als die Erwartungen, welche die Akteure in der Umfrage als ‘maximal akzeptablen Unterschied’ angegeben hatten.
Die Erwartung der Akteure, dass die Einschätzung der Arbeitsfähigkeit zwischen 2 Gutachtern maximal 25 Prozentpunkte auseinanderliegen sollte (idealerweise weniger), wurde in 73.6% (170/231) der Vergleiche erfüllt. Bei einem Viertel der Beurteilungen war der Unterschied zwischen 2 Gutachtern grösser.
Auf die Frage nach ihrer subjektiven Sicherheit in die eigene Einschätzung der Arbeitsfähigkeit gaben die Psychiater einen Wert von 7.4 an (auf einer Skala von 0=sehr unsicher bis 10=sehr sicher).

Perspektive Antragsteller und Psychiater

Gefragt nach ihrer Zufriedenheit und wie fair sie die Begutachtung erlebt haben (subjektiv wahrgenommene Fairness), zeigten sich die Antragsteller sehr zufrieden (durchschnittlicher Wert: 9.4 auf einer Skala von 0=sehr unzufrieden bis 10=sehr zufrieden).
Auch die Psychiater attestierten dem Training in funktionsorientierter Begutachtung einen substantiellen professionellen Nutzen.

Erklärung: Alle 40 Patienten (c01 bis c40) wurden von vier Gutachtern bezüglich Arbeitsfähigkeit für die letzte Arbeit und eine alternative Tätigkeit beurteilt. Jedes Kästchen repräsentiert einen Patienten. Die vertikale Achse zeigt die Arbeitsfähigkeit (work capacity) von 100% bis 0%. Die Markierungen auf der horizontalen Achse (job) stellen ‚letzte Arbeit‘ (last) und ‚alternative Tätigkeit‘ (alternative) dar. Die farbigen Punkte zeigen die Schätzungen der vier Gutachter. Die Linie zwischen zwei Punkten verdeutlicht die Änderung der Arbeitsfähigkeit von letzter Arbeit zu einer alternativen Tätigkeit.

Vergleich RELY 1 mit RELY 2

Ergebnisse (Tabelle 1)

Ein Vergleich der Reliabilitätswerte für die gutachterliche Beurteilung der Arbeitsfähigkeit zeigte keinen Unterschied zwischen den beiden Studien (RELY 1 vs. 2, ICC: 0.43 vs. 0.44, Tabelle 1).
Ein Vergleich der Übereinstimmung der Gutachter in der Beurteilung der Arbeitsfähigkeit zeigte, dass RELY 2 signifikant niedrigere Streuungswerte hatte als RELY 1: SEM-Werte in RELY 2 vs. RELY 1: 19.4 versus 24.6 Prozentpunkte Arbeitsfähigkeit. Dies entspricht einer Verbesserung um 21% (relativ).
Die Erwartung der Akteure, dass die Einschätzung der Arbeitsfähigkeit zwischen 2 Gutachtern maximal 25 Prozentpunkte auseinander liegen sollte (idealerweise weniger), wurde in RELY 1 zu 61.6% (109/177) erfüllt, und in RELY 2 zu 73.6% (170/231). Damit verbesserten sich die Psychiater in RELY 2 um 19.5% (relativ). Diese Verbesserung war statistisch signifikant.

Tabelle 1: Reliabilität und Übereinstimmung der Gutachten in RELY 1 und RELY 2
Verbliebene Arbeitsfähigkeit der Antragsteller, Reliabilität und Übereinstimmung der Gutachter in der Beurteilung der Arbeitsfähigkeit bezogen auf die Erwartungen der Akteure (Umfrage, Schandelmaier 2015).

° ICC: Intraclass Correlation Coefficient: Unser erwarteter Wert war 0.6, gemessen auf einer Skala von 0 bis 1.

+Kriterium für Übereinstimmung: ‘2 Gutachter unterscheiden sich in ihrer Beurteilung der Arbeitsfähigkeit um weniger als 25 Prozentpunkte’

*SEM (Standard Error of Measurement): Mass für die Streuung

Interpretation der Ergebnisse

Der Ausgangspunkt: Psychiater erzielen nur niedrige Übereinstimmung, wenn sie die Arbeitsfähigkeit von Patienten mit psychischen Störungen beurteilen.
Die funktionsorientierte Begutachtung, ein neu entwickeltes Vorgehen mit Fokus auf Arbeit, findet grosse Anerkennung bei Psychiatern (hilfreich, da strukturierter und systematischer), bei Patienten (subjektiv als fair empfunden) und Versicherern (transparent und funktionsorientiert).
Intensiviertes Training in funktionsorientierter Begutachtung verbessert die Übereinstimmung, bleibt aber trotzdem deutlich hinter den Erwartungen von Akteuren in der Schweiz zurück (Umfrage Schandelmaier 2015: Stakeholder Survey mit mehr als 600 Akteuren). Der maximal akzeptierte Unterschied unter den Akteuren lag bei 25%-Punkten Arbeitsfähigkeit; der beobachtete Unterschied in den RELY-Studien lag in RELY 1 bei 68%-Punkte Arbeitsfähigkeit und in RELY 2 bei 54%-Punkte Arbeitsfähigkeit.
Verbesserte Transparenz (= bessere Nachvollziehbarkeit der Überlegungen des einzelnen Gutachters) bedeutet nicht, dass sich die Übereinstimmung mehrerer Gutachter in der Beurteilung der Arbeitsfähigkeit verbessert.
Braucht es eine gesellschaftliche Diskussion über das Ausmass an akzeptabler Übereinstimmung unter Gutachtern? Wie kann man die gewünschte Übereinstimmung erreichen? Was muss dazu gemacht werden? Zu welchen Kosten?

Literatur:

[1] Meyer U. Urteil vom 28.6.2011 ‐ Bundesgericht II. Sozialrechtliche Abteilung. 9C/243/2010. 28‐6‐2011.

[2] Riemer-Kafka G (Hrg.) Versicherungsmedizinische Gutachten. Ein interdisziplinärer juristisch-medizinischer Leitfaden. 3. Aufl., Bern/Basel 2017.

[3] Schweizerische Gesellschaft für Psychiatrie und Psychotherapie SGPP und Schweizerische Gesellschaft für Versicherungspsychiatrie. Leitlinien für die Begutachtung psychiatrischer und psychosomatischer Störungen in der Versicherungsmedizin. 2016. www.psychiatrie.ch

Publikationen zu den RELY-Studien

Kunz R, von Allmen DY, Marelli R, Hoffmann-Richter U, Jeger J, Mager R, Colomb E, Schaad H, Bachmann M, Vogel N, Busse JW, Eichhorn M, Bänziger O, Zumbrunn T, de Boer WE, Fischer K. The reproducibility of psychiatric evaluations of work disability: Two reliability and agreement studies. BMC Psychiatry. 2019; 19(1):205. doi: 10.1186/s12888-019-2171-y

Barth J, de Boer WE, Busse JW, Hoving JL, Kedzia S, Couban R, Fischer K, von Allmen DY, Spanjer J, Kunz R. Inter-rater agreement in evaluation of disability: systematic review of reproducibility studies. BMJ 2017;356:j14 und doi: doi.org/10.1136/bmj.j14

Bachmann M, de Boer W, Schandelmaier S, Leibold A, Marelli R, Jeger J, Hoffmann-Richter U, Mager R, Schaad H, Zumbrunn T, Vogel N, Banziger O, Busse JW, Fischer K, Kunz R. Use of a structured functional evaluation process for independent medical evaluations of claimants presenting with disabling mental illness: rationale and design for a multi-center reliability study. BMC Psychiatry. 2016;16:271. doi: 10.1186/s12888-016-0967-6

Schandelmaier S, Leibold A, Fischer K, Mager R, Hoffmann-Richter U, Bachmann MS, Kedzia S, Busse JW, Guyatt GH, Jeger J, Marelli R, De Boer WE, Kunz R. Attitudes towards evaluation of psychiatric disability claims: a survey of Swiss stakeholders. Swiss Medical Weekly.2015;145:w14160 doi:10.4414/smw.2015.14160

Schandelmaier S, Fischer K, Mager R, Hoffmann-Richter U, Leibold A, Bachmann M, Kedzia S, Jeger J, Marelli R, Kunz R, De Boer WE. Evaluation of work capacity in Switzerland: a survey among psychiatrists about practice and problems. Swiss Medical Weekly. 2013;143:w13890 doi:10.4414/smw.2013.13890

Die Studie wurde finanziell unterstützt vom Schweizerischen Nationalfonds SNF, dem Bundesamt für Sozialversicherungen und der Suva. Zwischen Finanzierung und Durchführung der Studie bestand eine klare Trennung. Die Finanzierung hatte keinen Einfluss auf das Studiendesign, die Studienergebnisse, oder die Publikation der Ergebnisse.

Autoren:

Universität Basel, Universitätsspital Basel.
Schweizerische Gesellschaft für Versicherungspsychiatrie, SGVP.
Praxis für Psychiatrie und Psychotherapie, Luzern.
MEDAS Zentralschweiz, Luzern.
Universitäre Psychiatrische Kliniken Basel, Basel.
Französischsprachige Schweizer Gesellschaft für Begutachtung (ARPEM), St Sulpice.
MEDAS Interlaken, Unterseen.
Department of Anaesthesia, McMaster University, Kanada.
Department of Health Research Methods, Evidence and Impact, McMaster University, Kanada.
Praxis für Psychiatrie, Basel.
IV-Stelle Zürich, Zürich. (past)
Institut Mensch in komplexen Systemen, FHNW, Olten.