Expertise des personnes souffrant de troubles psychiques: les études RELY

Une fois l'étude RELY 1 achevée avec succès (voir résultats infra), la formation en expertise à orientation fonctionnelle a été perfectionnée et les instruments optimisés en se fondant sur le feed-back des experts.

Dans l'étude RELY 2, nous avons vérifié avec de nouveaux experts si la reproductibilité parmi eux pouvait être améliorée lorsque l'étude était menée dans des conditions correspondant à notre planification initiale de l'étude, et quand elle tenait compte des réactions des experts de l'étude RELY 1 après une formation plus longue et plus intensive en expertise à orientation fonctionnelle. Dans une étape ultérieure, nous avons comparé les résultats de l'étude RELY 2 avec ceux de l'étude RELY 1 (laquelle reflète plutôt la pratique standard).

Dans la dernière partie de l'étude, RELY 3 a été utilisé pour déterminer si et pourquoi les expertises provenant des rapports d'expertise à orientation fonctionnelle sont mieux motivées que les expertises classiques.

Trente demandeurs de rente ont participé à l'étude RELY 1. Quarante demandeurs de rente (dont 15 vidéos avec des entretiens d'expertise provenant de RELY 1) ont participé à l'étude RELY 2. La première fois, tous les demandeurs de rente étaient convoqués pour subir une expertise pluridisciplinaire (y compris une expertise psychiatrique). La compréhension de l'allemand sans interprète constituait un critère d'inclusion additionnel. Après une information initiale sur l'étude fournie par les gestionnaires de cas des assurances et le consentement des intéressés à ce que leurs coordonnées soient transmises à notre équipe, les participants ont reçu de notre part des informations plus détaillées sur l'étude et ont été inclus dans l'étude après réception de leur consentement écrit à y participer conformément aux règles éthiques.
 
L'expertise s'est déroulée sous la forme d'une expertise à orientation fonctionnelle. Pour les fins de l'étude, seule l'expertise psychiatrique a été évaluée. La participation à l'étude n'avait aucune répercussion sur la procédure habituelle de rente. Cependant, les participants à l'étude ont contribué à optimiser l'évaluation psychiatrique pour toutes les personnes concernées.

L'expertise à orientation fonctionnelle est un développement du processus actuel d'expertise. Elle doit permettre de mieux identifier les déficits et les capacités des patients, ainsi que d'accroître la concordance des experts et la transparence de l'expertise. Il s'agit d'une expertise ordinaire qui répond aux exigences légales.
Par rapport aux expertises effectuées jusqu'à présent, elle fait intervenir trois éléments supplémentaires

• un entretien semi-structuré mettant l'accent sur les capacités fonctionnelles et les performances du demandeur de rente
• une description détaillée du dernier poste de travail par l'ancien employeur
• une «check-list» (instrument d'évaluation fonctionnelle en psychiatrie, IFAP - Instrument for Functional Assessment on Psychiatrie - ) pour l'enregistrement systématique et la documentation des possibilités fonctionnelles et des limitations du demandeur de rente

L'expert mène un entretien avec la personne assurée et note ce qu'elle peut accomplir (possibilités) et ce qu'elle ne peut plus accomplir du fait de ses limitations. L' IFAP aide le psychiatre à procéder de façon systématique pendant l'entretien et à aborder toutes les questions importantes.

Des éléments de l'expertise à orientation fonctionnelle sont déjà utilisés aujourd'hui dans les expertises – mais pas de façon systématique, pas toujours et pas par tous les experts. C'est la raison pour laquelle le groupe de chercheurs RELY a mis au point un programme de formation dans lequel les psychiatres apprennent à mettre spécifiquement en œuvre ces éléments dans l'expertise. Tous les psychiatres participant à l'étude ont suivi ce programme de formation.
Pour l'étude RELY 2, le programme de formation de l'étude RELY 1 a été encore perfectionné:

• La durée de formation a été doublée et le manuel remanié en se fondant sur le feed-back à RELY 1.
• Les psychiatres ont reçu une formation plus intensive pour appliquer uniformément les critères de décision de l'instrument aux assurés
• L'étude à orientation fonctionnelle s'est déroulée peu de temps après la formation

L'étude a été réalisée en collaboration avec l'office AI de Zurich et son service médical régional ainsi qu'avec le bureau central des expertises de la Suva. Pour les expertises à orientation fonctionnelle, le groupe de chercheurs RELY a collaboré avec quatre centres d'observation médicale (COMAI) et avec le bureau central des expertises de la Suva.

L'office AI de Zurich et le bureau central des expertises de la Suva contactaient les demandeurs de rente, les informaient de cette étude et les conviaient à y participer. Le rôle de l'office AI et du bureau central des expertises de la Suva dans l'étude se bornait à cela et était ainsi achevé. Après quoi le groupe des chercheurs RELY à l'EbIM fut seul responsable de la suite des contacts et du déroulement de l'étude. Il se chargea de contacter les demandeurs de rente et de répondre aux éventuelles questions en suspens. Si une personne assurée décidait de participer à l'étude, elle envoyait sa déclaration de consentement au groupe de chercheurs RELY.

La grande majorité des psychiatres ayant pris part à l'étude étaient des praticiens exerçant soit en milieu hospitalier, soit en cabinet. En outre, ils disposaient d'une longue expérience dans l'expertise des assurés dans le cadre d'une procédure de rente. Quatre services médicaux régionaux – ceux de Zurich, de St.-Gall, d'Argovie et des deux Bâle– ainsi que la Swiss Insurance Medicine nous ont aidés à trouver des psychiatres désireux de participer à l'étude. Les psychiatres intéressés pouvaient également nous contacter spontanément.

L'étude avait lieu dans le cadre des expertises psychiatriques habituelles. L'entretien se déroulait dans un centre d'observation médicale (COMAI) ou au cabinet de l'expert et ne durait pas plus longtemps qu'une expertise habituelle. L'expert était un psychiatre ayant reçu une formation en expertise à orientation fonctionnelle.

Un membre du groupe de chercheurs RELY enregistrait l'entretien d'expertise en vidéo. Après l'entretien, l'expert décidait de la capacité de travail du demandeur de rente et rédigeait une expertise AI ou Suva juridiquement valide. Elle était conforme aux dispositions légales et constituait la base pour une demande de rente de l'AI ou de la Suva.

Environ une semaine après l'expertise, le demandeur recevait par la poste un bref questionnaire pour savoir comment il avait vécu l'expertise.

2e partie: les experts de l'étude examinent la vidéo

Trois évaluateurs de l'étude, également psychiatres, regardaient la vidéo de l'entretien d'expertise indépendamment les uns des autres. Chacun d'entre eux évaluait ensuite de son côté la capacité de travail du demandeur de rente. Comme l'expert ayant mené l'entretien, les évaluateurs de l'étude recevaient une description du poste de travail et une check-list. Ils recevaient de surcroît un résumé de l'anamnèse. Les évaluateurs de l'étude envoyaient leur évaluation exclusivement au groupe des chercheurs RELY. Ces évaluations n'avaient aucun effet sur la demande de rente (Bachmann 2016 ).

3e partie: exploitation des résultats

Toutes les informations étaient saisies de manière anonyme dans une base de données par le groupe de chercheurs RELY. A l'issue de la phase d'expertise, ceux-ci déterminaient dans quelle mesure les avis des trois évaluateurs de l'étude et de l'expert filmé en vidéo s'accordaient quant aux capacités et à la capacité de travail de chaque demandeur de rente. Des méthodes statistiques ont été utilisées à cette fin.
 
Le critère principal de l'étude était la capacité de travail des patients, telle qu'évaluée par les psychiatres, dans une autre activité adaptée à l'état de santé du patient. C'est sur cette évaluation que l'assureur s'est fondé pour calculer la rente AI. On ne s'attendait pas à ce que les experts parviennent à une estimation parfaitement identique de la capacité de travail. Cela aurait été irréaliste, dans la mesure où d'autres facteurs jouent un rôle dans l'évaluation, notamment la connaissance des détails du poste de travail ou le système de valeurs de chaque expert. Ces facteurs ne pouvaient pas être examinés et/ou contrôlés dans l'étude.

Les chercheurs s'attendaient à une reproductibilité acceptable. La fiabilité, c.-à-d. la capacité de différencier les patients avec une limitation importante, modérée ou légère de la capacité de travail, a été calculée à l'aide de l'ICC (Intraclass Correlation Coefficient, 1=fiabilité parfaite et 0=fiabilité nulle). Les chercheurs considéraient une valeur ICC de 0,6 comme acceptable. La concordance entre les psychiatres était mesurée à l'aide de deux paramètres: 1) l'erreur standard de la mesure (SEM, une «SEM faible» signifiant une «moindre dispersion», c.-à-d. peu de différences) et 2) la proportion de comparaisons entre deux experts qui demeurait inférieure ou égale à un seuil pour la «différence maximale acceptable» dans l'évaluation de la capacité de travail.
 
Pendant la phase préparatoire des études RELY, nous avions mené une enquête nationale auprès de plus de 600 acteurs du domaine de l'évaluation (psychiatres traitants, psychiatres experts, avocats, juges et spécialistes salariés (en particulier des juristes et des gestionnaires de cas, ci-après dénommés «assureurs») (Schandelmaier 2015 ). Nous voulions connaître leurs attentes quant au degré de divergence maximale acceptable de deux psychiatres dans leur évaluation de la capacité de travail d'un même patient («différence maximale acceptable»).
Qu'ils se consacrent essentiellement au traitement de patients ou à des expertises, les psychiatres ont défini une différence de 25 points de pourcentage de capacité de travail entre deux experts dans l'évaluation du même patient comme la «différence maximale acceptable» pour eux.

Dans la pratique, la «différence maximale acceptable» pour les évaluateurs et les psychiatres signifie ce qui suit: si l'évaluateur A estime qu'un demandeur de rente a une capacité de travail de 45 % et l'évaluateur B trouve que la même personne a une capacité de travail de 70 % («évaluateur strict») OU de 20 % («évaluateur indulgent»), les deux différences entre l'évaluateur A et l'évaluateur B sont encore tout juste acceptables.

Les assureurs, avocats et juges ont établi une règle plus stricte et défini une différence de capacité de travail de 20 points de pourcentage entre 2 évaluateurs comme la «différence maximale acceptable» pour eux.
 
Les attentes des acteurs ont été prises en compte dans les études RELY quand il s'agissait d'interpréter la concordance trouvée entre les psychiatres dans le contexte suisse.
Conformément aux engagements envers le Fonds National Suisse de la recherche scientifique, les résultats ont été rendus publics et publiés dans des revues scientifiques.

L'étude RELY 1 a examiné si les psychiatres parviennent à une reproductibilité acceptable dans leur évaluation de la capacité de travail dans le cadre d'expertises AI réelles après une formation en expertise à orientation fonctionnelle.

L'étude a pu être réalisée comme prévu avec 30 participants – des demandeurs de rente AI. Toutefois, les modifications administratives apportées par les autorités compétentes à la procédure d'expertise ont entraîné des retards importants dans la mise en œuvre de l'étude RELY 1, ce qui explique que les expertises aient eu lieu en moyenne plus d'un an après la formation. Chaque participant était évalué indépendamment par quatre psychiatres lors d'un entretien direct ou par enregistrement vidéo. La figure 1 (infra) montre les évaluations de la capacité de travail des 30 demandeurs de rente par les experts.

• Avec une valeur ICC de 0,43, la fiabilité observée était médiocre; la fiabilité des experts dans l'évaluation de la capacité de travail (ICC de 0,6) qui était visée n'a pas été atteinte dans l'étude RELY 1.
• La concordance entres les évaluateurs (exprimée comme SEM) était de 24,3 points de pourcentage de capacité de travail et était bien pire que la valeur attendue par les acteurs dans leur enquête.
• L'attente des acteurs selon laquelle l'appréciation de la capacité de travail entre deux évaluateurs devrait différer de 25 points de pourcentage (idéalement moins) au maximum était remplie dans 61,6 % (109/177) des comparaisons. Cela signifie que dans près de 40 % des appréciations, la différence entre 2 évaluateurs était plus grande.
• Interrogés sur leur sentiment subjectif de certitude concernant leur évaluation de la capacité de travail, les psychiatres ont indiqué une valeur de 7,17 (sur une échelle allant de 0=très incertain à 10=très sûr).

Perspective des demandeurs de rente et des psychiatres

• Les demandeurs de rente ont déclaré qu'ils estimaient (vécu subjectif) que l'expertise à orientation fonctionnelle était très impartiale (valeur moyenne de 8,00 sur une échelle graduée de 0=très insatisfait à 10=très satisfait).
• Les psychiatres ont noté positivement l'expertise à orientation fonctionnelle. Ils ont mis en relief la structuration de la procédure («rien n'est oublié»), l'orientation fonctionnelle et l'écho positif auprès des demandeurs de rente («le travail est abordé au début de l'entretien»). La plupart des psychiatres ont indiqué qu'ils utilisaient désormais l'évaluation à orientation fonctionnelle dans leur propre pratique.
  

L'étude RELY 2 s'est penchée sur la question de savoir si les psychiatres, après une formation plus intensive à l'expertise à orientation fonctionnelle, avec un manuel plus élaboré et un délai court entre la formation et son application dans l'étude, parviennent à une reproductibilité (terme générique pour fiabilité et concordance) acceptable dans l'évaluation de la capacité de travail dans le cadre d'expertises AI réelles.

L'étude a pu être conduite avec 40 participants. Parmi eux, 25 étaient de nouvelles recrues, tandis que les vidéos des 15 autres participants, avec une évaluation à orientation fonctionnelle bien réalisée, avaient été reprises de l'étude RELY 1. Là encore, chaque participant a été évalué indépendamment par quatre psychiatres lors d'un entretien direct ou via un enregistrement vidéo. La figure 2 (infra) montre les évaluations de la capacité de travail des 40 demandeurs de rente par les experts.

• Avec une valeur ICC de 0,44, la fiabilité observée était médiocre. La fiabilité des experts dans l'évaluation de la capacité de travail (ICC de 0,6) qui était visée n'a donc pas non plus été atteinte dans l'étude RELY 2.
   
• La concordance entres les évaluateurs (exprimée comme SEM) était de 19,4 points de pourcentage de capacité de travail, mais restait encore bien pire que ce que les acteurs auraient attendu.
   
• Les différences observées parmi les évaluateurs étaient sensiblement plus importantes que les attentes que les acteurs avaient qualifiées de «différence maximale acceptable» dans l'enquête.
   
• L'attente des acteurs selon laquelle l'estimation de la capacité de travail entre deux évaluateurs devait différer au maximum de 25 points de pourcentage (idéalement moins), était remplie dans 73,6 % (170/231) des comparaisons. Dans un quart des évaluations, la différence entre 2 experts était plus importante.
   
• Interrogés sur leur sentiment subjectif de certitude concernant leur évaluation de la capacité de travail, les psychiatres ont indiqué une valeur de 7,44 (sur une échelle allant de 0=très incertain à 10=très sûr).

Perspective des demandeurs de rente et des psychiatres

• Lorsqu'on leur a demandé s'ils étaient satisfaits et dans quelle mesure ils avaient trouvé que l'expertise était équitable (impartialité subjectivement perçue), les demandeurs de rente se sont montrés très satisfaits (valeur moyenne: 9,42 sur une échelle graduée de 0=très insatisfait à 10=très satisfait).
   
• Les psychiatres ont également témoigné de l'utilité professionnelle substantielle qu'ils tirent de la formation à l'expertise à orientation fonctionnelle.

Résultats (tableau 1)
La comparaison des valeurs de fiabilité pour l'évaluation de la capacité de travail par les experts n'a révélé aucune différence entre les deux études (RELY 1 vs. 2, ICC: 0,43 vs. 0,44, tableau 1).

La comparaison de la concordance des experts dans l'évaluation de la capacité de travail a montré que la dispersion était significativement moindre dans RELY 2 que dans RELY 1: valeurs SEM dans RELY 2 vs. RELY 1: 19,4 versus 24,6 points de pourcentage de capacité de travail. Cela correspond à une amélioration (relative) de 21 %.

L'attente des acteurs que l'évaluation de la capacité de travail entre 2 experts diffère au maximum de 2 points de pourcentage (idéalement moins) a été remplie à 61,6 % (109/177) dans RELY 1, et à 73,6 % (170/231) dans RELY 2. Les psychiatres se sont donc améliorés de 19,5 % dans RELY 2 (cette amélioration étant statistiquement significative).

Tableau 1: fiabilité et concordance des experts dans RELY 1 et RELY 2
Capacité de travail résiduelle des demandeurs de rente, fiabilité et concordance des experts dans l'évaluation de la capacité de travail par rapport aux attentes des acteurs (enquête, Schandelmaier 2015).

• Point de départ: les avis des psychiatres ne concordent que faiblement lorsqu'ils évaluent la capacité de travail de patients souffrant de troubles psychiques.
   
• L'évaluation à orientation fonctionnelle, une nouvelle méthode axée sur le travail, est très appréciée par les psychiatres (utile car elle est plus structurée et plus systématique), les patients (perçue subjectivement comme juste), et les assureurs (transparente et fonctionnelle).
   
• Une formation intensive en expertise à orientation fonctionnelle améliore la concordance, mais reste cependant nettement en deçà des attentes des acteurs en Suisse (enquête Schandelmaier 2015: Stakeholder Survey avec plus de 600 acteurs). La différence maximale acceptée entre les acteurs était de 25 % points de capacité de travail; la différence observée dans les études RELY était de 68 % points de capacité de travail dans RELY 1 et de 54 % points de capacité de travail dans RELY 2.
  
  
• L'amélioration de la transparence (= meilleure intelligibilité des considérations des experts) ne signifie pas une meilleure concordance des experts dans l'évaluation de la capacité de travail.
  
  
• Est-il nécessaire d'avoir une discussion sociétale sur le degré de concordance souhaitée entre les experts ? Comment parvenir à la concordance souhaitée ? Que faut-il faire pour cela ? Et quel en est le coût

[1] Meyer U. Arrêt du 28.6.2011 ¬ Tribunal fédéral 2e Cour de droit social. 9C/243/2010. 28¬6-2011.
[2] Riemer-Kafka G (éd.) Expertises en médecine des assurances. Guide médico-juridique interdisciplinaire, 3e édition, 2018, Stämpfli Verlag/EMHMedia.
[3] Société suisse de psychiatrie et psychothérapie SSPP et Société suisse de psychiatrie d'assurance. Lignes directrices de qualité des expertises des troubles psychiatriques et psychosomatiques en médecine d'assurance. 2016. www.psychiatrie.ch

Kunz R, von Allmen DY, Marelli R, Hoffmann-Richter U, Jeger J, Mager R, Colomb E, Schaad H, Bachmann M, Vogel N, Busse JW, Eichhorn M, Bänziger O, Zumbrunn T, de Boer WE, Fischer K. The reproducibility of psychiatric evaluations of work disability: Two reliability and agreement studies. BMC Psychiatry. 2019; 19(1):205. doi: 10.1186/s12888-019-2171-y

Barth J, de Boer WE, Busse JW, Hoving JL, Kedzia S, Couban R, Fischer K, von Allmen DY, Spanjer J, Kunz R. Inter-rater agreement in evaluation of disability: systematic review of reproducibility studies. Bmj.356:j14. dx.doi.org/10.1136/bmj.j14

Bachmann M, de Boer W, Schandelmaier S, Leibold A, Marelli R, Jeger J, Hoffmann-Richter U, Mager R, Schaad H, Zumbrunn T, Vogel N, Banziger O, Busse JW, Fischer K, Kunz R. Use of a structured functional evaluation process for independent medical evaluations of claimants presenting with disabling mental illness: rationale and design for a multi-center reliability study. BMC Psychiatry. 2016;16:271. DOI 10.1186/s12888-016-0967-6

Schandelmaier S, Leibold A, Fischer K, Mager R, Hoffmann-Richter U, Bachmann MS, Kedzia S, Busse JW, Guyatt GH, Jeger J, Marelli R, De Boer WE, Kunz R. Attitudes towards evaluation of psychiatric disability claims: a survey of Swiss stakeholders. Swiss Medical Weekly.2015;145:w14160 doi:10.4414/smw.2015.14160

Schandelmaier S, Fischer K, Mager R, Hoffmann-Richter U, Leibold A, Bachmann M, Kedzia S, Jeger J, Marelli R, Kunz R, De Boer WE. Evaluation of work capacity in Switzerland: a survey among psychiatrists about practice and problems. Swiss Medical Weekly. 2013;143:w13890 doi:10.4414/smw.2013.13890

L'étude a bénéficié du soutien financier du Fonds national suisse de la recherche scientifique FNS, de l'Office fédéral des assurances sociales et de la Suva. Le financement et la réalisation de l'étude étaient clairement séparés. Le financement n'a eu aucune influence sur la conception de l'étude, les résultats de l'étude ou la publication des résultats.

1.  Université de Bâle, Universitätsspital Basel, 4031 Basel.
2. Société suisse de psychiatrie d'assurance, SSPA, 4051 Basel.
3. Praxis für Psychiatrie, 4051 Basel.
4. Fonds national suisse, FNS, 6004 Luzern.
5. Praxis für Psychiatrie und Psychotherapie, 6004 Luzern.
6. MEDAS Zentralschweiz, 6003 Luzern.
7. Universitäre Psychiatrische Kliniken Basel, 4002 Basel.
8. Association romande des praticiens en expertise médicale (ARPEM), 1025 St Sulpice.
9. MEDAS Interlaken, 3800 Unterseen.
10. Department of Anaesthesia, McMaster University, Hamilton L8S 4K1, ON, Kanada.
11. Department of Health Research Methods, Evidence and Impact, McMaster University Hamilton, Hamilton L8S 4K1, ON, Kanada.
12. Praxis für Psychiatrie, 4057 Basel.
13. IV-Stelle Zürich, 8005 Zürich.
14. Institut Mensch in komplexen Systemen, FHNW, 4600 Olten.