Conventional versus Rosemont endoscopic ultrasound criteria for chronic pancreatitis: comparing interobserver reliability and intertest agreement

Can J Gastroenterol. 2011 May;25(5):261-4. doi: 10.1155/2011/302382.

Abstract

Background: The Rosemont criteria (RC) were recently proposed by expert consensus to standardize endoscopic ultrasound (EUS) features and thresholds for diagnosing chronic pancreatitis (CP); however, they are cumbersome and are not validated.

Objective: To determine interobserver agreement between RC and conventional criteria (CC), and to assess intertest agreement in the diagnosis of CP.

Methods: Thirty-six consecutive patients who underwent EUS for abdominal pain or pancreatitis were retrospectively reviewed. Anonymized images were independently chosen as best representations of the pancreatic body and reviewed by three experts who recorded the presence of CC and RC features. Agreement (proportion and kappa statistic) between CC and RC was calculated. Interobserver agreement within the CC and RC was assessed. Secondary comparisons with endoscopic retrograde cholangiopancreatography were made where available.

Results: Using CC, 60 readings (83.3%) were negative for CP, while 12 readings (16.7%) were positive. Using RC, 59 readings (81.9%) were negative for CP, while 13 (18.1%) were positive. The weighted kappa for interobserver agreement for CC (four categories: normal⁄low probability, indeterminate, high probability or calcific) was 0.50, with 80.0% overall agreement, versus 0.27 and 68.1% for the four RC categories (normal, indeterminate, suggestive of and consistent with). Agreement on a positive diagnosis with CC was 86.1% (P=0.38 [McNemar's exact test]), with a kappa of 0.47; for RC, agreement was lower at 80.6% (P=0.016 [McNemar's exact test]), with a kappa of 0.38. For patients who underwent endoscopic retrograde cholangiopancreatography (n=12), false-negative and false-positive rates between CC and RC did not appear to be different.

Conclusions: The RC do not appear to achieve the goals of improving accuracy and interobserver agreement for diagnosing CP.

HISTORIQUE :: Un consensus d’experts a récemment proposé la classification de Rosemont (CR) pour normaliser les caractéristiques et les seuils de l’échoendoscopie (ÉES) afin de diagnostiquer la pancréatite chronique (PC). Cette classification est toutefois fastidieuse et non validée.

OBJECTIF :: Déterminer l’entente entre observateurs au sujet de la CR et de la classification habituelle (CH) et évaluer l’entente entre les tests pour diagnostiquer la PC.

MÉTHODOLOGIE :: Les chercheurs ont procédé à l’analyse rétrospective de 36 patients consécutifs qui ont subi une ÉES en raison de douleurs abdominales ou de pancréatite. Ils ont choisi des images anonymisées de manière indépendante, qui constituaient les meilleures représentations du corps pancréatique, lesquelles ont été évaluées par trois experts qui ont consigné les caractéristiques de la CH et de la CR. Les chercheurs ont ensuite calculé l’entente (proportion et statistique Kappa) entre la CH et la CR. Ils ont évalué l’entente entre observateurs pour ce qui est de la CH et de la CR. Lorsque c’était possible, ils ont effectué des comparaisons secondaires avec la cholangiopancréatographie rétrograde endoscopique.

RÉSULTATS :: Au moyen de la CH, 60 lectures (83,3 %) excluaient la PC, tandis que 12 (16,7 %) étaient positives. Au moyen de la CR, 59 lectures (81,9%) excluaient la PC, tandis que 13 (18,1 %) étaient positives. L’indice pondéré de Kappa de l’entente entre observateurs à l’égard de la CH (quatre catégories : normal/faible probabilité, indéterminé, probabilité élevée ou calcifiée) était de 0,50, avec 80,0 % d’entente globale, par rapport à 0,27 et à 68,1 % des catégories de CR (normal, indéterminé, évocateur et compatible). L’entente à l’égard d’un diagnostic positif au moyen de la CH s’élevait à 86,1 % (P=0,38 [test exact de McNemar]), selon un indice pondéré de Kappa de 0,47. Au moyen de la CR, l’entente était inférieure à 80,6 % (P=0,016 [test exact de McNemar]), selon un indice pondéré de Kappa de 0,38. Pour ce qui est des patients qui avaient subi une cholangiopancréatographie rétrograde endoscopique (n=12), les taux de faux-négatifs et de faux-positifs entre la CH et les CR semblaient similaires.

CONCLUSIONS :: La CR ne semble pas parvenir à améliorer l’exactitude et l’entente entre observateurs pour diagnostiquer la PC.

Publication types

  • Comparative Study

MeSH terms

  • Algorithms
  • Dilatation, Pathologic
  • Endosonography / standards*
  • Endosonography / statistics & numerical data
  • Humans
  • Observer Variation
  • Pancreatic Ducts / diagnostic imaging
  • Pancreatic Ducts / pathology
  • Pancreatitis, Chronic / diagnostic imaging*
  • Reproducibility of Results