ブログ

Jun 04, 2024

手術ビデオから外科医の活動を解読するためのビジョントランスフォーマー

Nature Biomedical Engineering volume 7、pages 780–796 (2023)この記事を引用する 10,000 アクセス数 8 引用数 140 Altmetric Metrics の詳細 外科医の術中の活動は、外科医の術中活動に多大な影響を与えます。

Nature Biomedical Engineering volume 7、pages 780–796 (2023)この記事を引用

10,000 アクセス

8 件の引用

140 オルトメトリック

メトリクスの詳細

外科医の術中の活動は、術後の結果に大きな影響を与えます。 しかし、ほとんどの外科手術では、術中の外科行為の詳細は多岐にわたり、十分に理解されていません。 今回我々は、ロボット手術中に一般的に収集されるビデオから術中手術活動の要素を解読するためのビジョントランスフォーマーと教師あり対比学習を活用した機械学習システムを報告する。 このシステムは、手術手順、外科医が実行した動作、これらの動作の品質、および動作のデコードに対する個々のビデオ フレームの相対的な寄与を正確に識別しました。 2 つの異なる大陸にある 3 つの異なる病院からのデータに対する広範なテストを通じて、このシステムがビデオ、外科医、病院、外科手術全体にわたって汎用化され、注釈のないビデオから手術のジェスチャーとスキルに関する情報を提供できることを示しました。 正確な機械学習システムを介して術中活動を解読することは、外科医に手術スキルに関するフィードバックを提供するために使用でき、最適な手術動作の特定や術中要因と術後の転帰の関係の研究を可能にする可能性があります。

手術の最も重要な目標は、術後の患者の転帰を改善することです1、2。 このような結果は、術中の外科活動 3、つまり、外科手術中に外科医がどのような動作を行うか、またそれらの動作がどの程度適切に実行されるかによって強く影響されることが最近実証されました。 しかし、大部分の外科手術では、術中の外科活動の詳細な理解は依然として得られていません。 このシナリオは、特定の患者の転帰の要因がまだ発見されていない、または異なる形で現れる医療の他の領域でも非常に一般的です。 外科の現状では、術中の外科活動は単純に測定されていません。 このような測定の欠如により、外科医や病院の時間の経過に伴う外科手術の実施方法の変動を把握すること、術中活動と患者の転帰を関連付ける仮説を検証すること、および外科医に手術技術に関するフィードバックを提供することが困難になります。

術中の外科活動は、ロボット支援外科手術中に一般的に収集されるビデオから解読できます。 このようなデコードにより、時間の経過とともにどのような手順（組織の切開や縫合など）が実行されるか、手術する外科医によってそれらの手順がどのように実行されるか（たとえば、一連の個別の動作やジェスチャーを通じて）、およびその品質についての洞察が得られます。を実行します（つまり、スキルを習得します。図1）。 現在、ビデオがデコードされる場合は、専門の外科医による手作業による遡及分析が行われます。 ただし、この人間主導のアプローチは主観的なものであり、審査する外科医による活動の解釈に依存します。 外科医が術中のすべての活動を認識していると想定しているため、信頼性が低い。 また、専門の外科医の存在と多大な時間と労力が必要となるため、拡張性がありません。 これらの仮定は、専門の外科医が不在で（リソースが不足している状況など）、すでに時間に追われている場合には特に不合理です。 そのため、術中の外科活動を客観的で信頼性が高く拡張可能な方法で解読することが急務となっています。

a、ロボット手術中に一般的に収集される手術ビデオは、SAIS を介して術中の外科活動の複数の要素にデコードされます。つまり、針の取り扱い、針の打ち込み、針の引き抜きなどの縫合サブフェーズなど、外科医によって実行される内容と、その活動が外科医によってどのように実行されるかです。個別のジェスチャーやさまざまなレベルのスキルなどを通じて、外科医に指示を与えます。 b. SAIS は、同じアーキテクチャを使用して、サブフェーズ認識からジェスチャ分類およびスキル評価に至るまで、外科活動のさまざまな要素を個別にデコードできるため、統合システムです。