外科手術用システム

背景

ある内資系医療機器メーカーは、自社で開発した外科系手術用システムのユーザビリティ試験を実施する必要がありました。その試験は、IEC 62366-1:2015+AMD1:2020に基づく総括的評価にあたるユーザビリティ試験でした。

実はそのメーカーは過去にもその試験を実施したのですが、過去の試験では資材やテスト製品に不備が見られ、逸脱が多く発生し、有効な試験とみなすことができず、今回改めて試験を実施しなおす必要がありました。

課題

総括的ユーザビリティ試験は、サンプル数も1グループ15名程度を有する大規模な試験です。試験をやり直すということは数百万から場合によっては1千万円を超える金額の試験をやり直すことになります。そのメーカーが実施した過去の試験の資材を見ると、その試験は準備がしっかり行わず、試験資材にも不備や不足があるまま、ユーザビリティ試験の専門会社ではない一般的な市場調査会社に委託をして、誰からも問題の指摘を受けることなく実施されていました。そのため試験中に試験資材やテスト製品の不備が頻繁に明らかになり、逸脱が多く発生し、有効な試験とはみなすことができないような試験でした

アプローチ

そのような背景を踏まえ、試験の実施前に、試験プロトコルレビューをすることで試験の目的や評価内容を明確に定める必要があることを説明し、実査の前に試験資材を入念に作り直すことにしました。そのメーカーが作成した試験プロトコルは、評価するタスクも成功基準も明確になっておらず、試験資材であるモデレーターガイドや記録表の内容にも矛盾や不備や不足が見られていました。このような資材を用いて試験を実施してしまうと、試験中に混乱が生じ、本来評価するべきタスクが評価できなくなってしまいます。

そこで試験プロトコルについては、試験プロトコルに記載すべき内容というものを、そして本来あるべき試験プロトコルとはどういうものなのかを依頼元のメーカーに説明しました。試験資材については、試験を実施するモデレーターが、タスクをしっかり理解し、スムーズに試験を運営でき、適切に結果を記録できるように、モデレーターガイドと記録表を作り変えました。イントロスクリプト、シナリオの説明、タスク指示と成功基準、スコア定義、アシスト方法やモデレーター指示等、必要な情報をすべて明確化しました。そしてそれらの資材を用いて試験を実施しました。

結果

その結果、そのやり直し試験は大きな問題は発生せずに最後まで実施することができました。過去の試験のように実施するタスクや試験資材の内容をを試験中にその場で変更するような、試験としてはあるまじき行為をすることなく、試験を実施することができました。残念ながら、やり直し試験でも、テスト製品自体が本来想定されていたように動かず、幾つかのタスクで当初定めた通りに評価できないということが数回発生しましたが、それらも逸脱としてきちんと記録に残し、結果をまとめることができました。また、記録表についても、行動観察記録に加え、根本原因の記録や主観的フィードバックの記録が明確に分かるように構成を整えて記録した結果、その後のリスク分析がしやすい形で納品することができました。

Hints &Tips