走行車両に取り付けたスマートフォンまたはドライブレコーダの動画像から、パッチング（道路にできた小さなひび割れや窪みなど、破損部分をアスファルト混合物で穴埋めしたもの）を考慮したひび割れの評価手法を考案しました。目的は、道路の日常点検の省人化と標識やガードレール等の道路附帯構造物の点検漏れを減らすことです。
ドライブレコーダの画像例
考案手法は、以下に示す手順にて道路舗装のひび割れを評価します。
STEP1 ドライブレコーダの動画像に映り込む道路舗装部に112pixel四方、1行、4～6列のメッシュを適用します。メッシュは、走行車線の車線幅員が納まるように適切な位置と行数を設定します。そして、ドライブレコーダの動画像からフレーム画像を生成します。事前に車両の寸法、ドライブレコーダの設置高、路面やボンネットの映り込むピクセル位置から、メッシュが捉える道路舗装の縦断方向の長さを算出し、走行速度に応じてフレーム画像の生成間隔を調整します。
STEP2 フレーム画像からメッシュにより道路舗装部の分割画像を生成する。
STEP3 弊社で作成した深層学習の判定モデルにより生成した分割画像を判定処理し、判定結果を用いて分割画像毎にひび割れ面積を決定します。ひび割れ面積は、メッシュ内のひび割れの本数およびメッシュを占めるパッチングの割合によって決定します。
STEP4 それぞれの分割画像で決定されたひび割れ面積の合計を分割画像数で除すことでフレーム画像1枚のひび割れ率を算出します。
STEP5 計測区間単位に合わせてフレーム画像毎に算出したひび割れ率を合計し、フレーム画像数で除すことで計測区間単位でのひび割れ率とします。ここでの計測区間単位毎に用いるフレーム画像数は、車両の走行速度によって異なります。
STEP6 算出された計測区間単位でのひび割れ率を表の閾値をもとに3段階で評価します。
本製品の特長
道路点検業務に携わる有識者の判断に基づいて、健全判定モデル、損傷判定モデルおよびパッチング箇所判定モデルの3つのAIの教師データを作成している点が特長です。また、路面性状調査では、発注者や道路管理者により、縦断方向に伸びるパッチングやマンホール周辺のアスファルト舗装をパッチングとみなさない場合があります。また、道路管理者との意見交換を重ねた結果、ひび割れの評価では、パッチングおよびひび割れの同時検出に対するニーズが多いことが明らかとなりました。この理由として、地方自治体の道路舗装では、損傷が進行したひび割れが多く存在しており、その進行を定期的に把握したいこと、また、道路舗装のひび割れの進行を適切に把握するには、パッチングとひび割れを考慮した上で損傷判定する必要があること、さらに、パッチング箇所が調書に反映されるタイムラグを解消したいことが挙げられます。この現状を踏まえ、ひび割れおよびパッチングを考慮したひび割れの評価方法かつ、導入コストが安価な舗装点検技術を開発しました。
考案手法により算出したひび割れ率の評価結果と路面性状調査による評価結果を比較した結果を表に示します。
考案手法と路面性状調査結果との全体の一致率は、62.1%となりました。フレーム画像において正しく判定できた例を示します。
分割画像それぞれで路面の状況を捉え、正確に判定できていることがわかります。診断区分でのサンプル数に偏りがあるものの、傾向として、過剰評価率（判定区分ⅠをⅡまたはⅢ、判定区分ⅡをⅢと判定した割合）に比べ、過小評価率（診断区分ⅢをⅡまたはⅠ、診断区分ⅡをⅠと判定した割合）は低く、ひび割れの検出漏れが少ない傾向にあることがわかりました。また、修繕が必要な区間とされる診断区分Ⅲの一致率は70.0%、健全である診断区分Ⅰの一致率は64.4%であるため、考案手法では、診断区分ⅠおよびⅢの判定において、一定の精度で判定可能であることがわかりました。一方、診断区分Ⅱの判定では、路面性状調査での評価結果との一致率は低い結果となりました。これは、診断区分Ⅱでのひび割れ率の閾値が、20％以上40%未満と小さい値であり、分割画像の生成枚数とひび割れ面積の付与された分割画像の有無により、本来、診断区分Ⅱである区間が診断区分Ⅰ、Ⅲに分類されやすくなったことが考えられます。
他にも、精度の低下要因として、路面性状調査時に用いられるカメラと本手法で用いたドライブレコーダの解像度は大きく異なることが挙げられます。ドライブレコーダでは、そもそもすべての舗装面のひび割れを捉えきれないことから、路面性状調査結果と本手法との結果に差異が発生していると考えられます。
以上より、ドライブレコーダの動画像に深層学習を適用することで、パッチングを考慮しつつ舗装点検要領が定める診断区分Ⅰ～Ⅲ相当の道路舗装のひび割れ評価が可能なことがわかりました。
