連続解析のテスト開始 毎日最新の連続波形をダウンロードし、自動的に解析結果をWebページに掲載する仕組みを テスト稼働させてみた。 一旦、1週間分の累積値として、解析結果を眺められるようにしている。 次のページから、最新の解析結果を参照できる状態である。 https://nomi.cloudfree.jp/ →最新の解析テスト結果 (今のところ、毎日02:00am過ぎと14:00pm過ぎの更新を予定) ただ、開発環境で複数台のPCで処理分担させながら無理くり動かしているだけなので、 最新、といっても、2週間ぐらい前を一生懸命追いかけている感じ。 全自動化にあたり、FTPのUploadなど必要な要素が洗い出せ、実装できた点は個人的には◎。 これでテストランさせながら、運用上の課題などを洗い出していくつもり。
◇2024.09.14時点:
首都圏の地震予兆検知に向けたテスト(未学習地震についての予想テスト) 首都圏に近い地震について、過去データの学習結果から 近いうちに強震発生が近付いていることを予想することを意図した実験を行った。 実験としては、モデルへの学習データを追加し、できたモデルで 学習範囲外の連続波形を解析して結果を確認した。 結論、僅かだが、前回、学習範囲内の地震前兆を判定させた時と同様、 仙台付近のみの僅かな観測点だけだが、地震日程が近付くにつれ反応があった。 強震発生の兆候らしきものが1週間以上前から見えた、と考えられる結果になった。 ■検証手順サマリ: ------------------------------------------------------------------ 検証は次の手順で実施した。 【STEP1】首都圏近くで発生した震度5弱以上の地震を複数学習 【STEP2】学習データ範囲外の既発地震を一つ選び、その地震前兆を連続波形から検知するテスト 各手順の詳細を以下に記す。 ■【STEP1】首都圏近くで発生した震度5弱以上の地震を複数学習 ------------------------------------------------------------------ 首都圏近くで発生した震度5弱以上の地震について、追加で以下の6つをサンプルとして学習させた。 (この部分は前回のモデルをそのまま流用したため、実際の学習プロセスは割愛している) ・2015年09月12日 05時49分頃 東京湾 M5.2 最大震度5弱 https://earthquake.tenki.jp/bousai/earthquake/detail/2015/09/12/2015-09-12-05-49-16.html →2015.08.11〜2015.09.12の連続波形データを学習 ・2018年07月07日 20時23分頃 千葉県東方沖 M6.0 最大震度5弱 https://earthquake.tenki.jp/bousai/earthquake/detail/2018/07/07/2018-07-07-20-23-57.html →2018.06.06〜2018.07.07の連続波形データを学習 ・2019年05月25日 15時20分頃 千葉県南部 M6.0 最大震度5弱 https://earthquake.tenki.jp/bousai/earthquake/detail/2019/05/25/2019-05-25-15-20-53.html →2019.04.25〜2019.05.25の連続波形データを学習 ・2020年06月25日 04時47分頃 千葉県東方沖 M6.1 最大震度5弱 https://earthquake.tenki.jp/bousai/earthquake/detail/2020/06/25/2020-06-25-04-47-51.html →2020.05.24〜2020.06.25の連続波形データを学習 ・2020年12月18日 18時09分頃 伊豆大島近海 M5.0 最大震度5弱 https://earthquake.tenki.jp/bousai/earthquake/detail/2020/12/18/2020-12-18-18-09-43.html →2020.11.17〜2020.12.18の連続波形データを学習 ・2021年10月07日 22時41分頃 千葉県北西部 M5.9 最大震度5弱 https://earthquake.tenki.jp/bousai/earthquake/detail/2021/10/07/2021-10-07-22-41-34.html →2021.09.06〜2021.10.07の連続波形データを学習 ■【STEP2】学習データ範囲外の地震を一つ選び、その地震前兆を連続波形から検知するテスト ------------------------------------------------------------------ 学習データの範囲には入っていない、次の地震を予想ターゲットとし、 2023.04.26〜2023.05.26の連続波形データを【STEP1】で学習させたモデルにて解析を実行。 地震の予兆を検知できるかテストした。 ・2023年05月26日 19時03分頃 千葉県東方沖 M6.2 最大震度 震度5弱 https://earthquake.tenki.jp/bousai/earthquake/detail/2023/05/26/2023-05-26-19-03-31.html ■結果と考察: ------------------------------------------------------------------ 単発の前兆の図を見ても細かすぎて変化に気づきにくいので、 1週間分の累積検知量を比較してみる。 [2023.04.28-2023.05.04][2023.05.05-2023.05.11]
[2023.05.12-2023.05.18]
[2023.05.18-2023.05.25]
首都圏近くは、1か月程通じて変化あまり変化が大きく見られない。 前兆としての特徴が学習するほど見つかっていない可能性がある。 一方、やや離れた宮城県・仙台市付近で発震が近くなるにつれ反応が高まっている。 前回の学習範囲内の地震前兆データを判定させた時とほぼ同じ結果である。 発震近くなると反応が高まってくる状態が学習範囲外でも確認できたので、 首都圏での強震発震前兆検知としてはまた一歩前進したと思われる。 ■この後の計画: ------------------------------------------------------------------ さて、ここまで来た以上、次は最新の連続波形データを日々解析し、 1-2週間ぐらいの未来に首都圏での地震発生が迫っているかどうかを リアルタイム予測を行う、本来の予報という究極の目標へと向かおう。 ただ、これまでのように1日分のデータ解析に1日以上かかるような ゆっくりとした解析していたのでは、これは達成できない。 処理能力の高い運用環境を構築し、処理プログラム間のデータ連携も 自動で行われるように、色々作りこむ必要がある。 うーむ、予算(=お小遣い)と時間が(笑
◇2024.08.25時点:
首都圏の地震予兆検知に向けたテスト(学習済み地震についての予想テスト) 首都圏に近い地震を予想できるように、モデルへの学習データを追加し、 できたモデルで連続波形を解析して結果を確認した。 結論、僅かだが、兆候らしきものが数日前から見えた、と考えられる結果になった。 ■検証手順サマリ: ------------------------------------------------------------------ 検証は次の手順で実施した。 【STEP1】首都圏近くで発生した震度5弱以上の地震を複数学習 【STEP2】学習データ範囲内の地震を一つ選び、その地震前兆を連続波形から検知するテスト 各手順の詳細を以下に記す。 ■【STEP1】首都圏近くで発生した震度5弱以上の地震を複数学習 ------------------------------------------------------------------ 首都圏近くで発生した震度5弱以上の地震について、追加で以下の6つをサンプルとして学習させた。 ・2015年09月12日 05時49分頃 東京湾 M5.2 最大震度5弱 https://earthquake.tenki.jp/bousai/earthquake/detail/2015/09/12/2015-09-12-05-49-16.html →2015.08.11〜2015.09.12の連続波形データを学習 ・2018年07月07日 20時23分頃 千葉県東方沖 M6.0 最大震度5弱 https://earthquake.tenki.jp/bousai/earthquake/detail/2018/07/07/2018-07-07-20-23-57.html →2018.06.06〜2018.07.07の連続波形データを学習 ・2019年05月25日 15時20分頃 千葉県南部 M6.0 最大震度5弱 https://earthquake.tenki.jp/bousai/earthquake/detail/2019/05/25/2019-05-25-15-20-53.html →2019.04.25〜2019.05.25の連続波形データを学習 ・2020年06月25日 04時47分頃 千葉県東方沖 M6.1 最大震度5弱 https://earthquake.tenki.jp/bousai/earthquake/detail/2020/06/25/2020-06-25-04-47-51.html →2020.05.24〜2020.06.25の連続波形データを学習 ・2020年12月18日 18時09分頃 伊豆大島近海 M5.0 最大震度5弱 https://earthquake.tenki.jp/bousai/earthquake/detail/2020/12/18/2020-12-18-18-09-43.html →2020.11.17〜2020.12.18の連続波形データを学習 ・2021年10月07日 22時41分頃 千葉県北西部 M5.9 最大震度5弱 https://earthquake.tenki.jp/bousai/earthquake/detail/2021/10/07/2021-10-07-22-41-34.html →2021.09.06〜2021.10.07の連続波形データを学習 ■【STEP2】学習データ範囲内の地震を一つ選び、その地震前兆を連続波形から検知するテスト ------------------------------------------------------------------ 学習データの範囲内にある、次の地震を予想ターゲットとし、 2021.09.06〜2021.10.07の連続波形データを【STEP1】で学習させたモデルにて解析を実行。 地震の予兆を検知できるかテストする。 ・2021年10月07日 22時41分頃 千葉県北西部 M5.9 最大震度5弱 https://earthquake.tenki.jp/bousai/earthquake/detail/2021/10/07/2021-10-07-22-41-34.html ■結果と考察: ------------------------------------------------------------------ 単発の前兆の図を見ても細かすぎて変化に気づきにくいので、1週間分の累積検知量を チャートにした図で比較してみる。20211007_千葉県震度5弱検知経過(学習モデル範囲内) 首都圏近くは、ずっと飽和しているのか、何も特徴が捉えられなかったのか、 1か月程通じて変化がよくわからない。 一方、やや離れた宮城県・仙台市付近で発震が近くなるにつれ反応が高まっている様子が見えた。 発震近くなると反応が高まってくる状態が取れたので、前兆検知としては一歩前進と思われる。 ■この後の計画: ------------------------------------------------------------------ 次は学習範囲外の既発の地震について連続波形から検知するテストを行い、 首都圏近くの地震について、過去データに基づいた未来予測が実現できるかの 検証を行う。
◇2024.03.10時点:
発震が迫ってくる様子を過去1週間分の集計の推移で視覚化してみた ディープラーニング学習範囲外の期間に発生した地震予兆を検知する実験 にて1週間以内特徴に該当する強震予兆を捉えることができた可能性がある。 が、ランダムに現れる前兆だけでは地震発生時期の予想は難しい。 予兆と発震時期の相関関係について掘り下げて研究する必要があった。 そこで、2日おきに、各観測点において過去1週間に検知された予兆の量を集計し、 マーキングして視覚化してみた。 発震前3週間程度の期間の推移を追って、順に眺めてみると、動きが見えてきた。東北地方から北関東にかけての地域において、2016/06/07 あたりから発震の2016/06/16にかけて、 徐々に予兆の検知頻度・量が増えていく様子が見える。
やや離れた地域に1週間近くなると広域で予兆が現れだすが、 震源付近に全く検知がない実験結果だ。 他でもそういう傾向があるのか、別の地震のサンプルなどもまた研究が必要である。
◇2024.03.02時点:
ディープラーニング学習範囲外の期間に発生した地震予兆を検知する実験 前回の実験(学習範囲内の期間に発生した地震を検知する実験)は 北海道地域に限ってではあるが、強震の前兆を捉えた可能性を見出すことができた。 しかし、本来は、過去データを学習した成果を用いて、これから起きる強震の予兆を 検知することに意義がある。 前回の実験では、北海道地域以外は予兆は捉えることができなかったが、 一旦北海道地域の予兆に絞って次のステップを試してみることにした。 今回は、前回と同じモデル(2013年1月〜2014年8月までの連続波形データを学習させたモデル)で、 2016年06月16日 14時21分頃 北海道・内浦湾にて発生の最大深度6弱の予兆が検知できるか、 実験した。 ●2016年06月16日 14時21分頃 北海道・内浦湾の地震前兆を捉えた可能性あり 北海道十勝震源域について、次の本震の前兆を捉えることができたか、の検証。 本震: ------------------------------------------------ 2016年06月16日 14時21分頃 北海道・内浦湾 M5.3 最大震度6弱 https://earthquake.tenki.jp/bousai/earthquake/detail/2016/06/16/2016-06-16-14-21-30.html ------------------------------------------------ この本震の約1時間前、特に有感地震は観測されなかったが、 震源付近で1週間以内特徴(赤マーク)に該当として反応が見られる。 [2016.06.16 13時台 北海道十勝震源域 反応画像]また、2016年06月14日 13時台も特に有感地震は観測されなかったが、 震源付近に、1週間以内特徴(赤マーク)に該当として反応が見られる。 [2016.06.14 13時台 北海道十勝震源域 反応画像]
他。本震の震源からはそう遠くない三陸付近などでの有感地震にも 反応が出ているが、 2016年06月09日 02時台 2016年06月08日 00時台 など、目立った有感地震が無かったにも関わらず 広範囲の1週間以内特徴(赤マーク)に該当として反応が出ている。 [2016.06.09 02時台 北海道十勝震源域 反応画像]
[2016.06.08 00時台 北海道十勝震源域 反応画像]
有感地震の揺れを拾っているという様子でもなく、 何等か別の特徴として、1週間以内特徴を拾っている可能性が高い。 (有感地震の発震の際にも同じような特徴が波形に出るということも推測できる) ●2週間以内特徴、3日以内特徴は今のところ綺麗な反応はなし。 一方、北海道地域の予兆として、2週間以内特徴(黄色マーク)、3日以内特徴(紫マーク) にまとまった傾向性はなく、現状の学習データの範囲ではうまく特徴を抽出することが できていないと考えられる。 ●考察 過去データの学習によって、1週間以内特徴に該当する強震予兆を捉えることができた可能性がある。 ランダム性を持っているが、出るときは有感地震がなくとも案外広範囲に反応を見せる様子。 ただ、1週間以内特徴と言いながらも、 ・2週間前などにも反応が出ることもある ・本震の1週間以内になると反応が出続けるわけでもなく、いつ出てくるかわからない という状況のため、強震の正確な発震時期の予測はここまでの結果だけでは難しい。 強震の発震が迫ってくると、1週間以内特徴の頻度が上がってくるのか、など、 もう少し予兆と発震時期の相関関係について掘り下げて研究する必要があると考えられる。
◇2024.01時点:
学習範囲内の期間に発生した地震を検知する実験 2013年1月〜2014年8月までの連続波形データを学習させたモデルを作成した。 このモデルを用いて、改めて各地震源域に発生した、既発の強震の予兆を検知させてみた。 ●2013年2月2日 北海道十勝震源域の地震前兆を捉えた可能性 北海道十勝震源域について、次の本震の前兆を捉えることができたか、の検証。 本震: ------------------------------------------------ 2013年2月2日 23時17分ごろ 十勝地方中部 Mag6.4 震度5強 https://typhoon.yahoo.co.jp/weather/jp/earthquake/20130202231750.html?t=1 ------------------------------------------------ この本震の約20時間前に、同地域で小型の地震が発生している。 ・2013年2月2日 3時23分ごろ Mag3.9 https://typhoon.yahoo.co.jp/weather/jp/earthquake/20130202032323.html?t=2 決して大型の地震ではなかったが、北海道十勝震源域の前兆として、 北海道全域と北関東に至るまでの広域に反応を見せた。 それまでの他の地震にも北海道十勝震源域の前兆として反応する場合がはあったが、 上記2013年2月2日 3時23分ごろの地震は、Magの割には反応を検知したエリアが 異常に広範囲である。 強震の前兆として捉えることができた可能性大と考えている。 [2013.02.02 03時台 北海道十勝震源域 反応画像]因みに、「2013年2月2日 23時17分ごろ 十勝地方中部 Mag6.4 震度5強」の数日前に、 三陸震源域で2つ、強震が発生しているが、北海道十勝震源域としての反応は見られない。 北海道十勝震源域と三陸震源域は距離的には隣接して近いものの、 三陸震源域の揺れは、北海道十勝震源域と異なるものとして誤認はしなかった様子。 2013年1月28日 3時42分ごろ 茨城県北部 Mag4.9 震度5弱 https://typhoon.yahoo.co.jp/weather/jp/earthquake/20130128034202.html [2013.01.28 03時台 北海道十勝震源域 反応画像]
2013年1月31日 23時53分ごろ 茨城県北部 Mag4.7 震度5弱 https://typhoon.yahoo.co.jp/weather/jp/earthquake/20130131235344.html [2013.01.31 23時台 北海道十勝震源域 反応画像]
●三陸震源域に対する検知は失敗 一方、三陸震源域は次の2つの強震の前兆を捉えているかの検証。 2013年1月28日 3時42分ごろ 茨城県北部 Mag4.9 震度5弱 2013年1月31日 23時53分ごろ 茨城県北部 Mag4.7 震度5弱 結論から言えば、直前に至るまでまったく反応しておらず、 学習の結果、北海道十勝震源域寄りの反応を見せるモデルになっていると見える。 [2013.01.28 03時台 三陸震源域 反応画像]
[2013.01.31 23時台 三陸震源域 反応画像]
直後に起きた北海道十勝震源の地震の方が大きかったので、 こちらの前兆が現れる期間が被っていることもあり、 三陸震源域の前兆の特徴が拾いきれなかったのかもしれない。 ディープラーニングの基本として、サンプル数を上げることが精度向上に寄与するので、 もう少し三陸震源域が単独で発震した時期の連続波形データを学習させることが 必要と思われる。
◇2023.09時点:
時間と曜日の要素を排した予想テストを実行した。 ターゲットとする既発の地震は、次の3つ。 ------------------------------------------------ 2013年1月28日 3時42分ごろ 茨城県北部 Mag4.9 震度5弱 2013年1月31日 23時53分ごろ 茨城県北部 Mag4.7 震度5弱 2013年2月2日 23時17分ごろ 十勝地方中部 Mag6.4 震度5強 ------------------------------------------------ さて、まずは茨城県北部の方。 y値0.4以上のみプロットするようにしてみたので、 見える反応はかなり減ったように見えるが、 一応日程が近付くと、何等か反応があるように見える。 ●2013.01.20時点●2013.01.27時点
さて、十勝地方中部の震度5強だが、これは微妙な結果に。 2週間前は、y値0.4を超えるような反応はないが、 1週間前には、ぽつぽつ反応が、広範囲に見えるようになる。 ここまでは、まぁそんなもんか、と思うが、 直前になっても、1週間前ぐらいの反応とあまり変化なく、当日に突入してしまう。 ●2013.01.20時点
●2013.01.27時点
●2013.02.2時点
■考察: もう少し長い期間のデータを学習させ、遭遇した既発地震のサンプル数を上げる必要があるかもしれない。
◇2023.7時点:
2023年7月現在、 ディープラーニングさせる連続波形データの期間を 以前実施した3か月分→1年分に拡大して、 作成されたモデルが期待通りの反応を出すのか追検証中。 ◇テスト内容: 次の実際にあった地震を対象として、学習させたモデルに 連続波形データを判定させ、結果を確認する ------------------------------------------------ 2013年1月28日 3時42分ごろ 茨城県北部 Mag4.9 震度5弱 2013年1月31日 23時53分ごろ 茨城県北部 Mag4.7 震度5弱 ------------------------------------------------ この地震の発生時期を含むように、 2013年1月〜12月までの連続波形データをディープラーニング実施。 学習パターンの想定は ・イベント2週間以内 ・イベント1週間以内 ・イベント2日以内 に分けて連続波形データを教師ありディープラーニングして 畳み込みニューラルネットワークのモデルを作成する。 続けて、畳み込みニューラルネットワークのモデルに 地震発生前の連続波形データを判定させる。 期待値としては、 予測用のモデルで定義した2週間の期間前には、大きく反応しないで、 直前になって予測用のモデルで定義した2週間の期間に入ってくると 大きく反応するという動きが望まれる。 ◇テスト結果[訂正]: ディープラーニング実行後のモデルに以下の日時のデータを判定させ、 Neural Network Librariesのテスト結果のy値が2週間以前と2週間以内で 優位な差分が発生するかを確認した。 先ず、hi-netの全国の観測点ごとに 2週間以内、1週間以内、2日以内のモデルへの適合度(Neural Network Librariesのテスト結果のy値=0.00〜1.00)を算出し、 次に、全国でどのぐらい反応しているのかをざっくり見るために、全観測点分の適合度を単純に合計して日次の推移を見た。 結果は以下のグラフ。2週間前のモデルが、地震発生2週間前にはあまり反応しておらず、1週間前ぐらいになってから上がっている。 また、1週間前のモデルが、地震発生直前に向かって上がっていき、3日前ぐらいで2週間前のモデルよりも適合度が上がっている。 2日前のモデルは、2週間前のモデルと同じような動きになっていて、残念ながらあまり特徴をとらえた検知はできていない可能性がある。 [ここから訂正追加] ・・・と思っていたが、実は、判定用のテストデータに入れていた 曜日・時間を頼りに適合度が反応していた様子が見えてきた。 2月以降の適合度も念のため確認してみると、 実際に地震の発生した日曜日にかけて上昇を続け、 月曜日になると反転する動きを1週間単位で繰り返しているように見える。 つまり、日曜日の真夜中に地震が起きるという誤った予測になっている。 これは、元データに含ませていた曜日・時間のパラメーターが 意図しない結果を生んでしまったことになる。
![]()
●考察 判定テスト用のデータに、曜日・時間を入れてしまったが故に、 判定が特定のパラメーターに引っ張られて誤った結果を誘導した可能性が高い。 一旦、判定テスト用のデータは、波形データのみ、 教師データは波形データ+判定フラグのみとして再度リトライしてみる。
◇2023.04.09時点:
◇地震予測のテスト ディープラーニング→予測 がある程度にでも成立するのか、 一定期間のデータを使ったテストを行ってみる必要がある。 また、データ量・その他の状況を考慮すると、あるだけのデータを 無制限に使うというのは現実的ではなさそうである。 そこで、仮決めとして 過去10年程度の間に発生した、震度5以上の大型地震に対応させた ディープラーニングを行い、予測に適用することを前提に、検討する。 ◇テスト内容: 10年前の2013年の地震発生記録を見ると、 1月末から2月頭にかけて大型の地震が続けて発生している。 ------------------------------------------------ 2013年1月28日 3時42分ごろ 茨城県北部 Mag4.9 震度5弱 2013年1月31日 23時53分ごろ 茨城県北部 Mag4.7 震度5弱 2013年2月2日 23時17分ごろ 十勝地方中部 Mag6.4 震度5強 ------------------------------------------------ この地震の発生時期を含むように、 2013年1月〜3月までの連続波形データをディープラーニング実施。 学習パターンの想定は 十勝沖地域、三陸沖地域の2地域について ・イベント2週間以内 ・イベント1週間以内 ・イベント2日以内 に分けて連続波形データを教師ありディープラーニングして 畳み込みニューラルネットワークのモデルを作成する。 続けて、畳み込みニューラルネットワークのモデルに 地震発生前の連続波形データを判定させる。 期待値としては、 予測用のモデルで定義した2週間の期間前には、大きく反応しないで、 直前になって予測用のモデルで定義した2週間の期間に入ってくると 大きく反応するという動きが望まれる。 ◇テスト結果: ディープラーニング実行後のモデルに以下の日時のデータを判定させ、 Neural Network Librariesのテスト結果のy値が2週間以前と2週間以内で 優位な差分が発生するかを確認した。 ここでは、視覚的にわかりやすくするため、 テスト結果のy値が0.4を超えた観測点について、地図上にプロットした。 プロットの円の半径は、y値が大きいほど大きくなるようにした。 また、色付けの意味は ・青:2週間以内の判定 ・赤:1週間以内の判定 ・紫:2日以内の判定 としてカラーリングしている ・2013年1月2日12時台:十勝沖地域・2013年1月2日12時台:三陸沖地域
2013年1月2日12時台はイベントの2週間以上前である。 少々反応しているところもあるが、閾値の0.4にギリギリ引っかかった程度である。 一部、反応しているように見える観測点もある。 連続波形データの特徴について、 地震発生直前になっても、普段と差分がない観測点なのかもしれない。 ・2013年1月22日18時台:十勝沖地域
・2013年1月22日18時台:三陸沖地域
十勝地方震度5強、茨城県北部震度5弱の地震共に、イベントの2週間前に突入している。 2013年1月2日と比べると、テスト結果のy値が大きくなっていて、(0.5〜0.9) 反応している観測点数も多くなっている状態が見て取れる。 ◇考察: Neural Network Librariesのテスト結果のy値については、 概ね期待に沿って、教師データに対応して、テスト結果のy値が反応を示したと思われる。 どのあたりを閾値にして地図にプロットするかによってかなり見え方に違いが見えるが、 テスト結果のy値が大幅な上昇に至らない場合でも 反応が見られる観測点数が単に多くなるだけでも見分けがつくと思われる。
◇2023.03.21時点:
システムの開発進行中。
Hi-netのデータをダウンロードし、ディープラーニング入力データとして成形を行うプログラムがほぼ完成。
並行して、ある程度、大型地震が発生した期間を含めたデータをサンプルで作成中。
サンプルデータの学習と、予測のテスト実施にはもう少し時間がかかる見込み。
戻る