LoadSceneを使ってリトライボタンを作ったのはいいけど、まったく反応しないことがあります。
その場合、EventSystemを追加してみましょう。
ヒエラルキーの作成から、UI → EventSystem。
これでボタンが反応するか確認してみましょう。
通常、新しくボタンを作成するときに、このEventSystemも勝手に作られるんですね。
何かの拍子に消してしまっていることが結構あります。
Unityでボタンが押せない場合、まずはここを疑ってみましょう。
関連記事：
ボタンを押すと画面を閉じる
ビルドの画面サイズ
リトライボタンを設置する
タイムアップになればリトライボタンを表示
