フォルダを開くと落ちるように。
一旦、VS Codeを閉じて、開き直すと動く。

エラーメッセージはこんな感じ。

BadInstallScriptResult │ Error: BadInstallScriptResult (Got bad result from install script)

Issueは既にあって、とりあえず1.97.2にダウングレードするしかないらしい。

Unable to connect VS Code to SSH after crash: BadInstallScriptResult · Issue #242825 · microsoft/vscode

古いバージョンのダウンロードはここに書いてあるとおり。

Visual Studio Code FAQ

Windowsの場合

System Installer

https://update.code.visualstudio.com/1.97.2/win32-x64/stable

User Installer

https://update.code.visualstudio.com/1.97.2/win32-x64-user/stable