Visual C++ 2008 Redist SP1 インストール時エラー

Win11 にソフトをインストール後、起動させようとすると強制終了してしまう問題が発生しました。
以前より見て見ぬふりをしていましたが、Ver.Upしても使えないと限界。対応することにしました。

イベントビューワーでは VC++ の再配布ファイルがないとのこと。

Microsoft.VC90.MFC,processorArchitecture="x86",publicKeyToken="1fc8b3b9a1e18e3b",type="win32",version="9.0.21022.8" が見つかりませんでした。 詳細な診断を行うには sxstrace.exe を実行してください。

sxstrace.exe trace -logfile:sxstrace.etl
（問題のプログラムを実行してエラーを再現）
sxstrace.exe parse -logfile:sxstrace.etl -outfile:sxstrace.txt

吐かれたTXTを見ると、Microsoft.VC90.MFC, version="9.0.21022.8" がないという、同じ文言。古いのでサポートは切れてますが、入れましょう。ということで SP1 をインストール。が、またもエラー。

Visual C++ 2008 Redistributableのインストールで問題発生 - エラー1935
https://www.reddit.com/r/techsupport/comments/qsv2gf/trouble_installing_visual_c_2008_redistributable/?tl=ja

ファイアーウォールに引っかかっていたという初歩的な内容。もっと早く調べるべきでした。

Docking Station WD22

 Dell の Docking Station WD22 に外付け HDD を USB-A で接続すると、本体再起動後にマウントが外れて認識されない症状に遭遇しました。

本体に USB接続していた時は見られなかった症状のため、ハードウェア側の不具合を疑い試行錯誤していたのですが、結局はソフトウェア側（OS側）の設定の影響でした。　

Win11で外付けHDDを休止（スリープ）させないようにすればOK。

1. スタートメニュー → 「すべてのアプリ」 → 「Windowsツール」 → 「コントロールパネル」
2. 「ハードウェアとサウンド」→「電源オプション」を選択
3. 現在使用中の電源プラン右側の「プラン設定の変更」をクリック
4. 「詳細な電源設定の変更」をクリックし、「ハードディスク」→「次の時間が経過後ハードディスクの電源を切る」の値を「なし（0分）」に設定

これで解決。外部ディスプレーが時々切断される問題も同時に解決しました。よくわかりませんが復帰させるときに Dock が頑張っていたのでしょう。

Windows 11 clamshell mode

Windows 11のラップトップでクラムシェルモードを設定していたのですが、時々切断されます。再度、設定を確認。

1. 電源設定
「コントロールパネル」「ハードウェアとサウンド」「電源オプション」を選択。
左メニューの「電源ボタンの動作の変更」をクリック。
「カバーを閉じたときの動作」で、「電源接続時」を「何もしない」に設定」←これが未設定でした。

2. ディスプレイ設定の調整
デスクトップ上で右クリックして「ディスプレイ設定」を開く。
複数ディスプレイが認識されていることを確認する。
「2のみ表示」「このディスプレイの接続を切断する」で内蔵画面はオフになる。

CAD使用時に頻繁に現れるので GPU ドライバも確認しましたが、最新版。BIOSも最新版。ドック等のファームを最新版にUPし、ひとまず様子見です。

Windows11 への RDP接続

Windows11（Microsoft Entra 参加済み） への RDP接続で、うまくいかないWin PCが出てきました。

ストア版はつながる、OS付属の標準版？デスクトップ版？はダメな状況です。ストア版はマルチモニタに対応していない、再起動するまでキーマップがおかしくなるなど不満あり。だが仕方がない状況なので使っていたのですが、本日こちらもつながり難い状況に陥りました。仕方なく重い腰を上げて調べることにしました。

で、得られた答えはこちら。簡単に出てきました。もっと早く調べたらヨカッタ。

https://learn.microsoft.com/ja-jp/azure/virtual-desktop/rdp-properties

enablecredsspsupport
構文: enablecredsspsupport:i:<value>
説明: クライアントが認証に資格情報セキュリティ サポート プロバイダー (CredSSP) を使用するかどうかを指定します (使用可能な場合)。
サポートされている値:
0: オペレーティング システムが CredSSP をサポートしている場合でも、RDP では CredSSP を使用しません。
1: オペレーティング システムで CredSSP がサポートされている場合、RDP では CredSSP を使用します。
[既定値]: 1
適用対象:
Azure Virtual Desktop
リモート デスクトップ サービス
リモート PC 接続

クライアント側の rdp ファイルに enablecredsspsupport:i:0 を追記すればOK。
接続できました。

Office 365 プロパティ変更

MS Office 製品のデータには、作成者や印刷日時などの情報が含まれます。

その多くは explorer のプロパティから削除することが可能なのですが、前回保存日等は変更できません。ツールを探してみましたが、ないですね。

では、作りましょう。ということで、Pythonで作成しました。

といっても、Word や EXCEL のファイルはただの ZIP ファイルですので、docProps/core.xml を入れ替えるだけです。ファイル操作のみですので、PowerShell でも可能かもしれません。

import os
import shutil
import glob
import zipfile

# output ディレクトリを空にする
shutil.rmtree("./output/data/")
os.mkdir("./output/data/")

# data の下にプロパティを変更したいデータを入れる。
# プロパティ変更済みの./docProps/core.xmlを別途用意。
path = 'data/*'
files = glob.glob(path)

for file in files:
    print(file)
    zin = zipfile.ZipFile (file, 'r')
    zout = zipfile.ZipFile ("./output/"+file, 'a')
    for item in zin.infolist():
        buffer = zin.read(item.filename)
        if (item.filename!= "docProps/core.xml"):
            zout.writestr(item, buffer)
    zout.write('./docProps/core.xml')
    zout.close()
    zin.close()

参考：https://stackoverflow.com/questions/513788/delete-file-from-zipfile-with-the-zipfile-module

仮想メモリ

 今月は納期が重なり忙しくしていました。

こういう時でも、翌月に検討するためのデータ作成は進めておく必要があり、時間のかかる計算をPCに頑張ってもらっていました。

計算を初めて３日目。ふと見るとexeが落ちていました。Winのログをたどると、夜中にメモリーオーバーの度が過ぎてしまったようです。実装メモリは64GBで、大きな計算をするには少し小さめ。仮想メモリを実装メモリの３倍程度使っており、落ちてしまったようです。
8TB の SSD を購入し、input data を入れていたのですが、これでは速度改善が見込めません。 手元にあるより大きなメモリを積んでいるPCでも、ダメでしょう。

ハードの容量と計算の規模がイタチごっこ。
メモリが安くなってきたといっても、TBは高価。SSD を追加して仮想メモリに割り当てるか、分割して計算するしかなさそうです。いつの時代も、変わらないですね。

****************************
20230206追記

SSD の威力を実感。1.5日で終わった計算が、HDDからの読み込みだと10日かかる見込み。かもう一台買いましょうか。

PCを使う？

先日、以下のようなやり取りがありました。

私の質問

• 新しい共有PCを2か月くらい使用しようと考えている。
• 1日1回程度、計算状況を確認するだけで、席は空いている。
• そちらの浸透流解析で何コア使うのか？メモリーはどの程度使う予定か？影響しないように開けておく。

他部署の先輩の回答

• 浸透流用に導入予定のソフトが非力な PC では動かないケースを懸念している。
• 新しいPC はハイスペックなのでそれを利用する予定だった。それが使えなくなると非常に困る。

先輩にとっては難しい質問だったようです。知らないことには答えない、という典型的な回答でした。
どうも浸透流は初めてのようで、支配方程式や計算負荷を御存じない様子。そのためか計算はプロに任せ、結果をもらってソフトで表示して、報告書にまとめるだけのようでした。それなら、コアは1個でメモリも数㎇でしょう。ソフトの要件が「メモリ8GB以上」でしたのでどのような PC でも動くでしょうし、「1GB以上のビデオメモリを実装したOpen GL 4.5対応のグラフィックカード」ですので、古い Quadro で問題ないと思われます（新しいPC は GeForce です）。
まったく心配ないのですが、初めての知らないことで御心配だったのでしょう。2，3回やり取りしましたが「使ってくれるな」を繰り返されるだけでしたので、先輩ということで理詰めを控え、引きました（若い方からすると、こういうのを老害と思われるのでしょうか）。

ヒトは誰しも知らないことについて構えてしまうものですが、過大に備えて周りに迷惑をかけることは避けたいものです。今回、それを避けるには PC やソフトを知ることでした。普段から使用している道具の知識を update しておけば、周りに迷惑をかけることはなかったと思われます。無知は罪です。

道具に使われることのないよう、他山の石として肝に銘じておきましょう。

**************************************
ちなみに、このソフトの浸透流ソルバーは私が部分改変してコンパイルしています。Win11になればコンパイルしなおすべきなのですが、御存じないのでしょうね。ま、計算は御自分でされないみたいなので問題があること自体に気付かれなくても支障ないのですが。

20220123追記
ハイスペックPCを確認すると32コア。動かししたいと言われていたソフトは並列化されていません。計算されないものの、ソルバーも並列化非対応。
情報を仕入れず、知識をアップデートしないまま仕事をされると、迷惑なのは周りとお客様です。無知は罪です。

AMD + ifort

他支店で、AMD の32コアを積んだ PC を購入したとのこと。

まだ GPU に対応しておらず CPU 並列化のみのソフトは多いので、一つの選択肢かもしれません。が、OS が Windows10 のみ。以前コンパイルしたソフトを動かそうとしたが動かず困っているという連絡でした。

AMD Ryzen は手元に実機がありません。AMD + UBUNTU での並列化はよく聞くのですが、Winはナシ。手探りで始めることに。

エラー内容を見ると、どうやら Intel CPU用の命令が邪魔をしているようでしたので、まずそれを外すことに。そのままでは変更するオプションが多いので、コマンド打ちで０からオプションを追加する方針にしました。

何度か試行して、スタック領域を拡張し忘れていたことに気づき、追加。これで動きました。

今回、ifort ではコンパイルできたのですが、gfortran ではダメでした。何が違うのかわかりませんが、前者の速度と安定感は以前より感じています。

このあたり、いつかプロに御教授願いたいところです。

 

大量処理

マージすると5億行になるデータを  Python で加工しいました。

for loop の速度が遅いことは有名ですが、まずは素直に書いて試行。
が、処理が終わるのに140日ほどかかる見込み。これはダメ。

joblib で parallel にするとともに、アルゴリズムを改良。これで、4時間程度に納まる見込み。
でしたが、メモリ不足を吐きます。SSD 500GB を仮想メモリに使うも足りず、HDD ２TB をたせば、、、フリーズ。頑張れ、Windows！

結局、小分けして処理。
が、これも夜中にフリーズしていました。Windows 嫌い。

最終的には９時間かかりました。計算は速いのですが、書き込みがネックになりますね。

他にも2週間計算していたPCが途中で再起動していたり、1週間かけて作っていた数億個のデータも途中でストップしていたり。

大きな処理は、PC ではなくクラウドが良いのでしょうか？データ転送がネックになるので、悩むところです。プロはどうされているのでしょう？ 

世間のレベル

Python、なにそれ？とは異なる方との協働の話。

自己紹介もそこそこに協働することになった社外の方。メインの仕事とは外れる部分で、Python スクリプトをやり取りしたり、Fortran ソース、バッチファイル をいただいたり。
事前に確認したわけではありませんが、ある程度の言語スキル保有が前提でのお仕事でした。

先日のように社内の方をお世話するよりも、効率的かつストレスフリーでした。考えさせられます。

 

Log into Ubuntu from Win via SSH

Ubuntu20.04 に、Windows10 から ssh して Jupyter notebook を動かしてみました。

以前から、Ubuntu の Python 環境を Windows10 から使いたいなと考えていました。ライブラリの OS 対応状況が異なっており、ラップトップの Win10 では制約が生まれていたためです。GUI 接続は遅いし、ラップトップをデュアル OS にしても GPU を使えないし、ということで、SSH の出番です。
（これらの内容は web 上に情報があふれていますので、最低限と思われる部分のみをメモしておきます。）


まずは、ホスト側の準備。（Ubuntu20.04）
Ubuntu に OpenSSH server をいれます（入れていませんでした）。
$ sudo apt install openssh-server

サーバーを起動。
$ sudo systemctl  start ssh

鍵を作成。
秘密鍵「id_rsa」と公開鍵「id_rsa.pub」が作成されます。
※秘密鍵はローカルホストに保存します。隠しファイルを表示しないと見えません。
$ ssh-keygen -t rsa

「id_rsa.pub」を「authorized_keys」にリネーム。
$ cd ~/.ssh
$ mv id_rsa.pub authorized_keys


次に、クライアント側（Win10）。
ローカルホストに秘密鍵「id_rsa」を保存します。cdコマンドを打たなくてもよいように、同パスにcmd.exe をコピー。そこから立ち上げて ssh の流れです。

余談ですが、AWSのEC２でも ssh 接続の場合は同じようにコマンドを打つだけでしたね。AWSの場合は接続まで仮想ネットワークを構築する作業が必要でしたけど。
https://phreeqc.blogspot.com/2018/10/aws-2.html
・セキュリティ
　Multi-Factor Authentication (MFA), security group （インスタンスの仮想 FireWall）
・アカウント
　AWS Identity and Access Management (IAM) ユーザー （group, policy）
・ネットワーク
　Amazon Virtual Private Cloud (Amazon VPC: IP, subnet, route table, internet gateway）, elastic IP
・仮想マシン
　EC2
・ssh
　ssh -i ~/.ssh/Key.pem ec2-user@IP
うーん、なんだか実機にアクセスするよりもセキュリティーが厳しいような。というか、これが普通で、実機が甘いのでしょうね。

Win10 も RS4(1803) で SSH に標準対応していたそうです（Windows Subsystem for Linux ＋ Ubuntu は不要でした）。
https://phreeqc.blogspot.com/2018/10/aws.html
cmd.exe から以下をたたいて接続。ポートフォワーディング機能を使います。
※cmd.exe と　秘密鍵を同じパスにおいておけば、-i オプションも不要
$ ssh -L 8888:localhost:8888 pc-user@IP

これでJupyter notebook をたたけばサーバーが立ち上がります。あとはクライアント側のブラウザでサーバーにアクセスすればOK。
AWSではここで手こずりましたが、実機ではあっさり動きました。config 作っていたかな？
https://phreeqc.blogspot.com/2019/01/ec2-h2o-jupyter.html

 

****************************
ファイルの転送は WinSCP のままです。Jupyter 用途だと、あまり使わないですかね。

Windows コマンド その2

ちょうど１年前、windows コマンドを利用したファイル操作について書き残していました。
https://phreeqc.blogspot.com/2020/01/windows.html

今回は対象のフォルダ内のファイルをリスト化しておき、fort 文でコピーや圧縮を行う書き方です。前回と異なるのは、操作前後でファイル名を変えている点。

リストを参照しファイルをコピー

rem @echo off
set listfile=aaa.txt
set input_path="\\bbb\ccc\"
set output_path="D:\eee\fff\"
FOR /F %%I IN (%listfile%) DO (
    copy %input_path%pre_%%I.csv %output_path%post_%%I.csv
)
echo complete!
pause

 

リストを参照し、ファイル毎に個別圧縮（7-zip 利用）

rem @echo off
set ZIP_PATH="C:\Program Files\7-Zip\7z.exe"
set listfile=aaa.txt
set input_path="\\bbb\ccc"
set output_path="D:\eee\fff"

FOR /F %%I IN (%listfile%) DO (
    %ZIP_PATH% a -tzip %output_path%\%%I.zip %input_PATH%\%%I.csv -mx=4
)
echo complete!
pause

 

Windows Remote Desktop + OpenGL

Windows の Remote Desktopで OpenGL を利用するソフトを起動したい場合があります。

といっても、普段からすべてのソフトに対して OpenGL の利用をチェックしているわけではありません。大抵はリモート接続後に起動しないとわかって初めて気づきます。で、起動しなくて困ると（情けない）。 

 調べてみると解決方法はあるようですね。
https://developer.nvidia.com/designworks
https://blog.techlab-xe.net/rdp-opengl-app/ 

今日は後者で対応しました。接続し直すと起動していたので一安心。ヨカッタ。

普段、把握しているソフトは立ち上げてから離席することで対応していました。が、NVIDIA さんの方法なら根本的に解決しそうです。

連休明けに試してみましょう。

**************************************

20201004
前者はインストールするだけ。こちらの方が簡単でした。

Windows コマンド

大量のファイルを扱うようになってから、それらの整理に迫られる場面が度々出てきました。

例えば、40万ファイルの中から、リストに該当する数千データのみ削除したい、数千ファイルをリネームしたい、フォルダ内のファイルをリストとして出力したいなど。

これ、過去に逆戻りするようですが、DOS Windows コマンドやバッチファイルが有効です。コピペ用に3つ記載しておきましょう。


1. フォルダ内のファイルをリストとしてクリップボードにコピー（Power Shell 不可）。

dir /B フォルダパス | clip

2. リネーム→EXCEL等で整理してバッチファイル化

copy 変更前ファイル名 変更後ファイル名

３．削除→〃

del ファイル名

PC の補強

どうも、新しいPCではスペック不足ということが判明。

計算を回すと、1回で数TBのデータが作成され、数十GBのメモリが消費されるようでした。で、あわててメモリーと内蔵HDDを増設。

後輩君に指示をして増設してもらいましたが、初めてだったようですね。周辺のオジサマ達が寄ってきて、あれに気をつけろ、これはこうするんだ、などと言ってました。この年代の人達は車とか機械いじり好きですからね。

相性問題もなく、無事完了。
これで、次から任せられます。

Win10 + Ubuntu + Fortran

windows10 で Fortaran コードを編集・コンパイルしたいとのこと。

少し古い方に相談されていたみたいで、Cygwin + gfortran を進められていました。が、Cygwin がうまく入らないとのこと。
それなら、ということで Windows Subsystem for Linux をお勧め。Windows10 に Ubuntu を入れ、gfortran を使えるように。

フォルダ・ファイル等の permition の変更、ディレクトリの表現に気を付ける必要はありますが、Win とのファイルのやり取りは容易。Win からファイルを Ubuntu の home/ユーザーフォルダ内に移動して、コンパイル。そのまま計算して結果を Win ＋EXCELへ。

ま、ちょっとした計算ならコンパイラーを買うまでもないですし、デュアルブート を構築することもないでしょう。
Win10では、ずいぶん手軽になりました。

2. GTX480・GTX1060（非SLI）Win10

続きです。

Deep Learning を扱うフレームワークやライブラリは、CUDA Computing Capability 3.0以上を要求しています（Deep Water は3.5以上）。
https://www.tensorflow.org/versions/r1.0/install/install_sources
http://caffe.berkeleyvision.org/installation.html
https://github.com/h2oai/deepwater#pre-release-docker-image

GTX480 は CC 2.0 で使えません。
https://developer.nvidia.com/cuda-gpus

Core i9 を入れた 60万円くらいの PC を買おうかと思いましたが、それに見合う仕事量も期待できません。いずれはクラウドを目指していますし、お試し・繋ぎという意図で安価な NVIDIA GeForce GTX1060 を購入することに。幸い、古いマザー（ASUS P6X58D-E）にはIntel X58 チップセットが搭載されており、レーン数も確保されています。

早速ショップに出向き、3GB モデル を2.9万で購入。

挿してみると絵面がヤバい。きっちり入りましたが、2枚の間隔が狭い。熱が気になりますね。

店員さんに「動かない可能性が高い」と脅されていましたが、Win10を動すると認識していました。

NVIDIAコントロールパネルより、CUDA  GPU をGTX1060に指定。ひとまず、モニタを GTX480 につないで、GTX1060を計算専用に設定しました。（Win10で計算する予定はありませんが。）

次は Ubuntu での設定です。続く。

解決：VPNを張るとネットが切れる件（Windows10）

VPNを張るとインターネットが切れる件について。
Windows ８ を使い始めてからあきらめていた（最近は慣れていた）のですが、ひょっこり解決しました。

問題：

Windows 10 で「リモートネットワークでデフォルトゲートウェイを使用する」のチェックを外すと、インターネットにつながった状態でVPNを張れるのですが、リモートデスクトップが確立しません。

答え：コチラの方がわかりやすく解説されていました。
https://erirun.net/2012/01/windows-vpn-autoroute/

「VPNの向こうに別のネットワークセグメントがあったりするとそこにはアクセスできなくなります。そのセグメントへのルーティングがないからです。」

解決法：
「リモートネットワークでデフォルトゲートウェイを使用する」のチェックを外した状態で(デフォのゲートウェイを変えずに)VPNを張った後、アクセスしたいセグメントへの route を追加すること。

具体的な手順は上記HPに記載されています。リモート接続したいセグメントを PowerShell スクリプトに記載しておき、 VPNを張った時点でタスクスケジューラーから自動実行するといった流れ。

私の場合は VPN 接続を バッチファイルでまとめていたので、そこにPowerShell 起動を加えてみました。
https://phreeqc.blogspot.jp/2017/06/vpn-rd.html
が、管理者権限で実行させると UAC のダイアログが出て1手間増えることに。route add も同じなので、結局、上記のHPの方法を採用しました。
そのままではセグメントへのルーティング完了を待たずに RD 接続が始まってしまい、つながりませんでした。で、バッチファイルに 2秒の sleep 時間を確保。

TIMEOUT /T 2

これでOK。
リブートした後の初回起動時に2秒だと躓くことがありますが、当面はコチラで運用する予定。
1タッチでの VPN 接続～ RD ～ VPN 切断をネットにつなげたままでできるようになりました。

Windows10 クリーンインストール？

初夏から続いていた現場がひと段落。
荷物を整理して、メンテナンスを行いました。これから月末まで、じっくり内業です。

先日、AEC が使えるようになったとアナウンスが来ておりました。この機会に Civil3D と GEORAMA を 2018に上げ、ついでに Windows10 のクリーンインストールも済ませておこうと考えていました。長年使っていた Win7 でいくつか取れない不具合が残ってしまっており、一気に片付ける計画でした。

が、すんなりいきません。
4月ごろに作っていた インストール用 DVD では、インストール先のドライブが表示されません。古かったかな？などと思いながら MS のサイトからツールを使ってインストール用 USB を作り、再度進めてみました。が、こちらも同じ結果。データ保存用のドライブは出てくるのですが、Cドライブ（システム）は表示されません。

このCドライブ、SSD 2個で RAID0 を組んでいたのですが、それが原因でしょうか？少なくとも、Win7は起動しますので BIOS 等の設定は問題なしです

Cドライブ以外の SATA ケーブルを抜いてもダメ、新しく作った DVD でもダメ。ドライブ選択画面でドライバを読み直すと、そこでエラーがかかり振り出しに戻されます。

お手上げ状態でしたので、MSのサポートに聞いてみました。が、こちらでも解決せず。同様の事例はあるようでしたが今回はダメ。USB でなくDVD からの起動や、他のドライブを外すなどした場合に RAID0 を認識する事例があるとのことでしたが。

結局、7 を起動した状態で DVD からインストール。
設定を引き継がない「なにもしない」を選択。インストール後に、残ったごみを色々捨て、クリーンインストールっぽくしました。ま、このあたりで妥協しましょう。

起動は 7 よりも早くなりました。すっきりしたようです。
ある程度整理した状態でバックアップを取っておけば、1年毎にクリーンな状態に戻せるでしょうか。それが済んでから、AEC等大物をインストールすることにしましょう。

VPN-RD 接続のバッチ処理

Windows10になってから1手増えていたVPN接続。
毎回、VPN接続→リモートデスクトップ接続・切断→VPN切断をやっておりますと、PCに無駄な作業をさせられているように感じてきました。

で、バッチ化。

①メモ帳で以下を記載し.batで保存
rasdial "接続名" ID PASS
mstsc C:\Users\ユーザー名\Documents\rdpファイル
rasdial /DISCONNECT

※接続設定を済ませている状態が前提。その設定内容を黄文字の箇所に指定します。
※ここまででもOKですが、以下でスタートメニューに登録すれば、より便利。


②.batのショートカットを作り、そのリンク先にcmd.exeのありかを挿入。
C:\Windows\System32\cmd.exe /C パス付きで①.batファイル

※ショートカットを右クリック-プロパティでリンク先が出てきます。
※cmd.exeのショートカットに、.batのありかを指定する形になります。

③右クリックでスタートにピン止め


ついでに、1行目だけのVPN接続、３行目だけの切断のショートカットも作成し、登録しておきました。
ちょっとしたことですが、かなり便利になりました。

******************************
20170625追記
VAIO Win10 Pro ではUWP版のリモートデスクトップを使っていたのですが、接続がすぐに途切れることが多く困っていました。今回、YOGA Win10 Home では上記の通りデスクトップ版に切り替えています。今のところ、安定して接続できています。