ブンジニアの記録

文系でありながら理系に間違われる人

RODBC 32 bit

これまでデータウェアハウス(DWH)からデータを引っこ抜いてゴニョゴニョとやったりしていたわけですが、私の無知のせいで、嬉しくもあり悲しくもありの出来事がありました。

 

この場合は、SPSS StatisticsとModelerで完結させるか、csvで吐き出して、RやPython使ったりしてました。

そもそもネットワーク系のことを知らなさすぎだったわけです。

 

たとえば、1つのデータテーブルがDWH上にあったとして、これまでずっと全データをSPSS Statisticsの形式で一晩かけてダウンロードして、SPSS Modeler でデータセット作成からモデリングまで一連の処理をしてました。(貧弱ローカル機械なのでとても時間がかかる)

同時に、コンソール画面で直接SQL出して、あーでもない、こーでもないと仮説立ててました。いわゆる併用ですね。

 

あるタスクをやってる最中、一瞬思うところがあり、

32 bit 版のRを起動して、library(RODBC)を実行。CRANのドキュメント読んで、

すんなりR内でODBC開通。SQL流してデータセットを確保できました。10分くらい。

一晩かけてたStatisticsでは32 bit版を起動して32 bit ODBC接続でやっていたのです、そもそも。なんでわかんなかったかな。

いったい長年使ってたやり方は何だったんだ?と愕然としました。嬉しいよりも哀れが大きかったですね。時短だけでも計り知れない(列形式が崩れるとか多少の問題はあり)。それでも哀しすぎる。バカだろ、おれ?

 

調べてみるとODBC周りはいろいろ悩みが尽きないようですね。以前私も調べたのですが、行き止まりでした。RODBCの存在すら忘れていました。

これを閃いたのは、次男のお下がりのPC(32 bit)にLinuxマウントしていろいろ弄ってて、最強分析マシンを作ろうとしたことで、64と32の間に揉まれまくったことが幸いしたのかも。

私自身はLinux使うのは15年以上前から、XWindowなしでCUIで動かしたりしてたのですが。遊びで。

 

本当に盲点でした。へ、こんなこと!?英語で言ったら、Just like that? Oh, well...(涙目) という心境でしょうか。

物理的には涙は出ませんでしたが、心の中では涙が出ました。

 

機を同時にして、沢山のデータ処理、分析課題、ビジネス創造、が投げ込まれてきました。「できるかー!」と思いましたがやるしかない。

 

今回のRODBCの発見があったからだいぶ助かりそうではあるものの、難題ばかりで苦労はします。

 

SQLiteかませようかと思ってたものの、なかなかハードル高く、とりあえず私レベルではRODBC開通はかなり助かりそうです。

ただし、inner_joinなんかの複数テーブル連結実験はやってないので、やりながら研究します。tidyverseの出番かな。

 

基本はPythonでデータ処理してRで分析。ドヤ顔だったものの、それでもムダが多くて。

 

はあ。無知はつらい。おまけに恥ずかしい。全ては基本。