BigQuery ML でボストン住宅価格予測

Cloud Nextで発表されたBigQuery MLを使って、ボストン住宅価格予測をやってみます。 BigQuery ML Cloud Next’18 のKeynoteで発表された、BigQueryのSQLクエリ内で機械学習モデルの学習/推論ができる機能です。ドキュメントはこちら特徴としては、 BigQuer…

2018-05-25

入門Kubernetes 読んだ

最近、Kubernetes(k8s)盛り上がってますね。 KubernetesといえばMicroservice、というイメージでしたが、意外と機械学習系のプロダクト開発と相性がいいのではないかと思うようになり、しっかり勉強することにしました。 Kubernetes + 機械学習といえば、…

2017-06-03

Rundeck で履歴を定期パージするためのツール

Rundeck はジョブヒストリーを定期自動パージできないという問題があり、いつの間にか数万エントリーになっていたりするので、作りました、という告知 github.com

2017-04-03

pyenv + venv + direnv で作るPython3環境

pyenv + virtualenvの問題点 Pythonでの開発環境において、開発ホスト上に複数のバージョンのPythonをインストールしたい場合 … pyenv プロジェクトごとに仮想環境を構築し、モジュールを切り替えたい場合 … virtualenv の２つの組み合わせは一般的に使われ…

2016-12-11

Elasticsearch 5.xの新機能と、1.xから5.xへのアップグレード

Elasticsearch

この記事は、Elastic stack Advent Calendar 2016の11日目の記事です。 Elasticsearch クラスタを1.7 から 5.0.2まで上げたときに、それなりに変更点が多く、苦労しました。本記事では、そのときのノウハウを元に、 1.xを使っていて、5.xに上げたいと思って…

2016-11-28

CentOSでVPN(IKEv2) を構築する with StrongSwan Part.2 ~ MTU値の調整 ~

Linux

特定のサイトにつながらない前記事で設定したVPNサーバーを経由した場合に、特定の一部サイト（github.com, yahoo.com)にアクセスできないことがわかった。現象としては、 ping は通るが、80ポートの返答がない https, httpなどプロトコルにはよらない VPN…

2016-10-09

CentOSでVPN(IKEv2) を構築する with StrongSwan Part.1

Linux

基本的な手順は参考元サイトをもとに構築していく。想定クライアント iOS: > 10 OS X: > El Capitan ※今回、最終的にユーザー名・パスワード認証は成功しているが、公開鍵認証はiOS, OS Xのネイティブクライアントで動作できていない。 OSX側の問題の可能性…

2016-10-05

PPTP vs L2TP/IPSec vs OpenVPN vs IKEv2

iOS10からPPTPクライアントが廃止されてしまい、家のバッファロールータで動いていたPPTPサーバにアクセスできなくなってしまったので、この際きちんとVPNサーバーを立ててみる。まずはVPNの方式について調査。 VPN方式の違い PPTP 古くからある方式だが、…

2016-02-10

Docker on vagrant on Windows10

Docker on vagrant Dockerをvagrant上に構築してみる。ネット上の情報を参考にしてみてもうまくいかなかったので、だいぶ試行錯誤した目指す構成は以下のとおり Docker Container (CentOS6) on Vagrant (CentOS6) on Windows 10 ※今回はHadoopクラスタ構築…

2016-02-04

MarkdownからConfluence HTMLを生成するConverterを作った。

サーバー上での作業途中など、普段の業務メモは手元のエディタにmarkdown表記で記録している。ところが、技術系の資料はConfluenceにまとめることになっているため、作業終了後はmarkdownで書いた記録を、再度Confluence上で作成しなおすことになる。そのC…

2015-12-12

Capistranoでオペレーション自動化をしようとして諦めた

社内のチームで数十台～のサーバーを管理していて、その上でElasticSearchやHadoopを構築している。これまで、そのクラスタのオペレーションをほぼ手作業なりシェルスクリプトでやっていて、手順の再利用性もないし何よりめんどくさいので、何か自動化で…

2015-12-10

GangliaでHDD温度監視

Linux

Gangliaにカスタムモジュールを入れてHDDの温度監視をしてみる。前提 CentOS 7.1 Gangalia 3.7 セキュリティを重視していないので、実験用環境での使用を想定しています Package インストール python モジュールで拡張するので、以下のパッケージをインスト…

2015-11-20

CentOS7のKernelを最新版に更新する(yumで)

docker1.9のoverlay networkを試すにはLinux kernel3.16が必要だが、CentOS7では3.10までしか提供されていない。 kernelの更新はelrepoを使えば簡単にできるようなので試してみた。注意: kernelの更新は危険なオペレーションのため、壊れても良い環境で試し…

2015-09-17

RundeckからGmailを使ってメール送信する

Rundeckをジョブスケジューラとして使い始めて、メールをGmail経由で送れるようにした。 OSはCentOS7だが、他でも変わらないはず。 Rundeckのインストールインストールは難しくない。yumで入るはず。起動もsystemctl start rundeckd.serviceでできる。詳…

2015-09-11

Logictec Bluetooth[LBT-UAN04C1]をWindows10で使う

どこにも情報がなかったのでメモ Windows7からWindows10にアップグレードしたところLogitecのBluethoothアダプタが使えなくなった。どうやらドライバがうまく認識されていないらしいが、Logitecでも対応ドライバはないようだ。要はCSRのドライバを削除して…

2015-07-25

centos7にdockerをインストール

手順 Centos7用のrpmを使った手順もある（https://docs.docker.com/installation/centos/）が、以下の公式ドキュメントの方法を使うほうが楽そう。 http://docs.docker.com/linux/started/ この手順でもrpmがインストールされるので、管理も楽。 # 公式の手…

2015-04-05

Pythonにおける仮想環境構築ツール

Pythonの仮想環境ツールがいろいろありすぎて混乱するので、整理目的で調査してみる。ざっと調べた感じでは以下のとおり。 Pyenv 複数バージョンのPythonバイナリを管理するもの。プロジェクト（ディレクトリ)単位での異なるバージョンのPythonが使用できる…

2015-03-05

Unite.vimのfile source挙動の変更について

file sourceを開いた時に、これまではデフォルトでカレントディレクトリが入力された状態であったが、下記のコミットでこれができなくなってしまった。どうすればいいんだろう https://github.com/Shougo/unite.vim/commit/0d8336a4e6036f6100050fa0455896a…

2015-02-14

Homebrewで"failed to download"が頻発する件

Mac ESET

Homebrewでいろいろインストールできない homebrewで"failed to download"なエラーが頻発しており、lvすらもインストールできない始末。これの原因がわかったのでメモ。ついでにChromeでwikipediaを見ると"ERR_EMPTY_RESPONSE"になる件も原因は一緒だった…

2015-02-01

【Pythonでネットワーク可視化】graph-toolのインストール

Python

graph-tool 前回NetworkXを使ってグラフを描画したが、主に使用目的がpythonでのデータの可視化であったので、それに特化したライブラリを探していた。そこで見つけたのがgraph-tool。graph-toolはデータビジュアライゼーションに特化したライブラリとのこ…

2015-01-30

【Pythonでネットワーク可視化】NetworkXを使ってみる

Python

NetworkXを使ってみる pythonで100万オーダーのノードを持つネットワーク図を作成したいので、調べてみたところNetworkXというものが使えそう。 NetworkXの準備 Macでの実行なので、pipをインストールしていればすぐにセットアップできる sudo pip install n…