毎日のwebスクレイピングのタスクをこなすサーバー運用のベストプラクティス
webスクレイピングをAWSで毎日決まった時間にサーバーで動かすようになって3ヶ月ほど経ちました。
しかし、AWSの無料枠は1年間。気づかないうちにお金がかかるようになってしまったら困る！
ということで、タイトルについてちょっと考えてみました。
条件
理想的には、
- 保守がめんどいので、物理的にマシンを所有したくない
- 永年無料で運用可能
- データ通信をできるだけたくさん
これ全て満たすものが見つかれば最高なのですが・・・ なるべく良いものを検討した過程。
heroku
メリット
- 永年無料枠（また仕様変わるかも？）
- データ通信量がかからない？
デメリット
- 24時間稼働は1アプリのみ
物理的に自分のサーバーを所有する
ラズパイでheadless chromeを動かす記事を見つけたのでやってみようかな
メリット
- わかりやすい
デメリット
- いつかは壊れる
- 電気代がかかる(ラズパイなら省電力)
- サーバー設置場所が必要
AWS
メリット
- 安定稼働いつもありがとうございます
デメリット
- 1年は無料だが、それ以降は従量課金
- データ通信の無料枠がきつい
idcf
メリット
- データ通信無料？
- 最小構成で月500円
デメリット
- 無料枠が期間限定
その他クラウドサーバー
どこも結構似たり寄ったり。
無料枠はあれど30days~1year
データ通信の無料枠は結構厳しい
まとめ
とりあえずheroku試してみよう。
ラズパイも試してみたい。選択肢は多いほうが良い。
idcfなどのデータ通信無料のクラウドサーバーもありではある。 最小構成の最安値を更新したい。
