さぽろぐ

  日記・一般  |

新規登録ログインヘルプ


2006年09月19日

つーことで、バックアップの補助スクリプト作成中。

まず、バックアップの作業手順だが、
  1. 年、月を指定して一年分もしくはひと月分のパーマリンクのURLリストを取得する。(全てのURLリストはそれをテキストエディタにコピーして繋げりゃいい。)
  2. 1で作成したリストでダウンロードする。(URLcollection、curl、wgetコマンドなど使用)
  3. ダウンロードした全htmlから、画像ファイル、mp3、mp4などへのURLリストを取得する。
  4. 3で作成したリストでダウンロードする。(同2)

となる。

んで、作成するスクリプトは1と3なんだが。

1は、自分で使う分には既にできている。(手作業で年月の変数を書き換えるレベル)
ので、実際全URLリストを作成し、htmlのダウンロード完了。(URLcollectionのシングルダウンロードで約3時間かかった。)
2は、まだ作成中というか、画像ファイルのリストだけならできてるんだが、自分で使ってないmp3とかmp4のリスト化でまだうまくいってない。

で、考えたらこのスクリプトの実行環境は残念ながら提供できない。
レンタルサーバー上ではスクリプトの実行時間に制限があるため、たくさんのhtmlにアクセスするとタイムアウトするってのが想定できる。そのため実際わたしも自分のMacのPHP環境でスクリプトを実行しており、レンタルサーバーは使っていない。
また、それよりなにより個人のレンタルサーバーの実行環境にもしかして殺到されたりすることなどあるとたまらん。そんなことは起きないと思うがまあ何かの間違いってこともありえないことはない。(^_^;
そもそもそういうものを提供するのは北国tvの仕事だろうと思う。(やってくれないのでわたしは自分でやってるわけで)

で、概ね完成してからということになるが、欲しいという人がいれば、たいしたもんではないがスクリプトを提供することはできる。(自分でPHPの実行環境がある人は使える)
あとは、特別サービスとしてわたしの知り合いという範囲なら、URLリストの作成まではやってあげてもよい・・・か・・・な。(^_^;
どちらも反応したいかたはコメント欄になんか書いてください。(^_^;

って、本日はこんなところです。

あなたにおススメの記事

同じカテゴリー(ソフトな話)の記事画像
仮想日本一周徒歩の旅
同じカテゴリー(ソフトな話)の記事
 記事修正のテストその2 (2010-11-02 17:30)
 なるほど簡単だ (2010-11-02 16:52)
 別な地図表示方法の模索中 (2007-02-16 00:35)
 仮想日本一周徒歩の旅 (2007-01-12 23:59)
 散歩コース距離計測 (2007-01-07 17:50)
 書き初め Flash (2007-01-02 15:59)

この記事へのコメント
サーバーの負担とか考えると、難しそうという気が素人の
私でもします。
新サービスへの移行の件ですが、スムーズにいくでしょうか?
複雑に絡み合っている各エントリーが、簡単に移せるとは
思えないんですが、そもそも「ゼロ」スタートってことですかね?
でも、mp3、4を残すということは、ログを残すってことですよね。
なんか、大丈夫かなぁ・・・
Posted by manbow at 2006年09月20日 20:17
HTMLのダウンロードは3時間かかりましたけど、URLリストの作成は4年分で10分ぐらいかな。(1年分ずつ作成して繋げる)
チャンネルのトップページから全部のリンクを解析するよりかは圧倒的に速いです。(笑)

manbowさんとこは記事数が多いのでもう少しかかるかもしれませんが、HTMLのURLリストだけでよければ仰っていただければ作りますのでご遠慮なく。(画像ファイルのリストはダウンロードしたHTMLが必要なのでわたしのとこではできません。ダウンロードした全てのHTMLファイルを圧縮して送ってくだされば作業できるけど。(^_^;)

移行作業はどうでしょうね?
ぱっと見、CLOGのHTML構造は北国に似てると感じましたけど。(実際はわからん)
多分データベースの変換だけだと思うが、給料貰ってるSEさんがやるんだから仕事はきっちりやるんでしょう。たぶん。(^_^;
#まあ人間なので失敗はあり得るけど。(笑)
Posted by ぞうさん at 2006年09月21日 18:25
※このブログではブログの持ち主が承認した後、コメントが反映される設定です。
上の画像に書かれている文字を入力して下さい
 
<ご注意>
書き込まれた内容は公開され、ブログの持ち主だけが削除できます。

削除
つーことで、バックアップの補助スクリプト作成中。
    コメント(2)