たまにおかしな動作をしますが、スクリプトがおかしいというか、
対策をちゃんと施してないというか、取得先の問題のようです。
データ自体を問題なく確保できれば、ぜんぜん問題ないのですが、
こればかりはどうしようもないでしょう。
にっぽー@newsVIP氏のデータをお借りすることに成って、若干修正しました。
今のクロールは、cronから14:30に実行させています。
昔のように常駐ではなく、処理が終われば終了します。
そのため、監視ログはスッキリしていると思います。
日報サイトも分散が始まったようですし、なにかしら日報できるようになるのかもしれません。
たまに迷惑をおかけしますが、それも404の味ということで・・・
（念のため断っておきますが、業務として請負ったものはちゃんと対策してます）
このサイトでも使っているWCG用ブログパーツですが、
スタイルシートのfloatの影響なのか縦にびょ～～～んと伸びてしまいますね。
公開当時より環境も変わってきているし、
また何らかの手入れが必要なのかもしれません。
といっても、まだ時間があまり取れませんが。
flashもいいなぁ・・・
再開に向けて、スクリプトを見直してます。
XMLファイルの処理が問題です。
XML::Simpleが異常にメモリを食うのです。
Core2マシンではさほどたいしたことはないのですが、
ペンⅢ800Mマシンにとっては致命的。
なぜかメモリをどんどん食いつぶして１８０Ｍぐらい食ってプロセスが固まります。
といってもゾンビになるわけではなくて実行中のまま。
よくわかんない。
そろそろXML::LibXMLの出番かな～
Windowsの場合、ppmのリポジトリを追加してからインストール
ppm install XML-LibXML Downloading bribes packlist...done Updating bribes database...done ppm install failed: Can't find any package that provide XML-LibXML D:\homepage\wcg-team2ch>ppm rep add "theoryx" "http://theoryx5.uwinnipeg.ca/ppms/" Downloading theoryx packlist...done Updating theoryx database...done Repo 4 added. > ppm install XML-LibXML Downloading theoryx packlist...not modified Downloading XML-LibXML-1.64...done Downloading XML-SAX-0.16...done Downloading XML-NamespaceSupport-1.09...done Downloading XML-LibXML-Common-0.13...done Unpacking XML-LibXML-1.64...done Unpacking XML-SAX-0.16...done Unpacking XML-NamespaceSupport-1.09...done Unpacking XML-LibXML-Common-0.13...done Generating HTML for XML-LibXML-1.64...done Generating HTML for XML-SAX-0.16...done Generating HTML for XML-NamespaceSupport-1.09...done Generating HTML for XML-LibXML-Common-0.13...done Updating files in site area...done Downloading XML-LibXML-Common-0.13 install script...done Running XML-LibXML-Common-0.13 install script...Set up gcc environment - 3.2 (mingw special 20020817-1) A copy of the needed library libxml2.dll was found in C:\Tcl\bin\libxml2.dll. If this is compatible with the version (2.6.27) used to compile the Perl module, all that is needed to complete the installation is to ensure C:\Tcl\bin\libxml2.dll is in your PATH environment variable. Fetch libxml2.dll? [no] Aborting download of libxml2.dll. done Downloading XML-LibXML-1.64 install script...done Running XML-LibXML-1.64 install script...Set up gcc environment - 3.2 (mingw special 20020817-1) Do you want to alter ParserDetails.ini? [yes] C:\Perl\bin\perl.exe -MXML::SAX -e "XML::SAX->add_parser(q(XML::LibXML::SAX::Parser))->save_parsers()" C:\Perl\bin\perl.exe -MXML::SAX -e "XML::SAX->add_parser(q(XML::LibXML::SAX))->save_parsers()" done 103 files installed
ちなみに
cpan install XML::LibXMLではNOT OKといわれる
Linuxの場合
cpan install XML::LibXMLでは散々エラーをはくが、
yum install perl-XML-LibXMLでok。
落ちる頻度があまりにも高いので、
サーバーのOSをWindowsからLinuxにします。
とりあえず、一番使い込んでるCentOSになります。
あと、日報ですが、新しく線を引くか、
誰かにIPブロックを解除してもらえるようにフォーラムに凸してもらわないと、
つなげないものはどうしようもありません。
引越しすることになったら、新しい回線になるので、
また再開は出来るかもしれません。
私はチーム名「Team 2ch」の解析結果をサイトで公開しているものです。
www.worldcommunitygrid.org/boinc/stats/user.gzのファイルでは、
解析時間やリザルトの提出率といった情報が欠けているため、
やむなく個別ページのXMLファイルを取得しております。
しかしこの方法では、500エラーも多く、期待したレスポンスが得られないことが多発しております。
最近では、リクエストを一定時間受け付けないというメッセージも表示され、
チームに所属するユーザーの情報を取得し終わるのに時間がかかったり、
場合によっては次の更新までに完了せず、取得を断念せざるを得ないこともありました。
このままでは負荷をかけ続ける原因として、当方がアクセスを拒否されることを懸念しており、
解析結果を楽しみにしているTeam 2chに所属するメンバーへの影響も考えられます。
こちらの希望といたしましては、個別ページの情報を効率よく取得できる方法を用意していただくか、
または、www.worldcommunitygrid.org/boinc/stats/user.gzに欠けている情報を補っていただけないものか、
ご相談に伺いました。
よろしければご検討いただければ幸いです。
以上
355 404 sage 2008/07/16(水) 22:35:26 ID:???
前にも書いた気がしますが。
これだけ頻繁に500エラーを返すんだから、他の参照方法を用意してくれればいいんですけど。
今のやり方では、人が増えるほど取得が難しくなってしまいますね。
BANされないかヒヤヒヤです。
WCGは7千件でこの状況ですが、
UDは6万件もあったのに、これほどひどい状況にはなってなかったと思います。
F@hでは、テキストファイルを落とすだけなので、すごく楽です。
今までよりも短い間隔でブロックされるらしいことだけはわかりました。
１分のクールタイムを挟みましたので、ちょっとはましになったのかな？
どちらにしろ、明日も手動で取得してみます。
エラー
アプリケーションは現時点では使用できません。後で再試行してください。
あなたのアクションはエラーになりました。
統計取得用のURIにアクセスすると、上記メッセージが表示されます。
再試行だから、完全な拒否じゃないとは思うけど、
1位になった直後にこれって、なんか作為的？
考えすぎか。
よきライバル簡単を抜き去り１位となりました。
しかし、下から追われているのも事実。
さて、いつまで１位を維持できるのか？
Recent Comments