ダウンロードページサイズを制限する

python urllib2

pythonのurllib2モジュールによってダウンロードされるデータ量を制限する方法はありますか? ページとして/ dev / randomのような種類の壊れたサイトに出くわすことがあります、そしてそれはそれらがサーバー上のすべてのメモリを使い果たしていることがわかります。

  3  0


ベストアンサー

urllib2.urlopen`はファイルのようなオブジェクトを返します、そして(少なくとも理論的には)そのようなオブジェクトから .read(N) `することができ、返されるデータの量を最大Nバイトに制限することができます。

urllib2のデフォルトのオープナーのように、積極的に敵対的なサイトはある程度の信頼を得て騙すためにかなりの長さを要するかもしれないので、このアプローチは完全にばかげたものではありません。この場合、そのような攻撃から自分自身を保護する方法を知っている独自のオープナーを実装してインストールする必要があります(たとえば、オープンソケットなどから一度に1 MB以下を取得するなど)。

3


タイトルとURLをコピーしました