「 Python 」 一覧

no image

python3のloggingを呼ぶための自作logger.pyは作るときにハマったこと

2017/12/03   -Python

python3 の標準ログ出力モジュールであるlogging。 これを自作のlogger.pyにあるgetLoggerから返そうとした。 loggerの取得を共通関数化したかったからです。 すると、メ …

no image

Python3 RotatingFileHandlerでログファイルサイズを抑えて世代管理

2017/11/16   -Python

RotatingFileHandlerは何世代までローテーションできる? RotatingFileHandlerは何世代でもローテ―ションできるようです。 args=(“log/app.log”, ‘ …

no image

取得可能ドメイン・ドメイン取得可否のrequests.response.http_status_code

2017/11/14   -Python

取得可能なドメインは2種類ある。 期限切れのドメイン(中古ドメイン) 全く新規のドメイン それぞれ、どのようなrequests.response.http_status_codeを返すのだろうか。下記 …

no image

Python3 RecursionError: maximum recursion depth exceeded

2017/11/14   -Python, スクレイピング

再起処理の自作URLクローラーを夜回したら、朝起きたら落ちていた。   File “/usr/lib/python3.5/threading.py”, line 224, in __init …

no image

Python requestsのエラー処理

2017/11/13   -Python, スクレイピング

requests.exceptions.SSLError: HTTPSConnectionPool URLをクロールしていると、こんなエラーが出た。 File “/home/ty/projects/o …

no image

クローラーのUserAgent

2017/11/13   -スクレイピング

Python Requests でのUserAgent指定方法 >>> url=”http://www.yahoo.co.jp/ >>> userAgent=”Mo …

no image

Python MySQLdb.cursor.executeのリストはタプル型である

2017/11/13   -Python

executeのSELECTはタプル型 id value 1 hoge1 2 hoge2 3 hoge3 埋め込み変数1つでもタプル型   タプル型の1要素、1項目はこう書く (値,) カン …

no image

ドメインの取得可否をチェックする

2017/11/12   -スクレイピング

いろんな方法がある。 しかし、最終的にはお名前.comなどで確認しないと取得できるかは分からない。 URLからドメインを抽出する tldextractを使用できる。 https://pypi.pyth …

no image

lxml.etree.ParserError: Document is empty

2017/11/11   -Python, スクレイピング

lxml.etree.ParserError: Document is empty が出た。このとき。 response=requests.get(”https://discussions.apple …

no image

クローラー開発メモ

2017/11/09   -スクレイピング

URLを巡回すると、同じドメインではまってしまう。 URLが期限切れだと、sedo.comというドメイン屋さんで永遠はまってしまう。 だから、 ①sedo.comを巡回無視リストに入れる ②同一ドメイ …