Lab3 too many requests

[ulyanin]

У меня вариант 18 (Кто из разработчиков Microsoft на github ведёт блог на blogs.msdn.com и указал его в профиле?)

(https://github.com/orgs/Microsoft/people)

Страниц с людьми 112, каждую из них пытаюсь подгрузить и
меня github отрубает по too many requests
https://pastebin.com/yVr73bpd

Если где-то страниц 20 запросить, уже exception

[ulyanin]

Чтобы решить проблему, я попробовал использовать github api
Там сказано делать такой запрос
withSocketsDo $ simpleHttp ("https://api.github.com/orgs/Microsoft/members")
Тут тоже надо получить 112 страниц и возникает две проблемы:

1. https://developer.github.com/v3/#rate-limiting -- если не авторизованные запросы, то тоже нельзя больше 60
2. для проблема haskell - user-agent

Response {responseStatus = Status {statusCode = 403, statusMessage = "Forbidden"}, responseVersion = HTTP/1.0, responseHeaders = [("Cache-Control","no-cache"),("Connection","close"),("Content-Type","text/html")], responseBody = "Request forbidden by administrative rules. Please make sure your request has a User-Agent header (http://developer.github.com/v3/#user-agent-required). Check https://developer.github.com for other possible causes.\n", responseCookieJar = CJ {expose = []}, responseClose' = ResponseClose}

[agsh]

Это связанные проблемы. Можно поставить тайм-аут между запросами, а можно ограничиться шестьюдесями)

…

On 13 May 2017 23:53, "dmitry" ***@***.***> wrote: Чтобы решить проблему, я попробовал использовать github api Там сказано делать такой запрос withSocketsDo $ simpleHttp ("https://api.github.com/orgs/Microsoft/members ") Тут тоже надо получить 112 страниц и возникает две проблемы: 1. https://developer.github.com/v3/#rate-limiting -- если не авторизованные запросы, то тоже нельзя больше 60 2. для проблема haskell - user-agent Response {responseStatus = Status {statusCode = 403, statusMessage = "Forbidden"}, responseVersion = HTTP/1.0, responseHeaders = [("Cache-Control","no-cache"),("Connection","close"),("Content-Type","text/html")], responseBody = "Request forbidden by administrative rules. Please make sure your request has a User-Agent header (http://developer.github.com/ v3/#user-agent-required). Check https://developer.github.com for other possible causes.\n", responseCookieJar = CJ {expose = []}, responseClose' = ResponseClose} — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub <#10 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AAjLB9_ZuySAVBViENt7rYVed-scWYTyks5r5hhegaJpZM4NaF6b> .

[ulyanin]

А есть ли какой-то красивый способ вставлять таймаут между операциями?

Ну, например, у меня есть список юзеров, я делю их на кусочки по 40 (эмпирическая константа), затем для каждого кусочка что-то делаю (для этого подргужается 40 страниц, после каждой загрузки сплю пол секунды), затем мне надо сделать это для каждого кусочка и с конкатенировать. А между кусочками поспать секунд 30. (Иначе -- to many requests)

Ключевое слово -- между, ведь если кусочек один и он небольшой (< 40), то спать 30 секунд не нужно, нужно поспать именно между операциями.