Русский / Russian English / Английский

Сейчас на форуме: soft (+4 невидимых)
 · Начало · Статистика · Регистрация · Поиск · ПРАВИЛА ФОРУМА · Язык · RSS ·

 eXeL@B —› Оффтоп —› github - Поточное скачивание
Посл.ответ Сообщение


Ранг: 666.4 (! !)
Статус: Участник
CyberMonk

Создано: 5 декабря 2019 13:54 New!
Цитата · Личное сообщение · #1

Тема ..

Может кто уже сталкивался, нужно скачать примерно 6000 репозиториев, по результату поиска, т.е. пропарсить ответ, а потом скачать последний мастер зип архив. Эти проекты носят технический характер в области обработки визуальной информации, т.е. это не тупо жадность, давай сразу и всё .. другими словами, здесь не обойтись без скачивания

Не встречали ли Вы скрипты или программы для автоматизации этого процесса?!


Ранг: 54.5 (постоянный)
Статус: Участник

Создано: 5 декабря 2019 14:34 New!
Цитата · Личное сообщение · #2

mak пишет:
Не встречали ли Вы скрипты или программы для автоматизации этого процесса?!

телепорт про ?

Добавлено спустя 4 минуты
и еще есть миллионы программ для поиска на разных сайтах называются парсеры можно взять на античате например ,подправить hex в нутрях адрес сайта и готовый инструмент я бы так сделал.если нет готового профессионального П0 который можно найти на фри софт например


Ранг: 666.4 (! !)
Статус: Участник
CyberMonk

Создано: 5 декабря 2019 14:52 New!
Цитата · Личное сообщение · #3

SDK пишет:
телепорт про ?


Если ссылку поиска как старт сразу задать, наверное всё спарсит, тогда следующий затык .. ограничение в 100 страниц, а это 1000 проектов. Я думал это можно через github апи сделать, но опыта в этом нет, может есть уже что-то готовое ..


Ранг: 54.5 (постоянный)
Статус: Участник

Создано: 5 декабря 2019 15:12 New!
Цитата · Личное сообщение · #4

https://a-parser.com/resources/359/ что типа этого наверно из готового я бы попробовал демо версию может этого и хватит на 1 задачу


Ранг: 603.8 (!)
Статус: Модератор
Research & Development

Создано: 7 декабря 2019 23:38 New!
Цитата · Личное сообщение · #5

mak
Если дружишь с питоном, посмотри --> PyGithub <--

Глянь примеры: --> PyGithub Examples <--

| Сообщение посчитали полезным: mak



Ранг: 666.4 (! !)
Статус: Участник
CyberMonk

Создано: 8 декабря 2019 15:16 New!
Цитата · Личное сообщение · #6

Jupiter

Спасибо, удобный врапер, но там глобально не больше 1000 ..

There is a limit of 1000 results per search
--> https://github.com/PyGithub/PyGithub/issues/824 <--

GitHub Developer - REST API v3
The Search API helps you search for the specific item you want to find. For example, you can find a user or a specific file in a repository. Think of it the way you think of performing a search on Google. It's designed to help you find the one result you're looking for (or maybe the few results you're looking for). Just like searching on Google, you sometimes want to see a few pages of search results so that you can find the item that best meets your needs. To satisfy that need, the GitHub Search API provides up to 1,000 results for each search.
--> https://developer.github.com/v3/search/ <--

Решение можно найти обходными путями - --> Link <--, кто-то целые анализаторы пишет - Analyzing 🔝 20k Github Repositories - --> Link <--

Апи на гитхабе не такие сложные, можно и программу написать. Имея все линки, легко любой качалкой закачать всё одним махом. Буду смотреть ...
 eXeL@B —› Оффтоп —› github - Поточное скачивание

У вас должно быть 20 пунктов ранга, чтобы оставлять сообщения в этом подфоруме, но у вас только 0


Видеокурс ВЗЛОМ