Если вам нравится SbUP Форум, вы можете поддержать его - BTC: bc1qppjcl3c2cyjazy6lepmrv3fh6ke9mxs7zpfky0 , TRC20 и ещё....

 

Кластеризатор ключевых слов - как сделать?

Автор shokerwin, 10-05-2019, 13:04:35

« назад - далее »

goryaninn

НА офф.сайте keyassort 50000 запросов это не проблема http://joxi.ru/MAjNMZXijZ8WYA, может дело в настройках, используемых proxy...


s-mouse

Нужно:

купить пул прокси/ротацию IPv6, чтобы API-лимиты не сгорели;
распараллелить парсинг в очереди (Redis + Celery);
кластерить на GPU (RAPIDS cuML или Faiss), это экономит время;
кешировать в SQLite/ClickHouse, чтобы не дублировать запросы.
  •  



Если вам нравится SbUP Форум, вы можете поддержать его - BTC: bc1qppjcl3c2cyjazy6lepmrv3fh6ke9mxs7zpfky0 , TRC20 и ещё....