Эта проблема происходит, потому что веб-сайт, который вы хотите очистить, использует Javascript для рендеринга его содержимого, и в основном пауки не могут выполнять код javascript, у которого нет механизма, который может действительно интерпретировать его, и для этой цели команда ScrapingHub создала плагин, называемый всплеск .
Вы можете проверить это со своей официальной страницы github: Github