1

As I know, we can do web scraping in multiple ways:

1- using simple requests and bs4

in cases that there are scripts in the source of the web page:

2- using Selenium and bs4

3- using PhantomJS

Here I am trying to scrape https://zenitbet.com/en/line/football

I knew that first approach wouldn't work, but PhantomJS didn't work either. in this link I need the <table> tags. But I can't get at all. Can anyone help?

My code:

from selenium import webdriver
from bs4 import BeautifulSoup
url = 'https://zenitbet.com/en/line/football'

driver = webdriver.PhantomJS(executable_path='<the_path>')
driver.get(url)
soup2 = BeautifulSoup(driver.page_source, 'html.parser')
driver.quit()

in the output, the main parts of the page which are the bet boxes, can't be found

Reza Ghari
  • 52
  • 7
  • 1
    Have a look at this - https://stackoverflow.com/questions/2935658/beautifulsoup-get-the-contents-of-a-specific-table – AzyCrw4282 Sep 04 '20 at 03:17

1 Answers1

1

I had success using selenium to render the page, then simply read the html with pandas to get the tables.

from selenium import webdriver
import pandas as pd
url = 'https://zenitbet.com/en/line/football'

driver = webdriver.Chrome('C:/chromedriver_win32/chromedriver.exe')
driver.get(url)

dfs = pd.read_html(driver.page_source)

driver.quit()

Output:

for df in dfs:
    print (df)


         Футбол. Сборные. Лига наций УЕФА. Лига A  ...                    
                                          Событие  ... Unnamed: 19_level_1
0        Матч! Футбол 104/09 19:45Италия - Босния  ...                 NaN
1           Матч ТВ04/09 19:45Нидерланды - Польша  ...                 NaN
2             Матч ТВ05/09 17:00Исландия - Англия  ...                 NaN
3        Матч! Футбол 305/09 19:45Дания - Бельгия  ...                 NaN
4         Матч ТВ05/09 19:45Португалия - Хорватия  ...                 NaN
5       Матч! Футбол 205/09 19:45Швеция - Франция  ...                 NaN
6             Матч ТВ06/09 19:45Испания - Украина  ...                 NaN
7   Матч! Футбол 106/09 19:45Швейцария - Германия  ...                 NaN
8                      07/09 19:45Босния - Польша  ...                 NaN
9           Матч ТВ07/09 19:45Нидерланды - Италия  ...                 NaN
10    Матч! Футбол 308/09 19:45Бельгия - Исландия  ...                 NaN
11                      08/09 19:45Дания - Англия  ...                 NaN
12           Матч ТВ08/09 19:45Франция - Хорватия  ...                 NaN
13                 08/09 19:45Швеция - Португалия  ...                 NaN

[14 rows x 20 columns]
   Футбол. Сборные. Лига наций УЕФА. Лига A. Статистические данные  ...                    
                                                           Событие  ... Unnamed: 19_level_1
0        04/09 19:45Италия % вл мяч - Босния % вл мяч               ...                 NaN
1                  04/09 19:45Италия угл - Босния угл               ...                 NaN
2                  04/09 19:45Италия ж/к - Босния ж/к               ...                 NaN
3          04/09 19:45Италия уд в ст - Босния уд в ст               ...                 NaN
4                04/09 19:45Италия фолы - Босния фолы               ...                 NaN
5                  04/09 19:45Италия офс - Босния офс               ...                 NaN
6   04/09 19:45Италия уд по воротам - Босния уд по...               ...                 NaN
7                04/09 19:45Италия ауты - Босния ауты               ...                 NaN
8              04/09 19:45Италия сэйвы - Босния сэйвы               ...                 NaN
9    04/09 19:45Нидерланды % вл мяч - Польша % вл мяч               ...                 NaN
10             04/09 19:45Нидерланды угл - Польша угл               ...                 NaN
11             04/09 19:45Нидерланды ж/к - Польша ж/к               ...                 NaN
12     04/09 19:45Нидерланды уд в ст - Польша уд в ст               ...                 NaN
13           04/09 19:45Нидерланды фолы - Польша фолы               ...                 NaN
14             04/09 19:45Нидерланды офс - Польша офс               ...                 NaN
15  04/09 19:45Нидерланды уд по воротам - Польша у...               ...                 NaN
16           04/09 19:45Нидерланды ауты - Польша ауты               ...                 NaN
17         04/09 19:45Нидерланды сэйвы - Польша сэйвы               ...                 NaN
18               05/09 17:00Исландия ж/к - Англия ж/к               ...                 NaN
19               05/09 17:00Исландия угл - Англия угл               ...                 NaN

[20 rows x 20 columns]
       Футбол. Сборные. Лига наций УЕФА. Лига B  ...                    
                                        Событие  ... Unnamed: 19_level_1
0   Матч! Футбол 204/09 19:45Норвегия - Австрия  ...                 NaN
1             04/09 19:45Румыния - Сев Ирландия  ...                 NaN
2     Матч! Футбол 304/09 19:45Словакия - Чехия  ...                 NaN
3                04/09 19:45Шотландия - Израиль  ...                 NaN
4     Матч! Футбол 106/09 14:00Уэльс - Болгария  ...                 NaN
5             Первый06/09 17:00Венгрия - Россия  ...                 NaN
6        Матч ТВ06/09 17:00Ирландия - Финляндия  ...                 NaN
7      Матч! Футбол 206/09 19:45Сербия - Турция  ...                 NaN
8                  07/09 19:45Австрия - Румыния  ...                 NaN
9                 07/09 19:45Израиль - Словакия  ...                 NaN
10           07/09 19:45Сев Ирландия - Норвегия  ...                 NaN
11                 07/09 19:45Чехия - Шотландия  ...                 NaN

[12 rows x 20 columns]
  Футбол. Сборные. Лига наций УЕФА. Лига B. Статистические данные  ...                    
                                                          Событие  ... Unnamed: 19_level_1
0    04/09 19:45Норвегия % вл мяч - Австрия % вл мяч               ...                 NaN
1            04/09 19:45Норвегия ауты - Австрия ауты               ...                 NaN
2              04/09 19:45Норвегия ж/к - Австрия ж/к               ...                 NaN

[3 rows x 20 columns]
chitown88
  • 27,527
  • 4
  • 30
  • 59
  • Thank you very much my friend. But I don't know why this method doesn't work with PhantomJS which is headless. Chrome driver being opened, takes time. any experience? by "doesn't work" I mean ```ValueError: No tables found``` – Reza Ghari Sep 07 '20 at 22:01
  • No tables found means there are no tags in the html. So likely the tables aren’t rendered when you’re getting the html source code
     – chitown88 Sep 08 '20 at 04:52