kw_tools/hhh/hhh_fetch_gap20.py

from typing import NoReturn
from selenium import webdriver
import time
import networkx as nx
import dataset
import pickle
import codecs
from selenium.webdriver.common import keys
from selenium.webdriver.common.keys import Keys
import sys
import os
import time
import re
import pandas as pd
import df2sheet
from browser_common import JBrowser
import datetime
import dataset

db = dataset.connect('mysql://choozmo:pAssw0rd@db.ptt.cx:3306/hhh?charset=utf8mb4')

table=db['gap20v7']
def find_master_by_designer(masters,designer):
    for m in masters:
        if m['designer']==designer:
            return m


def get_designer_statistics(kw):
    global db
    global table
    jb=JBrowser()
    jb.set_profile_path("Profile 7")

    details=[]
    masters=[]

    if True:
        googleurl='https://www.google.com/search?q='+kw

        jb.get(googleurl)

        driver=jb.get_driver()
        time.sleep(3)


#        elmts=driver.find_elements_by_xpath("//div[@class='g']//div[@class='yuRUbf']//a")
        elmts=driver.find_elements_by_xpath("//div[@class='TbwUpd NJjxre']/cite")
#        print(elmts)
#        time.sleep(9999)


        idx=1
        ranking=-1
        searchhome=-1
        hhh=-1
        com100=-1
        txt=None
        href=None
        for elmt in elmts:
#            href=elmt.get_attribute('href')
            elmt_titl3=elmt.find_element_by_xpath("../..//h3")
            elmt_href=elmt.find_element_by_xpath("../..")
#            elmt_href=elmt_titl3.find_element_by_xpath("..")

            print(elmt_titl3.text)
            print(elmt_href.text)
            print(elmt_href.get_attribute('href'))
            table.insert({'title':elmt_titl3.text,'href':elmt_href.get_attribute('href'),'kw':kw.replace(' site:hhh.com.tw','')})
            txt=elmt_titl3.text
            href=elmt_href.text

#            time.sleep(9999)
#            if len(txt)>2:
            if not ('google.com' in href):

                if '100.com' in href:
                    com100=idx

                if 'searchome' in href:
                    searchhome=idx

                if 'hhh.com.tw' in href:
                    print(href)

                print(href)
                print(txt)
                idx+=1

#        time.sleep(9999)

        time.sleep(3)


qlist=[]


#get_designer_statistics("化妝 台 設計 site:hhh.com.tw")
#get_designer_statistics("油漆 顏色 site:hhh.com.tw")
#get_designer_statistics("牆壁 裝飾 site:hhh.com.tw")
#get_designer_statistics("主 臥室 設計 site:hhh.com.tw")
#get_designer_statistics("套房 裝潢 site:hhh.com.tw")
#get_designer_statistics("商業 空間 設計 site:hhh.com.tw")
#get_designer_statistics("台南 室內 設計 site:hhh.com.tw")
#get_designer_statistics("電視 牆 設計 作品 site:hhh.com.tw")
#get_designer_statistics("臥室 裝潢 site:hhh.com.tw")
get_designer_statistics("衛浴 設計 site:hhh.com.tw")



#get_designer_statistics("北歐 風 site:hhh.com.tw")
#get_designer_statistics("設計 site:hhh.com.tw")
#get_designer_statistics("工業 風 site:hhh.com.tw")
#get_designer_statistics("客厅 設計 site:hhh.com.tw")
#get_designer_statistics("衣櫃 設計 site:hhh.com.tw")



#get_designer_statistics("室內 設計 師 site:hhh.com.tw")
#get_designer_statistics("天花板 設計 site:hhh.com.tw")
#get_designer_statistics("平面 設計 圖 site:hhh.com.tw")
#get_designer_statistics("天花板 裝潢 site:hhh.com.tw")
#get_designer_statistics("2 坪 小 房間 佈置 site:hhh.com.tw")

#get_designer_statistics("浴室 裝潢 site:hhh.com.tw")
#get_designer_statistics("推薦 室內 設計 師 site:hhh.com.tw")
#get_designer_statistics("設計 圖 site:hhh.com.tw")
#get_designer_statistics("台北 室內 設計 師 site:hhh.com.tw")
#get_designer_statistics("工業 風 天花板 site:hhh.com.tw")

#get_designer_statistics("店面 設計 site:hhh.com.tw")
#get_designer_statistics("廁所 裝潢 site:hhh.com.tw")
#get_designer_statistics("建築 設計 site:hhh.com.tw")
#get_designer_statistics("油漆 顏色 site:hhh.com.tw")
#get_designer_statistics("牆壁 裝飾 site:hhh.com.tw")

#get_designer_statistics("室內 設計 apps site:hhh.com.tw")
#get_designer_statistics("住宅 空間 設計 apps site:hhh.com.tw")
#get_designer_statistics("住宅 設計 site:hhh.com.tw")
#get_designer_statistics("衛浴 設計 site:hhh.com.tw")
#get_designer_statistics("牆 面 設計 site:hhh.com.tw")

#get_designer_statistics("小 浴室 設計 實例 site:hhh.com.tw")
#get_designer_statistics("文化 石 牆 site:hhh.com.tw")
#get_designer_statistics("愛 菲 爾 系統 家具 site:hhh.com.tw")
#get_designer_statistics("泥 作 site:hhh.com.tw")
#get_designer_statistics("推薦 室內 設計 site:hhh.com.tw")

#get_designer_statistics("住家 設計 site:hhh.com.tw")
#get_designer_statistics("設計 100 site:hhh.com.tw")
#get_designer_statistics("台北 推薦 室內 設計 site:hhh.com.tw")
#get_designer_statistics("台北 推薦 室內 設計 師 site:hhh.com.tw")
#get_designer_statistics("浴室 裝修 site:hhh.com.tw")

#get_designer_statistics("近 境 製作 site:hhh.com.tw")
#get_designer_statistics("北歐 風格 site:hhh.com.tw")
#get_designer_statistics("1 坪 浴室 設計 site:hhh.com.tw")
#get_designer_statistics("裝修 site:hhh.com.tw")
#get_designer_statistics("室內 設計 平面圖 site:hhh.com.tw")

#get_designer_statistics("好 室 設計 site:hhh.com.tw")
#get_designer_statistics("系統 家具 推薦 site:hhh.com.tw")
#get_designer_statistics("店面 裝潢 site:hhh.com.tw")
#get_designer_statistics("系統 櫃 設計 site:hhh.com.tw")
#get_designer_statistics("神明 廳 設計 site:hhh.com.tw")


#get_designer_statistics("工業 風 客廳 site:hhh.com.tw")
#get_designer_statistics("房間 顏色 site:hhh.com.tw")
#get_designer_statistics("輕 裝潢 site:hhh.com.tw")
#get_designer_statistics("大雄 設計 site:hhh.com.tw")
#get_designer_statistics("透 天 客廳 裝潢 site:hhh.com.tw")

#get_designer_statistics("房間 油漆 site:hhh.com.tw")
#get_designer_statistics("衣櫃 設計 圖 site:hhh.com.tw")
#get_designer_statistics("小 店面 設計 site:hhh.com.tw")
#get_designer_statistics("小坪 數 浴室 設計 site:hhh.com.tw")
#get_designer_statistics("辦公室 裝潢 site:hhh.com.tw")

#get_designer_statistics("簡約 工業 風 site:hhh.com.tw")
#get_designer_statistics("簡約 風 site:hhh.com.tw")
#get_designer_statistics("室內 平面 設計 圖 site:hhh.com.tw")
#get_designer_statistics("室內 平面圖 site:hhh.com.tw")
#get_designer_statistics("臥室 佈置 site:hhh.com.tw")

#get_designer_statistics("現代 神明 桌 site:hhh.com.tw")
#get_designer_statistics("層 板 設計 site:hhh.com.tw")
#get_designer_statistics("臥榻 設計 site:hhh.com.tw")
#get_designer_statistics("牆壁 顏色 site:hhh.com.tw")
#get_designer_statistics("居家 布置 site:hhh.com.tw")

#get_designer_statistics("夾層 設計 site:hhh.com.tw")
#get_designer_statistics("安 德 康 site:hhh.com.tw")
#get_designer_statistics("小坪 數 套房 設計 site:hhh.com.tw")
#get_designer_statistics("無印 風 裝潢 site:hhh.com.tw")
#get_designer_statistics("小坪 數 房間 改造 site:hhh.com.tw")

#get_designer_statistics("小坪 數 浴室 設計 site:hhh.com.tw")
#get_designer_statistics("居家 佈置 site:hhh.com.tw")
#get_designer_statistics("小 房間 改造 site:hhh.com.tw")
#get_designer_statistics("辦公室 裝潢 site:hhh.com.tw")
#get_designer_statistics("小坪 數 中島 廚房 site:hhh.com.tw")

#get_designer_statistics("臥室 布置 site:hhh.com.tw")
#get_designer_statistics("3 坪 房間 設計 site:hhh.com.tw")
#get_designer_statistics("mobile01 裝潢 site:hhh.com.tw")
#get_designer_statistics("台中 系統 櫃 site:hhh.com.tw")
#get_designer_statistics("設計 工作 室 site:hhh.com.tw")

#get_designer_statistics("家具 設計 site:hhh.com.tw")
#get_designer_statistics("小坪 數 房間 裝潢 site:hhh.com.tw")
#get_designer_statistics("工作 室 設計 site:hhh.com.tw")
#get_designer_statistics("建築 設計 圖 site:hhh.com.tw")
#get_designer_statistics("小 房間 裝潢 site:hhh.com.tw")

#get_designer_statistics("小 玄 關 設計 site:hhh.com.tw")
#get_designer_statistics("布置 房間 site:hhh.com.tw")
#get_designer_statistics("傢俱 設計 site:hhh.com.tw")
#get_designer_statistics("北歐 風 臥室 site:hhh.com.tw")
#get_designer_statistics("地板 磁 磚 價格 site:hhh.com.tw")

#get_designer_statistics("地板 磁 磚 價格 site:hhh.com.tw")
#get_designer_statistics("l 型 廚房 site:hhh.com.tw")
#get_designer_statistics("佈置 房間 site:hhh.com.tw")
#get_designer_statistics("小坪 數 房間 site:hhh.com.tw")
#get_designer_statistics("房間 風格 site:hhh.com.tw")

#get_designer_statistics("嘉義 室內 設計 site:hhh.com.tw")
#get_designer_statistics("無印 風 客廳 site:hhh.com.tw")
#get_designer_statistics("牆 面 裝飾 site:hhh.com.tw")
#get_designer_statistics("臥榻 櫃 site:hhh.com.tw")
#get_designer_statistics("工業 風 辦公室 site:hhh.com.tw")

#get_designer_statistics("小坪 數 浴室 乾 濕 分離 site:hhh.com.tw")
#get_designer_statistics("電視 牆 收納 櫃 site:hhh.com.tw")



#get_designer_statistics("拉 門 site:hhh.com.tw")
#get_designer_statistics("房間 佈置 site:hhh.com.tw")
#get_designer_statistics("房間 布置 site:hhh.com.tw")
#get_designer_statistics("臥榻 site:hhh.com.tw")
#get_designer_statistics("卧榻 site:hhh.com.tw")


#get_designer_statistics("廚房 吊 櫃 site:hhh.com.tw")
#get_designer_statistics("浴室 設計 site:hhh.com.tw")
#get_designer_statistics("廁所 設計 site:hhh.com.tw")
#get_designer_statistics("中島 廚房 site:hhh.com.tw")
#get_designer_statistics("裝潢 費用 site:hhh.com.tw")


#get_designer_statistics("小 房間 設計 site:hhh.com.tw")
#get_designer_statistics("北歐 風 客廳 site:hhh.com.tw")
#get_designer_statistics("小坪 數 房間 設計 site:hhh.com.tw")
#get_designer_statistics("鞋 柜 設計 site:hhh.com.tw")
#get_designer_statistics("餐廳 設計 site:hhh.com.tw")


#get_designer_statistics("拉 門 設計 site:hhh.com.tw")
#get_designer_statistics("毛坯 屋 site:hhh.com.tw")
#get_designer_statistics("辦公室 設計 site:hhh.com.tw")
#get_designer_statistics("毛玻璃 拉 門 site:hhh.com.tw")
#get_designer_statistics("鞋 櫃 設計 site:hhh.com.tw")


#get_designer_statistics("床 頭 衣櫃 設計 site:hhh.com.tw")
#get_designer_statistics("透 天 裝潢 site:hhh.com.tw")
#get_designer_statistics("屏風 設計 site:hhh.com.tw")
#get_designer_statistics("隔 間 拉 門 site:hhh.com.tw")
#get_designer_statistics("玻璃 隔 間 site:hhh.com.tw")


#get_designer_statistics("玻璃 隔 間 site:hhh.com.tw")