Home Explore Help
Register Sign In
choozmo
/
kw_tools
2
0
Fork 1
Files Issues 0 Pull Requests 0 Wiki
Tree: 8771c09615
Branches Tags
kw_tools
/
hhh
/
hhh_fetch_gap20.py

hhh_fetch_gap20.py 9.9 KB
History Raw

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260 
  1. from typing import NoReturn
    2. 

  2. from selenium import webdriver
    3. 

  3. import time
    4. 

  4. import networkx as nx
    5. 

  5. import dataset
    6. 

  6. import pickle
    7. 

  7. import codecs
    8. 

  8. from selenium.webdriver.common import keys
    9. 

  9. from selenium.webdriver.common.keys import Keys
    10. 

  10. import sys
    11. 

  11. import os
    12. 

  12. import time
    13. 

  13. import re
    14. 

  14. import pandas as pd
    15. 

  15. import df2sheet
    16. 

  16. from browser_common import JBrowser
    17. 

  17. import datetime
    18. 

  18. import dataset
    19. 

  19. 

  20. db = dataset.connect('mysql://choozmo:pAssw0rd@db.ptt.cx:3306/hhh?charset=utf8mb4')
    21. 

  21. 

  22. table=db['gap20v6']
    23. 

  23. def find_master_by_designer(masters,designer):
    24. 

  24.     for m in masters:
    25. 

  25.         if m['designer']==designer:
    26. 

  26.             return m
    27. 

  27. 

  28. 

  29. def get_designer_statistics(kw):
    30. 

  30.     global db
    31. 

  31.     global table
    32. 

  32.     jb=JBrowser()
    33. 

  33.     jb.set_profile_path("Profile 7")
    34. 

  34. 

  35.     details=[]
    36. 

  36.     masters=[]
    37. 

  37. 

  38.     if True:
    39. 

  39.         googleurl='https://www.google.com/search?q='+kw
    40. 

  40. 

  41.         jb.get(googleurl)
    42. 

  42. 

  43.         driver=jb.get_driver()
    44. 

  44.         time.sleep(3)
    45. 

  45. 

  46. 

  47. #        elmts=driver.find_elements_by_xpath("//div[@class='g']//div[@class='yuRUbf']//a")
    48. 

  48.         elmts=driver.find_elements_by_xpath("//div[@class='TbwUpd NJjxre']/cite")
    49. 

  49. #        print(elmts)
    50. 

  50. #        time.sleep(9999)
    51. 

  51. 

  52. 

  53.         idx=1
    54. 

  54.         ranking=-1
    55. 

  55.         searchhome=-1
    56. 

  56.         hhh=-1
    57. 

  57.         com100=-1
    58. 

  58.         txt=None
    59. 

  59.         href=None
    60. 

  60.         for elmt in elmts:
    61. 

  61. #            href=elmt.get_attribute('href')
    62. 

  62.             elmt_titl3=elmt.find_element_by_xpath("../..//h3")
    63. 

  63.             elmt_href=elmt.find_element_by_xpath("../..")
    64. 

  64. #            elmt_href=elmt_titl3.find_element_by_xpath("..")
    65. 

  65. 

  66.             print(elmt_titl3.text)
    67. 

  67.             print(elmt_href.text)
    68. 

  68.             print(elmt_href.get_attribute('href'))
    69. 

  69.             table.insert({'title':elmt_titl3.text,'href':elmt_href.get_attribute('href'),'kw':kw.replace(' site:hhh.com.tw','')})
    70. 

  70.             txt=elmt_titl3.text
    71. 

  71.             href=elmt_href.text
    72. 

  72. 

  73. #            time.sleep(9999)
    74. 

  74. #            if len(txt)>2:
    75. 

  75.             if not ('google.com' in href):
    76. 

  76. 

  77.                 if '100.com' in href:
    78. 

  78.                     com100=idx
    79. 

  79. 

  80.                 if 'searchome' in href:
    81. 

  81.                     searchhome=idx
    82. 

  82. 

  83.                 if 'hhh.com.tw' in href:
    84. 

  84.                     print(href)
    85. 

  85. 

  86.                 print(href)
    87. 

  87.                 print(txt)
    88. 

  88.                 idx+=1
    89. 

  89. 

  90. #        time.sleep(9999)
    91. 

  91. 

  92.         time.sleep(3)
    93. 

  93. 

  94. 

  95. qlist=[]
    96. 

  96. #get_designer_statistics("北歐 風 site:hhh.com.tw")
    97. 

  97. #get_designer_statistics("設計 site:hhh.com.tw")
    98. 

  98. #get_designer_statistics("工業 風 site:hhh.com.tw")
    99. 

  99. #get_designer_statistics("客厅 設計 site:hhh.com.tw")
    100. 

  100. #get_designer_statistics("衣櫃 設計 site:hhh.com.tw")
    101. 

  101. 

  102. 

  103. 

  104. #get_designer_statistics("室內 設計 師 site:hhh.com.tw")
    105. 

  105. #get_designer_statistics("天花板 設計 site:hhh.com.tw")
    106. 

  106. #get_designer_statistics("平面 設計 圖 site:hhh.com.tw")
    107. 

  107. #get_designer_statistics("天花板 裝潢 site:hhh.com.tw")
    108. 

  108. #get_designer_statistics("2 坪 小 房間 佈置 site:hhh.com.tw")
    109. 

  109. 

  110. #get_designer_statistics("浴室 裝潢 site:hhh.com.tw")
    111. 

  111. #get_designer_statistics("推薦 室內 設計 師 site:hhh.com.tw")
    112. 

  112. #get_designer_statistics("設計 圖 site:hhh.com.tw")
    113. 

  113. #get_designer_statistics("台北 室內 設計 師 site:hhh.com.tw")
    114. 

  114. #get_designer_statistics("工業 風 天花板 site:hhh.com.tw")
    115. 

  115. 

  116. #get_designer_statistics("店面 設計 site:hhh.com.tw")
    117. 

  117. #get_designer_statistics("廁所 裝潢 site:hhh.com.tw")
    118. 

  118. #get_designer_statistics("建築 設計 site:hhh.com.tw")
    119. 

  119. #get_designer_statistics("油漆 顏色 site:hhh.com.tw")
    120. 

  120. #get_designer_statistics("牆壁 裝飾 site:hhh.com.tw")
    121. 

  121. 

  122. #get_designer_statistics("室內 設計 apps site:hhh.com.tw")
    123. 

  123. #get_designer_statistics("住宅 空間 設計 apps site:hhh.com.tw")
    124. 

  124. #get_designer_statistics("住宅 設計 site:hhh.com.tw")
    125. 

  125. #get_designer_statistics("衛浴 設計 site:hhh.com.tw")
    126. 

  126. #get_designer_statistics("牆 面 設計 site:hhh.com.tw")
    127. 

  127. 

  128. #get_designer_statistics("小 浴室 設計 實例 site:hhh.com.tw")
    129. 

  129. #get_designer_statistics("文化 石 牆 site:hhh.com.tw")
    130. 

  130. #get_designer_statistics("愛 菲 爾 系統 家具 site:hhh.com.tw")
    131. 

  131. #get_designer_statistics("泥 作 site:hhh.com.tw")
    132. 

  132. #get_designer_statistics("推薦 室內 設計 site:hhh.com.tw")
    133. 

  133. 

  134. #get_designer_statistics("住家 設計 site:hhh.com.tw")
    135. 

  135. #get_designer_statistics("設計 100 site:hhh.com.tw")
    136. 

  136. #get_designer_statistics("台北 推薦 室內 設計 site:hhh.com.tw")
    137. 

  137. #get_designer_statistics("台北 推薦 室內 設計 師 site:hhh.com.tw")
    138. 

  138. #get_designer_statistics("浴室 裝修 site:hhh.com.tw")
    139. 

  139. 

  140. #get_designer_statistics("近 境 製作 site:hhh.com.tw")
    141. 

  141. #get_designer_statistics("北歐 風格 site:hhh.com.tw")
    142. 

  142. #get_designer_statistics("1 坪 浴室 設計 site:hhh.com.tw")
    143. 

  143. #get_designer_statistics("裝修 site:hhh.com.tw")
    144. 

  144. #get_designer_statistics("室內 設計 平面圖 site:hhh.com.tw")
    145. 

  145. 

  146. #get_designer_statistics("好 室 設計 site:hhh.com.tw")
    147. 

  147. #get_designer_statistics("系統 家具 推薦 site:hhh.com.tw")
    148. 

  148. #get_designer_statistics("店面 裝潢 site:hhh.com.tw")
    149. 

  149. #get_designer_statistics("系統 櫃 設計 site:hhh.com.tw")
    150. 

  150. #get_designer_statistics("神明 廳 設計 site:hhh.com.tw")
    151. 

  151. 

  152. 

  153. #get_designer_statistics("工業 風 客廳 site:hhh.com.tw")
    154. 

  154. #get_designer_statistics("房間 顏色 site:hhh.com.tw")
    155. 

  155. #get_designer_statistics("輕 裝潢 site:hhh.com.tw")
    156. 

  156. #get_designer_statistics("大雄 設計 site:hhh.com.tw")
    157. 

  157. #get_designer_statistics("透 天 客廳 裝潢 site:hhh.com.tw")
    158. 

  158. 

  159. #get_designer_statistics("房間 油漆 site:hhh.com.tw")
    160. 

  160. #get_designer_statistics("衣櫃 設計 圖 site:hhh.com.tw")
    161. 

  161. #get_designer_statistics("小 店面 設計 site:hhh.com.tw")
    162. 

  162. #get_designer_statistics("小坪 數 浴室 設計 site:hhh.com.tw")
    163. 

  163. #get_designer_statistics("辦公室 裝潢 site:hhh.com.tw")
    164. 

  164. 

  165. #get_designer_statistics("簡約 工業 風 site:hhh.com.tw")
    166. 

  166. #get_designer_statistics("簡約 風 site:hhh.com.tw")
    167. 

  167. #get_designer_statistics("室內 平面 設計 圖 site:hhh.com.tw")
    168. 

  168. #get_designer_statistics("室內 平面圖 site:hhh.com.tw")
    169. 

  169. #get_designer_statistics("臥室 佈置 site:hhh.com.tw")
    170. 

  170. 

  171. #get_designer_statistics("現代 神明 桌 site:hhh.com.tw")
    172. 

  172. #get_designer_statistics("層 板 設計 site:hhh.com.tw")
    173. 

  173. #get_designer_statistics("臥榻 設計 site:hhh.com.tw")
    174. 

  174. #get_designer_statistics("牆壁 顏色 site:hhh.com.tw")
    175. 

  175. #get_designer_statistics("居家 布置 site:hhh.com.tw")
    176. 

  176. 

  177. #get_designer_statistics("夾層 設計 site:hhh.com.tw")
    178. 

  178. #get_designer_statistics("安 德 康 site:hhh.com.tw")
    179. 

  179. #get_designer_statistics("小坪 數 套房 設計 site:hhh.com.tw")
    180. 

  180. #get_designer_statistics("無印 風 裝潢 site:hhh.com.tw")
    181. 

  181. #get_designer_statistics("小坪 數 房間 改造 site:hhh.com.tw")
    182. 

  182. 

  183. #get_designer_statistics("小坪 數 浴室 設計 site:hhh.com.tw")
    184. 

  184. #get_designer_statistics("居家 佈置 site:hhh.com.tw")
    185. 

  185. #get_designer_statistics("小 房間 改造 site:hhh.com.tw")
    186. 

  186. #get_designer_statistics("辦公室 裝潢 site:hhh.com.tw")
    187. 

  187. #get_designer_statistics("小坪 數 中島 廚房 site:hhh.com.tw")
    188. 

  188. 

  189. #get_designer_statistics("臥室 布置 site:hhh.com.tw")
    190. 

  190. #get_designer_statistics("3 坪 房間 設計 site:hhh.com.tw")
    191. 

  191. #get_designer_statistics("mobile01 裝潢 site:hhh.com.tw")
    192. 

  192. #get_designer_statistics("台中 系統 櫃 site:hhh.com.tw")
    193. 

  193. #get_designer_statistics("設計 工作 室 site:hhh.com.tw")
    194. 

  194. 

  195. #get_designer_statistics("家具 設計 site:hhh.com.tw")
    196. 

  196. #get_designer_statistics("小坪 數 房間 裝潢 site:hhh.com.tw")
    197. 

  197. #get_designer_statistics("工作 室 設計 site:hhh.com.tw")
    198. 

  198. #get_designer_statistics("建築 設計 圖 site:hhh.com.tw")
    199. 

  199. #get_designer_statistics("小 房間 裝潢 site:hhh.com.tw")
    200. 

  200. 

  201. #get_designer_statistics("小 玄 關 設計 site:hhh.com.tw")
    202. 

  202. #get_designer_statistics("布置 房間 site:hhh.com.tw")
    203. 

  203. #get_designer_statistics("傢俱 設計 site:hhh.com.tw")
    204. 

  204. #get_designer_statistics("北歐 風 臥室 site:hhh.com.tw")
    205. 

  205. #get_designer_statistics("地板 磁 磚 價格 site:hhh.com.tw")
    206. 

  206. 

  207. #get_designer_statistics("地板 磁 磚 價格 site:hhh.com.tw")
    208. 

  208. #get_designer_statistics("l 型 廚房 site:hhh.com.tw")
    209. 

  209. #get_designer_statistics("佈置 房間 site:hhh.com.tw")
    210. 

  210. #get_designer_statistics("小坪 數 房間 site:hhh.com.tw")
    211. 

  211. #get_designer_statistics("房間 風格 site:hhh.com.tw")
    212. 

  212. 

  213. #get_designer_statistics("嘉義 室內 設計 site:hhh.com.tw")
    214. 

  214. #get_designer_statistics("無印 風 客廳 site:hhh.com.tw")
    215. 

  215. #get_designer_statistics("牆 面 裝飾 site:hhh.com.tw")
    216. 

  216. #get_designer_statistics("臥榻 櫃 site:hhh.com.tw")
    217. 

  217. #get_designer_statistics("工業 風 辦公室 site:hhh.com.tw")
    218. 

  218. 

  219. #get_designer_statistics("小坪 數 浴室 乾 濕 分離 site:hhh.com.tw")
    220. 

  220. get_designer_statistics("電視 牆 收納 櫃 site:hhh.com.tw")
    221. 

  221. 

  222. 

  223. 

  224. #get_designer_statistics("拉 門 site:hhh.com.tw")
    225. 

  225. #get_designer_statistics("房間 佈置 site:hhh.com.tw")
    226. 

  226. #get_designer_statistics("房間 布置 site:hhh.com.tw")
    227. 

  227. #get_designer_statistics("臥榻 site:hhh.com.tw")
    228. 

  228. #get_designer_statistics("卧榻 site:hhh.com.tw")
    229. 

  229. 

  230. 

  231. #get_designer_statistics("廚房 吊 櫃 site:hhh.com.tw")
    232. 

  232. #get_designer_statistics("浴室 設計 site:hhh.com.tw")
    233. 

  233. #get_designer_statistics("廁所 設計 site:hhh.com.tw")
    234. 

  234. #get_designer_statistics("中島 廚房 site:hhh.com.tw")
    235. 

  235. #get_designer_statistics("裝潢 費用 site:hhh.com.tw")
    236. 

  236. 

  237. 

  238. #get_designer_statistics("小 房間 設計 site:hhh.com.tw")
    239. 

  239. #get_designer_statistics("北歐 風 客廳 site:hhh.com.tw")
    240. 

  240. #get_designer_statistics("小坪 數 房間 設計 site:hhh.com.tw")
    241. 

  241. #get_designer_statistics("鞋 柜 設計 site:hhh.com.tw")
    242. 

  242. #get_designer_statistics("餐廳 設計 site:hhh.com.tw")
    243. 

  243. 

  244. 

  245. #get_designer_statistics("拉 門 設計 site:hhh.com.tw")
    246. 

  246. #get_designer_statistics("毛坯 屋 site:hhh.com.tw")
    247. 

  247. #get_designer_statistics("辦公室 設計 site:hhh.com.tw")
    248. 

  248. #get_designer_statistics("毛玻璃 拉 門 site:hhh.com.tw")
    249. 

  249. #get_designer_statistics("鞋 櫃 設計 site:hhh.com.tw")
    250. 

  250. 

  251. 

  252. #get_designer_statistics("床 頭 衣櫃 設計 site:hhh.com.tw")
    253. 

  253. #get_designer_statistics("透 天 裝潢 site:hhh.com.tw")
    254. 

  254. #get_designer_statistics("屏風 設計 site:hhh.com.tw")
    255. 

  255. #get_designer_statistics("隔 間 拉 門 site:hhh.com.tw")
    256. 

  256. #get_designer_statistics("玻璃 隔 間 site:hhh.com.tw")
    257. 

  257. 

  258. 

  259. #get_designer_statistics("玻璃 隔 間 site:hhh.com.tw")
    260. 

  260.