|
|
@@ -1026,12 +1026,13 @@
|
|
|
},
|
|
|
{
|
|
|
"cell_type": "code",
|
|
|
- "execution_count": null,
|
|
|
+ "execution_count": 14,
|
|
|
"metadata": {
|
|
|
"ExecuteTime": {
|
|
|
"end_time": "2021-07-11T18:28:42.804715Z",
|
|
|
"start_time": "2021-07-11T18:27:18.023114Z"
|
|
|
- }
|
|
|
+ },
|
|
|
+ "collapsed": true
|
|
|
},
|
|
|
"outputs": [
|
|
|
{
|
|
|
@@ -1058,7 +1059,37 @@
|
|
|
"db updated.\n",
|
|
|
"Nutrition 資料抓取中...\n",
|
|
|
"db updating...\n",
|
|
|
- "db updated.\n"
|
|
|
+ "db updated.\n",
|
|
|
+ "Illness 資料抓取中...\n",
|
|
|
+ "db updating...\n",
|
|
|
+ "db updated.\n",
|
|
|
+ "Law 資料抓取中...\n",
|
|
|
+ "db updating...\n",
|
|
|
+ "db updated.\n",
|
|
|
+ "Art 資料抓取中...\n",
|
|
|
+ "db updating...\n",
|
|
|
+ "db updated.\n",
|
|
|
+ "Company 資料抓取中...\n",
|
|
|
+ "db updating...\n",
|
|
|
+ "db updated.\n",
|
|
|
+ "Website 資料抓取中...\n",
|
|
|
+ "db updating...\n",
|
|
|
+ "db updated.\n",
|
|
|
+ "Furniture retail company 資料抓取中...\n"
|
|
|
+ ]
|
|
|
+ },
|
|
|
+ {
|
|
|
+ "ename": "IndexError",
|
|
|
+ "evalue": "index 0 is out of bounds for axis 0 with size 0",
|
|
|
+ "output_type": "error",
|
|
|
+ "traceback": [
|
|
|
+ "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
|
|
|
+ "\u001b[1;31mIndexError\u001b[0m Traceback (most recent call last)",
|
|
|
+ "\u001b[1;32m~\\AppData\\Local\\Temp/ipykernel_2112/3210238404.py\u001b[0m in \u001b[0;36m<module>\u001b[1;34m\u001b[0m\n\u001b[0;32m 20\u001b[0m \u001b[0mtime\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0msleep\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;36m5\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m 21\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m---> 22\u001b[1;33m \u001b[0mcrawler_iot_topic_tree\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mto_titles\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m",
|
|
|
+ "\u001b[1;32m~\\AppData\\Local\\Temp/ipykernel_2112/3210238404.py\u001b[0m in \u001b[0;36mcrawler_iot_topic_tree\u001b[1;34m(keywords, timeframe)\u001b[0m\n\u001b[0;32m 15\u001b[0m )\n\u001b[0;32m 16\u001b[0m \u001b[0mto_topics_interest_over_time\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mpytrend\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0minterest_over_time\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m---> 17\u001b[1;33m \u001b[0mdata\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mdf_to_db\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mto_topics_interest_over_time\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[0;32m 18\u001b[0m \u001b[0mtable\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mget_table\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;34m'topic_tree_g_trend_iot'\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;34m'cmm_test'\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m 19\u001b[0m \u001b[0mdata_to_db\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mtable\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mdata\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
|
|
|
+ "\u001b[1;32m~\\AppData\\Local\\Temp/ipykernel_2112/3050356344.py\u001b[0m in \u001b[0;36mdf_to_db\u001b[1;34m(df)\u001b[0m\n\u001b[0;32m 2\u001b[0m \u001b[0mcolumns\u001b[0m \u001b[1;33m=\u001b[0m \u001b[1;33m[\u001b[0m\u001b[1;34m'iot_kword'\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;34m'iot_date'\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;34m'iot_value'\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;34m'iot_dtime'\u001b[0m\u001b[1;33m]\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m 3\u001b[0m \u001b[0mlength\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mlen\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mdf\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m----> 4\u001b[1;33m \u001b[0miot_kword\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mdf\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mcolumns\u001b[0m\u001b[1;33m[\u001b[0m\u001b[1;36m0\u001b[0m\u001b[1;33m]\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[0;32m 5\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m 6\u001b[0m \u001b[0mto_db_df\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mpd\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mDataFrame\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mcolumns\u001b[0m\u001b[1;33m=\u001b[0m\u001b[0mcolumns\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
|
|
|
+ "\u001b[1;32mc:\\users\\ming0\\appdata\\local\\programs\\python\\python39\\lib\\site-packages\\pandas\\core\\indexes\\base.py\u001b[0m in \u001b[0;36m__getitem__\u001b[1;34m(self, key)\u001b[0m\n\u001b[0;32m 4295\u001b[0m \u001b[1;32mif\u001b[0m \u001b[0mis_scalar\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mkey\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m 4296\u001b[0m \u001b[0mkey\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mcom\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mcast_scalar_indexer\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mkey\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mwarn_float\u001b[0m\u001b[1;33m=\u001b[0m\u001b[1;32mTrue\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m-> 4297\u001b[1;33m \u001b[1;32mreturn\u001b[0m \u001b[0mgetitem\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mkey\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[0;32m 4298\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m 4299\u001b[0m \u001b[1;32mif\u001b[0m \u001b[0misinstance\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mkey\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mslice\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
|
|
|
+ "\u001b[1;31mIndexError\u001b[0m: index 0 is out of bounds for axis 0 with size 0"
|
|
|
]
|
|
|
}
|
|
|
],
|
aaron-1015