ProcessSub.py 3.8 KB

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364
  1. from difflib import SequenceMatcher
  2. import os
  3. from gtts import gTTS
  4. from mutagen.mp3 import MP3
  5. import difflib
  6. #max_len = 3
  7. def similar(a, b):
  8. return SequenceMatcher(None, a, b).ratio()
  9. def audio_compare_from_text(gt,gen):
  10. tts=gTTS(text=gen, lang='zh')
  11. tts.save("gen_tmp.mp3")
  12. tts=gTTS(text=gt, lang='zh')
  13. tts.save("gt_tmp.mp3")
  14. audio = MP3("gen_tmp.mp3")
  15. gen_len = audio.info.length
  16. audio = MP3("gt_tmp.mp3")
  17. gt_len = audio.info.length
  18. os.remove('gen_tmp.mp3')
  19. os.remove('gt_tmp.mp3')
  20. return gt_len, gen_len
  21. #break in nested loop only break 1 layer
  22. def adjustSub_by_audio_similarity(gt_array, generated_array):
  23. for gen_idx in range(len(generated_array)):
  24. #print('------------------------------------------------------------------------')
  25. for gt_idx in range(len(gt_array)-max_len):
  26. for l in range(max_len):
  27. gt_text = gt_array[gt_idx]
  28. gen_text = generated_array[gen_idx]
  29. for idx_num in range(l):
  30. gt_text += gt_array[gt_idx+idx_num+1]
  31. gt_len, gen_len = audio_compare_from_text(gt_text,gen_text)
  32. #print(gt_text+'|'+str(gt_len)+'|'+gen_text+'|'+str(gen_len)+'|'+'SIMILARITY:'+str(similar(gt_text,gen_text)))
  33. if abs(gen_len - gt_len) < 0.3 and similar(gt_text,gen_text) > 0.5:
  34. generated_array[gen_idx] = gt_text
  35. break
  36. return generated_array
  37. '''
  38. gts = 'Hello Kitty 於2018年,加入YouTube開始活動,在自我介紹的影片裡,Kitty表示一直憧憬著,想在YouTube跟大家見面,一開頻道就吸引許多粉絲訂閱,目前有28萬訂閱者,接下來這位花生君,於2017年加入YouTube開始活動,他的外型太過特別,花生頭、紅色圍巾與紙尿布,被觀眾評價為,第一眼看上很噁心,但看著看著還挺可愛,目前有12萬訂閱者'.split(',')
  39. gens = ['Hello Kitty瑜2018年加入YouTube開始活動','再次我介紹的影片裡','Kitty表示一直憧憬著長在YouTube跟大家見面','一開頻道就吸引許多粉絲訂閱付錢有28萬訂閱者','接下來這位花生君瑜2017年加入YouTube開始湖','活動','他的外型太過特別花生桃紅色圍巾魚紙尿布','被觀眾評價為第一眼看上很噁心但看著看著還挺','秦可愛','目前有12萬訂閱者']
  40. adjs = adjustSub_by_gt_array(gts,gens)
  41. for s in adjs:
  42. print(s)
  43. '''
  44. #gts = 'Hello Kitty 於2018年,加入YouTube開始活動,在自我介紹的影片裡,Kitty表示一直憧憬著,想在YouTube跟大家見面,一開頻道就吸引許多粉絲訂閱,目前有28萬訂閱者,接下來這位花生君,於2017年加入YouTube開始活動,他的外型太過特別,花生頭、紅色圍巾與紙尿布,被觀眾評價為,第一眼看上很噁心,但看著看著還挺可愛,目前有12萬訂閱者'.split(',')
  45. #gens = ['Hello Kitty瑜2018年加入YouTube開始活動','再次我介紹的影片裡','Kitty表示一直憧憬著長在YouTube跟大家見面','一開頻道就吸引許多粉絲訂閱付錢有28萬訂閱者','接下來這位花生君瑜2017年加入YouTube開始湖','活動','他的外型太過特別花生桃紅色圍巾魚紙尿布','被觀眾評價為第一眼看上很噁心但看著看著還挺','秦可愛','目前有12萬訂閱者']
  46. def adjustSub_by_text_similarity(gts,gens):
  47. combine2 = [''.join([i,j]) for i,j in zip(gts, gts[1:])]
  48. combine3 = [''.join([i,j,k]) for i,j,k in zip(gts, gts[1:], gts[2:])]
  49. alls = gts+combine2+combine3
  50. for idx in range(len(gens)):
  51. match_text = difflib.get_close_matches(gens[idx], alls, cutoff=0.1)
  52. if len(match_text) != 0:
  53. #print(gens[idx]+' = '+match_text[0])
  54. gens[idx] = match_text[0]
  55. #else:
  56. # print(gens[idx])
  57. #adjustSub_by_text_similarity(gts,gens)