split and retain only text in english that is stored in a column in python dataframe

Question

I have a dataframe "app_final" where one column "text_content" contains text in multiple language. I will like to retain only the text that is in English in that column. Any idea how I should go about that?

I tried using the following python code to create a new column "english_text" by running each word in each text through langdetect adding only the english words to the new column. However, I got an error "LangDetectException: No features in text." How else should I approach this issue?

for i in range(0,len(app_final['text_content'])):
    for x in range(0,len(app_final['text_content'][i].split())):
        english=[]
        language=detect(app_final['text_content'][i].split()[x])
        eng_text=np.where(language=='en',app_final['text_content'][i].split()[x],np.NaN)
        english.append(eng_text)
    app_final['english_text']=english

this is one example of the record that I'm trying to extract only the english text:

print(app_final['text_content'][635])

LINEのプッシュメッセージのセグメント配信が可能です。フィルターを使って、LINE公式アカウントでメッセージ配信可能なセグメント以外の独自セグメントへのメッセージ配信可能になります。メッセージ配信先を絞ることで、LINE公式アカウントのコストの節約も可能。 LINEで自由度の高いリッチメニューが作成できます。 LINE公式アカウント上に自由度の高いリッチメニューの作成が可能になります。LINEのデフォルトでは対応していない9分割・12分割などおすすめしたい商品・ウェブページへのリンクだけ大きく表示など変則的なデザインに対応。 LINEトーク上でコレクションの内商品の一括表示が可能 LINEトーク上に設定したコレクション情報の表示が可能になります。セール・おすすめなどの独自コレクションをユーザに一括でレコメンド可能です。 LINE公式アカウント経由の購買率アップ。ユーザーの属性にあわせた特別なリッチメニュー表示・プッシュメッセージ配信が可能 KisukeはLINEを新たな販売チャネルとして活用できるECマネジメントサービスです。LINE公式アカウントの友達をセグメント化してメッセージ配信が可能になります。また、自由度の高いリッチメニューの配信も可能になります。LINEでは配信できない区分けのリッチメニューの配信が可能です。

所有しているLINE公式アカウントを上手くマーケティングに活用できていないEC事業社様に最適な選択肢です。 Kisukeの主な機能 1.プッシュ通知（LINEメッセージ配信） Shopifyとの連携により、例えば「特定の商品を買い替えそうなタイミングの方」「注文途中でサイトから離脱したカゴ落ちユーザ」といった様々なセグメントのユーザに対してマッチしたメッセージを一斉配信することが可能になります。

2.リッチメニュー配信画像の配置パターンやリンクエリアのカスタマイズ機能があるKisukeを使えば、様々な画像配置を試すことができ、ボタンの設置等も可能となります。LINE公式アカウントでは対応していないリッチメニューのパターンも配信可能です。例えばこんな使い方も… 1.カゴ落ちユーザに期間限定割引クーポンを送信…メールで送るより短時間でメッセージが認識されるため、1時間限定クーポンも有効です。 2.Shopifyのフィルターと連携して、1か月前に消耗品を買ったユーザにリピート促進メッセージを送信して、リピート購入を進める。など細分化したユーザの需要に応じてメッセージ配信が可能になります。

ご質問、ご要望等お待ちしております。使い方、カスタマイズのご依頼など、お気軽にお問い合わせください。

Kisuke is an EC management service that can use LINE as a new sales channel. LINE official account friends can be segmented to deliver messages. In addition, a rich menu with a high degree of freedom can be distributed. Rich menus that cannot be distributed with LINE can be distributed.

This is the best choice for EC companies who have not used their LINE official accounts for marketing. Main functions of Kisuke

Push notification (LINE message delivery) By collaborating with Shopify, it is possible to broadcast matched messages to users in various segments such as “when it is time to buy a specific product” or “the user who dropped out of the site while ordering” It becomes. Rich menu delivery With Kisuke, which has an image layout pattern and link area customization function, you can try various image layouts and set buttons. Rich menu patterns not supported by LINE official accounts can also be distributed.

Is all the non-English text in Japanese? Then it should be easy (simply filter out paragraphs where the majority of the text is not ASCII). In the general case, this is hard, — tripleee, Jul 28 '20 at 04:07

score 0 · Accepted Answer · answered Jul 28 '20 at 04:10

0

Since your text is split into paragraphs, you can try detecting if one paragraph is English or not using Polyglot. https://polyglot.readthedocs.io/en/latest/Installation.html

Since your Japanese text has English words within, you should make use of the most probable language in the paragraph. For example:

from polyglot.detect import Detector

text = u"""
2.リッチメニュー配信 画像の配置パターンやリンクエリアのカスタマイズ機能があるKisukeを使えば、様々な画像配置を試すことができ、ボタンの設置等も可能となります。LINE公式アカウントでは対応していないリッチメニューのパターンも配信可能です。 例えばこんな使い方も… 1.カゴ落ちユーザに期間限定割引クーポンを送信…メールで送るより短時間でメッセージが認識されるため、1時間限定クーポンも有効です。 2.Shopifyのフィルターと連携して、1か月前に消耗品を買ったユーザにリピート促進メッセージを送信して、リピート購入を進める。 など細分化したユーザの需要に応じてメッセージ配信が可能になります。
"""

if Detector(text).languages[0].name == 'Japanese':
    do nothing
elif Detector(text).languages[0].name == 'English':
    append into string

Repeat the process for each paragraph, then replace that cell with the new cell you've made only keeping English paragraphs.

answered Jul 28 '20 at 04:10

ZWang

832
5
14

Hi, is polyglot available for installation on windows platform? – Jamie Lim Jul 28 '20 at 08:49
Seems unstable but doable on Windows, see this post for installation (or just use another package) https://stackoverflow.com/questions/39142778/python-how-to-determine-the-language – ZWang Jul 28 '20 at 08:51
https://stackoverflow.com/questions/39142778/python-how-to-determine-the-language has a number of other package suggestions you can try. If you require Widows, you are doing it wrong, though. – tripleee Jul 28 '20 at 11:18
Thanks. I've used langdetect, and tried to use it to detect the language of the words and keep only those that are english, but I ran into issues. I've updated in my question above. I think the error is because there could be characters that are non-language? e.g. numbers? but I'm not sure how to correct the code to retain these. any idea? – Jamie Lim Jul 28 '20 at 12:39
@JamieLim See this https://stackoverflow.com/questions/40783383/error-using-langdetect-in-python-no-features-in-text – ZWang Jul 29 '20 at 03:44
i used NLTK to tokenzie the paragraphs into sentences. Then, used langdetect to detect the language of each sentence. Where the sentence is of language "en", I added it to a string iteratively through all the sentences in the paragraph. This process was done for every record in the dataframe and the data saved in a new column in the dataframe. This removed 99% of the non-english text. the few words that remained, I added to a stopword dictionary to have them removed. – Jamie Lim Jul 30 '20 at 07:58

split and retain only text in english that is stored in a column in python dataframe

1 Answers1