今回は、自然言語処理 AIとtwitterAPIを使って定期的にツイート・リプライに返信していきましょう。
この記事にぴったりな人
自然言語処理 AIを作ったけど、自己満になってしまってやるせない。自然言語処理 に興味がある。ありきたりなtwitterbotなんか面白くない。
ちなみに、私は「凪ノなぎ」というAIbotの開発・運用をしており、その実際のコードの公開・簡単な説明をしていきたいと思います。twitter アカウントはこちら。twitter.com
「凪ノなぎ」の要点は、主に3つ
「凪ノなぎ」の自然言語処理 部分は、無料公開されているrinna/japanese-gpt2-medium をファインチューニングし、それを「凪ノなぎ」として運用しています。github で公開しているので気になった方は是非試してみてください。github.com
開発の準備
huggingfaceでは、学習済みの機械学習 モデルやデータセット などを公開されており、それをライセンスに応じて使うことが出来ます。自然言語処理 では、形態素解析 →構文解析 →意味解析→文脈解析という順序で行い、それぞれの処理を行うために様々なライブラリを使わなければならないのですがhuggingfaceで公開されているモデルは、これらの処理をはるかに短くわかりやすいコードで使うことができるのでとっても便利です。感謝してます。rinna株式会社 さんが開発されたもので、主にwikipedia /cc100をトレーニン グに使用したようです。twitter 向きではないので、ファインチューニングを行い、女の子らしさとtwitter らしさを出すことにしました。train.txt にまとめてあります。train_rinnna.py でファインチューニングしました。自然言語処理 についてはこちらの方のYoutube がとってもわかりやすいのでおすすめです。VIDEO youtu.be
ファインチューニング
github のコードはこちら 。
train_rinnna.py#L9-L12
tokenizer = T5Tokenizer.from_pretrained("rinna/japanese-gpt2-medium" )
tokenizer.do_lower_case = True
model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt2-medium" )
train.txt には、自分がファインチューニングした言葉を
つめたテキストファイルを入れます。教師あり学習 です。なので、trainでトレーニン グし、train_rinnna.py#L17-L19
data_files={
"train" :"train.txt" ,
"test" :"train.txt"
レーニン グの設定をします。レーニン グ結果の保存場所レーニン グを行うか）train_rinnna.py#L30-L37
training_args = TrainingArguments(
output_dir="output" ,
num_train_epochs=3 ,
per_device_train_batch_size=2 ,
per_device_eval_batch_size=2 ,
load_best_model_at_end=True ,
evaluation_strategy="steps"
)
train_rinnna.py#L54
trainer.train()
定期ツイート
上のファインチューニングでトレーニン グしたものを使用して、定期的にツイートするようにしていきます。python でツイートwindows のタスクスケジューラーで定期的に実行python 単体でツイートするコードを書くことができれば、あとは他のプログラムやサービスに任せれば定期的に実行することができるということです。python のsleep関数で定期的に実行しようとするのはあまりおすすめしません。python でツイートするコードを書いて行きましょう。github のコードはこちら 。
twitterbotではtwitterAPIが必要になり、それをここに貼り付けて設定します。ACCESS _TOKEN・ACCESS _SECRETのみで、後はコピペで良いと思います。Autotweet.py#L11-L33
CONSUMER_KEY = ''
CONSUMER_SECRET = ''
ACCESS_TOKEN = ''
ACCESS_SECRET = ''
auth = tweepy.OAuthHandler(CONSUMER_KEY, CONSUMER_SECRET)
auth.set_access_token(ACCESS_TOKEN, ACCESS_SECRET)
api = tweepy.API(auth,wait_on_rate_limit=True )
oauth = twitter.OAuth(ACCESS_TOKEN,
ACCESS_SECRET,
CONSUMER_KEY,
CONSUMER_SECRET)
twitter_api = twitter.Twitter(auth=oauth)
twitter_stream = twitter.TwitterStream(auth=oauth)
ツイート処理
お願い：voc_list_kiso_kansei.csv をjapanese_words.csv としてnagino_nagi_tweetBot_publicのディレクト リ内に入れてください。tweet を行う処理について見ていきます。csv の中から単語をランダムに１つ選ぶ処理をします。
csv_file = open ("japanese_words.csv" , "r" , encoding="shift_jis" )
f = csv.reader(csv_file, delimiter="," , doublequote=True , lineterminator=" \r\n " , quotechar='"' , skipinitialspace=True )
header = next (f)
japanese_word=[]
for row in f:
japanese_word.append(row[2 ])
tweet_seed = random.choice(japanese_word)
ディレクト リを指定してください。Autotweet.py#L54-L57
tokenizer = T5Tokenizer.from_pretrained("rinna/japanese-gpt2-medium" )
tokenizer.do_lower_case = True
model = AutoModelForCausalLM.from_pretrained("output\checkpoint-5500" )
Autotweet.py#L63
word = tweet_seed.translate(str .maketrans({chr (0xFF01 + i): chr (0x21 + i) for i in range (94 )})).lower()
twitter ）が生成される事があるため3文生成し、リストに入れています。特殊文字 ・記号は取り除いています。Autotweet.py#L65-L89
input = tokenizer.encode(word,return_tensors="pt" ,)
output = model.generate(input , do_sample=True , max_length=100 , num_return_sequences=3 , repetition_penalty =1.0 )
become_voice_list=[]
become_voice_list = tokenizer.batch_decode(output,skip_special_tokens=True )
for i in become_voice_list:
if 'pic' in i:
print ('スキップ:' +i)
continue
else :
become_voice_str = "" .join(i)
if become_voice_str == '' :
become_voice_str = '...'
voice = become_voice_str.replace("[" , "" ).replace("@" , "" ).replace("ω" , "" ).replace("_" ,"" ).replace('&' ,'' )
print (voice)
api.update_status(voice)
定期実行
windows タスクスケジューラーを使っていくのですが、直接.pyをpython で実行しようとしてもうまく動きませんでした。
@if not "%~0"=="%~dp0.\%~nx0" start /min cmd /c,"%~dp0.\%~nx0" %* & goto :eof
python 場所/Autotweet.py
定期リプライ
ファインチューニングでトレーニン グしたものを使用して、定期的にツイートするようにしていきます。github のコードはこちら
タイムライン取得
目的は、「自分のツイートに対するリプライを取得したい。」こちら の記事におまかせします。twitter_Auto_reply.py#L86-L107
for i, tweet in enumerate (tweepy.Cursor(api.home_timeline).items(3200 )):
if tweet.text.find('@アカウント名' ) != -1 :
before_seed = tweet.text.split(" " )
tweet_seed = before_seed[-1 ].replace(" \n " ,"" )
word = tweet_seed.translate(str .maketrans({chr (0xFF01 + i): chr (0x21 + i) for i in range (94 )}))
print (word)
次に取得したツイートに対してのリプライがすでに行われているかどうかを調べる事が必要になります。auto_rep.txt に保存します。twitter_Auto_reply.py#L109-L129
if word+' \n ' in datafile:
print ('済み' )
else :
print ('リプライ処理' )
f = open ('auto_rep.txt' , 'a' ,encoding='utf-8' )
f.write(word+' \n ' )
f.close()
voice = NaginoNagi_GPT(word)
reply_text = '@' +tweet.user.screen_name +str (before_seed[0 :-2 ]).replace("[" ,' ' ).replace("]" ,'' ).replace("'" ,'' )+ ' \n '
reply_text += voice
print ("reply->>>>" +reply_text)
twitter_api.statuses.update(status=reply_text, in_reply_to_status_id=tweet.id)
後は、上のツイート処理と特に変わりがないため割愛させていただきます。twitter にお願い致します。
参考
