Re : 連続したテキストからYoutube URL抜く正規表現grepメモ そこからyt-dlpする ~?(クエスチョン)はエスケープ出来ない！？の巻~

こんにちは、無能です。

無能らしいなんの漫画なのかアニメなのか分からない記事のタイトルです。

前回のこの記事。

このとき、他のウェブスクレイピングするスクリプトを書いてて眠気で死にかけながら朝4時くらいに書いていたものでコマンドも文章もめちゃくちゃです。

改めてまとめて置きます。

grep -oP ‘youtube\.com\/watch\?v\=………..’ outbox.json > pyaa.txt

上記はPerlの正規表現を扱うことが可能です。
以下でも可能

grep -oP ‘youtube\.com\/watch\?v\=.{11}’ outbox.json > pyaa.txt

また、Perlの正規表現を使うとやけに重たくなるので文字が多い場合やスクリプト内で使うのであればできる限り以下のようなコマンドのほうがよいかもしれません。

grep -o ‘youtube\.com/watch?v=………..’ outbox.json > pyaa.txt

ていうか、クエスチョンマークをエスケープってPerlの正規表現でしかできない？

grep -o ‘youtube\.com/watch\?v=………..’ outbox.json > owo.txt

上記は駄目です。

これをバックスラッシュなしだと、”直前の文字が0回または1回現れる文字にマッチ”してしまいます。

ということで調べて見ると、[?]でカッコにしてしまえば文字列として扱えたそうな。

https://stackoverflow.com/questions/10602433/how-to-escape-a-question-mark-in-r

grep -o ‘youtube\.com/watch[?]v=………..’ outbox.json > pyaa.txt

これで無事おｋ！

いらない”/” と”\”と”<“が存在する行を削除しよう！

最初、自分のgrepコマンドを疑っていたのですが違いました。

なぜかマストドンの書き込みをエクスポートしたoutbox.jsonには以下のような出力が出ます。

class=\"ellipsis\"\u003eyoutube.com/watch?v=DRVp_cmW3N\u003c/span\u003e\u003cspan class=\"invisible\"\u003es\u0026amp;feature=share7\u003c/span\u003e\u003c/a\u003e\u003c/p\u003e","contentMap":{"ja":"\u003cp\u003e\u003ca

よく見ると、W7G-QtbTWgという最後の文字列（11文字目）が1文字消えてバックスラッシュになっているではありませんか！。もちろん、このままだと正常にURL保存URLとしては出力出来ません。

youtube.com/watch?v=DRVp_cmW3Nw
youtube.com/watch?v=DRVp_cmW3N\

幸いにも、正しく表示されているURLも重複してgrep出来ているので無駄なものを消してしまえばいいだけです。
追加で<も末尾についているものもありますが、なんなんだこれは・・・。

sed ‘/\\$\|\/$\|<$/d’ pyaa.txt > nyan.txt

uniqで重複してる行としてない行をそれぞれ出力

uniq nyan.txt > nyanya.txt
uniq -u nyan.txt >> nyanya.txt

できた！！！

最後にsedでyt-dlp形式に

sed ‘s|youtube|yt-dlp -o “/media/ncp/yt/n/%(title)s” -f “bv[ext=mp4]+ba[ext=m4a]” –merge-output-format mp4 https://www.youtube|g’ nyanya.txt > nya.sh

以上！おつかれさまでした。

残りは#!/bin/bashを追記して実行権限を与え、実行すればおｋです。コピペされる方はいないとおもいますが保存先ディレクトリなどの変更は忘れないように。

最後にwcコマンドについて・・・。

前回の疑問点

それではまた。

よろしくお願い致します