Superb Garbages 2

千野純一(chinorin)のはてなダイアリーの続きです。

自分についてのラジオ番組を作ってもらう方法

  • Google NotebookLMにたいへん奇妙な、おもしろおかしい機能があるのでこれを使って遊ぶと楽しい。無料の範囲でもぜんぜんいける。

  • まずAIに解説してもらうための資料を用意する。今回は自分について解説してもらうということで、自分の日記とか、ChatGPTとの対話ログとか、そういう自分の日常や思考を表現したテキストがよいと思う。ChatGPTのログってファイルサイズがでかすぎてどうにもならないのだが、そこからテキストを抽出するプログラムを作ったのでそれについては後述する。

  • 資料が用意できたら、みなさん既にGoogleの奴隷であるはずなのでGoogleのIDは持っているとして、今日の主役・NotebookLMにアクセスする。初期設定なんか必要だっけ? よく覚えてないけどまーなんか適当に使えるようにしたら、とにかく新規作成。

  • ソースの追加を要求されるので、用意したおいて資料を適当に放り込む。無料版ではファイルは50個までアップロードできるらしいけど、1ファイル当たり20万語とかそういう上限があるので適宜調整が必要かもしれない。なお、用意した資料を全部アップロードする必要はなく、適当でよい。

  • 正常にアップロードできたらStudioの音声解説というのを押すんだけど、資料がちょっと特殊な場合は縦の点々(なんて言うのこれ)からカスタマイズを選んで、軽く説明を書いた方がいいかもしれない。例えば「LLMとの会話ログです。ユーザの人となりを解説してください」とか。これも適当よ。

  • 生成には数分かかる。できた音声は教養系ラジオ番組みたいな感じで、女性の利き手(っぽい人)と男性の解説者(っぽい人)のかけあいによってけっこういい感じに自分のことを解説してくれてなかなかの新感覚である。


  • じゃあ今日は、ChatGPTのログの抽出について解説するぜ。

  • 解説するけどけっこう適当なので、わかんない部分はChatGPTかなんかに聞けばいいと思う。この文章をコピーして渡せば詳しく説明してくれるんじゃないかな?

  • 必要なものはChatGPTと会話した過去と、Pythonの実行環境。Pythonは、WindowsならMicrosoft Store等から無料でインストールできる。他は知らんけどaptとかbrewとかopkgとか何かあるだろう。もちろん旧来通り公式サイトからインストーラーを落としてきてもよい。

  • そういえばこれもよく知らないんだけど、ChatGPTって無課金ユーザもログをエクスポートできるんだろうか。友達料払ってないとだめかもしれんが、とにかく「設定→データコントロール→データをエクスポートする」のところにある「エクスポートする」をクリック。

  • 数分後、登録メールアドレスにログをダウンロードするためのURLが送られてくる。確か期限があって放置するとダウンロードできなくなる気がする。数分待ってる間に全て忘れて数日後に思い出したりするんだけど、期限が切れたら何度でもエクスポートを要求すればおk。

  • メールの指示通りやたら長い名前のzipファイルを落としたら、その中から conversations.json を探す。全部展開して探すか、アーカイブからそれだけ取り出すのもいいと思う。ちなみにワシの conversations.json は235MBあるぞ。

  • 適当な場所にディレクトリを作り、先の conversations.json を置く。そんでこのディレクトリをカレントディレクトリとしてターミナルを開く。(フォルダ内の空白部分を右クリック→「ターミナルで開く」など) Pythonコードを実行するためなので、コマンドライン以外の方法で実行する方法を知ってる人はこの限りではない。

  • そのディレクトリで、以下の divide.py を実行する。具体的にはコードをコピー→新しいテキストファイルにペーストし divide.py という名前で先ほどのディレクトリの中にセーブする。そんでターミナルで「python divide.py」とか。

# divide.py; CC0 "No Rights Reserved"
import json
from pathlib import Path

def main() -> None:
    conversations_file = Path("./conversations.json")
    print(f"[INFO] 入力ファイル: {conversations_file.resolve()}")

    if not conversations_file.exists():
        print(f"[ERROR] 入力ファイルが見つかりません: {conversations_file}")
        return

    output_dir = Path(f"./conversations")
    output_dir.mkdir(parents=True, exist_ok=True)
    print(f"[INFO] 出力ディレクトリ: {output_dir.resolve()} (作成済み: {output_dir.exists()})")

    print("[INFO] JSONを読み込み中...")
    text = conversations_file.read_text(encoding="utf-8")
    try:
        data = json.loads(text)
    except json.JSONDecodeError as e:
        print(f"[ERROR] JSONの解析に失敗しました: {e}")
        return

    if not isinstance(data, list):
        print(f"[WARN] JSONルートがリストではありません: {type(data).__name__}")
        return

    print(f"[INFO] セッション数: {len(data)}")

    index = 0
    for idx, session in enumerate(data):
        print(f"[DEBUG] {idx}番目の要素を処理中...")
        if isinstance(session, dict) and session.get("title") is not None:
            padded = f"{index:06d}"
            out_path = output_dir / f"session_{padded}.json"
            out_path.write_text(
                json.dumps(session, ensure_ascii=False, indent=2),
                encoding="utf-8"
            )
            print(f"[INFO] 出力: {out_path.name}")
            index += 1
        else:
            print(f"[SKIP] titleがNone、またはdictでない要素をスキップ")

    print(f"[INFO] 処理完了。出力ファイル数: {index}")

if __name__ == "__main__":
    main()
  • すると、同ディレクトリ内に conversations というサブディレクトリが作られ、その中に session_(6桁の数字).json というファイルがたくさん生成される。それぞれ conversations.json をスレッドごとに分割したもので、俺の場合5614番まであり、ディレクトリの総容量は200MBくらい。数字が小さい方が新しいので最新は session_000000.json ということになる。

  • なお.jsonというのはJSON形式で書かれたテキストファイル(そのまんま)。まあ普通は不要だと思うので用事が済んだら消しちゃっていいと思う。同じ方法でいつでも作れるしね。

  • 次に、同じディレクトリで以下の mdmerge.py を実行する。

## mdmerge.py; CC0 "No Rights Reserved"
import json
from pathlib import Path
import re

# 入出力ディレクトリ
input_dir = Path("./conversations")  # session_000001.json などのある場所
output_file = Path("combined_sessions.md")

print(f"[INFO] 入力ディレクトリ: {input_dir.resolve()}")
print(f"[INFO] 出力ファイル: {output_file.resolve()}")

# session_000000.json のような形式のファイル一覧を取得してソート
pattern = re.compile(r"^session_(\d{6})\.json$")
files = [
    f for f in input_dir.glob("session_*.json")
    if pattern.match(f.name)
]
files.sort(key=lambda f: int(pattern.match(f.name).group(1)))

print(f"[INFO] 対象ファイル数: {len(files)}")

count_written = 0
count_sessions = 0

# 出力用ファイルをオープン
with open(output_file, "w", encoding="utf-8") as out:
    for filename in files:
        print(f"[INFO] 読み込み中: {filename.name}")
        try:
            data = json.loads(filename.read_text(encoding="utf-8"))
        except json.JSONDecodeError as e:
            print(f"[ERROR] JSON解析失敗 ({filename.name}): {e}")
            continue

        mapping = data.get("mapping", {})
        if not mapping:
            print(f"[SKIP] mappingキーが存在しないか空: {filename.name}")
            continue

        messages = []
        for k, v in mapping.items():
            msg = v.get("message")
            if not msg or not msg.get("content"):
                continue
            role = msg["author"]["role"]
            parts = msg["content"].get("parts", [])
            text = "\n".join(p if isinstance(p, str) else p.get("text", "") for p in parts).strip()
            if text:
                messages.append((role, text))

        if not messages:
            print(f"[SKIP] メッセージなし: {filename.name}")
            continue

        count_sessions += 1
        # セッション見出し
        out.write(f"## {filename.stem}\n\n")
        for role, text in messages:
            role_upper = role.upper()
            out.write(f"**{role_upper}**: {text}\n\n")
        out.write("---\n\n")

        count_written += len(messages)
        print(f"[INFO] 書き込み完了: {filename.name} ({len(messages)}メッセージ)")

print(f"[INFO] 処理完了: {count_sessions} セッション, {count_written} メッセージ出力")
  • すると、分割した.jsonの中に書かれたChatGPTとの会話内容を全て合成し、同ディレクトリに combined_sessions.md という名前で保存される。俺の場合は67MBになった。

  • .mdはMarkdownという形式で書かれたテキストファイル。なぜMarkdownなのかというと、ChatGPTがMarkdownで喋るからだ。だが、これほど大きなテキストファイルをまともに開けるエディタはあんまりないかもしれない*1。なので、これも用事が終わったら消していいと思う。

  • さらに、同じディレクトリで以下の mdpart.py を実行する。

## mdpart.py; CC0 "No Rights Reserved"
from pathlib import Path

INPUT_FILE = Path("combined_sessions.md")
OUTPUT_DIR = Path("part_sessions")
MAX_CHARS = 200000  # 20万文字

def main():
    print(f"[INFO] 入力ファイル: {INPUT_FILE.resolve()}")
    if not INPUT_FILE.exists():
        print("[ERROR] 入力ファイルが見つかりません。処理を終了します。")
        return

    # 出力ディレクトリ作成
    OUTPUT_DIR.mkdir(parents=True, exist_ok=True)
    print(f"[INFO] 出力ディレクトリ: {OUTPUT_DIR.resolve()} (作成済み: {OUTPUT_DIR.exists()})")

    print("[INFO] 入力ファイルを読み込み中...")
    with open(INPUT_FILE, "r", encoding="utf-8") as f:
        lines = f.readlines()
    print(f"[INFO] 行数: {len(lines)}")

    # セッションブロックを抽出
    sessions = []
    current_session = []
    for line in lines:
        if line.startswith("## session_"):
            if current_session:
                sessions.append("".join(current_session))
                current_session = []
        current_session.append(line)
    if current_session:
        sessions.append("".join(current_session))

    print(f"[INFO] 検出セッション数: {len(sessions)}")
    if not sessions:
        print("[WARN] セッションが見つかりません。処理を終了します。")
        return

    file_index = 0
    char_count = 0
    output_lines = []

    # 分割書き出し
    for si, session in enumerate(sessions):
        session_len = len(session)
        print(f"[DEBUG] セッション{si}の長さ: {session_len} 文字(現在の出力ファイル累計: {char_count} 文字)")

        if char_count + session_len > MAX_CHARS and output_lines:
            # いったん書き出し
            output_file = OUTPUT_DIR / f"part_{file_index:02d}.md"
            print(f"[INFO] 書き出し開始: {output_file.name}({len(''.join(output_lines))} 文字)")
            with open(output_file, "w", encoding="utf-8") as f:
                f.writelines(output_lines)
            print(f"[INFO] 書き出し完了: {output_file.resolve()}")
            file_index += 1
            output_lines = []
            char_count = 0
            print(f"[DEBUG] 新しい出力ファイルに切り替え(index={file_index:02d})")

        output_lines.append(session)
        char_count += session_len

    # 最後に残った分を書き出す
    if output_lines:
        output_file = OUTPUT_DIR / f"part_{file_index:02d}.md"
        print(f"[INFO] 最終書き出し開始: {output_file.name}({len(''.join(output_lines))} 文字)")
        with open(output_file, "w", encoding="utf-8") as f:
            f.writelines(output_lines)
        print(f"[INFO] 最終書き出し完了: {output_file.resolve()}")

    print("[INFO] すべての処理が完了しました。")

if __name__ == "__main__":
    main()
  • これは、先ほどひとまとめにした combined_sessions.md をもう一度うまい具合に分割し part_sessions というサブディレクトリの中に保存する。数字が小さい方が新しいので part_00.md が最新。1ファイルだいたい500KB前後になるので、普通のエディタでも充分読めるサイズであろう。これでやっとNotebookLMも読んでくれる。

  • とりあえず20万文字未満で分割するようになってるけど、NotebookLMに渡すときにエラーが出たりしたら mdpart.py の6行目「MAX_CHARS = 200000 # 20万文字」という部分の数字を減らしたりして何度か試してみてくれ。なお#以降はコメントなので意味はない。200000を100000にすれば10万文字になる。

  • なおOpenAI公式のChatGPTでは再生成などを行うことによってログが分岐する仕組みがあって、エクスポートしたログにはそれらも全て含まれているらしいが、今回提示した方法では隠れている分岐は考慮せず、最終的な生成にたどり着くルートだけを抽出している……はずだと思うんだけどログが大量すぎて確認してないのでよくわかんない。

  • そんでコードにも書いてあるけど例によってこの記事に掲載した divide.py, mdmerge.py, mdpart.py について著作権を主張せずいずれもパブリックドメインに供するので、自己責任において誰でも自由に使用や複製ができる。改変も自由だし、コードを追加したり書き換えたりした部分の著作権を主張するのも自由だ。

  • でもうまく動かなかったらごめん。

  • 最後に、コードが3つに分かれているのは試行錯誤の結果だ。これらを全てChatGPTに渡しながらうまいこと言えば、中間のファイルも残さずすべてを1回で効率的にやってくれるコードを出してくれるんじゃないかと思う。俺はこれでやれたからもういいや。w

*1:一応メモ帳でいけるらしい。試していないが。