初出: note

作ったもの

ひとりごとをボイスメモでつらつらと記録すると、自分好みに綺麗に整理されてNotionに格納されるシステム。

今回作ったシステム(monologue-muser)の概要
今回作ったシステム(monologue-muser)の概要

アウトプットサンプル

10分くらいひとりごとを話したボイスメモが下記のようにきれいに整形されます!

Geminiにダミーデータを出力してもらったので、書いてあることは適当です。
Geminiにダミーデータを出力してもらったので、書いてあることは適当です。

  • #AIとやってみた ということで、開発段階から最大限AI(Gemini)に手伝ってもらいながら、AI(Gemini API)を活用したシステムを作ってみました。
  • 実際に導入してみたい方は、下記のGitHubリポジトリのREADMEに使い方やセットアップ方法を詳しく記載したので、そちらをご覧ください。
    https://github.com/yasuguin/monologue-muser
  • ※ 無料枠を活用させていただいているのでほぼ無料に収まりますが、コストに関しては自己責任にてお願いいたします。

本記事では、開発の背景、こだわりポイント、Geminiを利用する上での工夫したポイントを書かせていただきます。

背景

  1. ボイスメモで考えごとを記録する習慣があったが、活用できていなかった
  • ふと思いついたこと、きれいに言語化できるわけじゃないけど、忘れないうちに記録しておきたいこと、微妙なニュアンスを含めたいことをどこかに記録しておくにはボイスメモが記録しやすかった。
  • 言葉に発していくうちに、関連したアイディアが浮かんだり、言語化が曖昧だった考えがまとまることも多く、テキストでメモするよりもメリットを感じていた。
  • しかし、検索性が悪く、聞き返すことはほぼなかった。
  1. 大量にインプットした情報を自分の地肉にしたかった。
  • ここ1,2年、生成AI関連の発表、活用方法などの情報が毎日流れてくる。
  • NotionのWebクリッパーを使用して主にTwitter(現X)を徘徊してインプット中毒のように情報を集めている。(Webクリップをして満足してしまう場合も多い)
  • なんとなく便利そう、何かに使えそう、で終わらせずに、自分の言葉で整理して、次のアクションにつなげたかった。
  1. 自分の思考をデータ化したかった
  • データ化されているものはほぼ全て生成AIに渡すことができるようになった。
  • 新しいアイディアを考える際にも生成AIを活用することを考えると、自分の思考を検索性が高いテキストなどでデータ化しておくことに重要性を感じた。

機能要件

  1. Geminiでボイスメモをマルチモーダル処理
  • 10分以上のボイスメモにも対応
  • iPhone上で処理に時間がかかりすぎないように
  • → iPhoneではリクエストまでをして、処理はクラウド上で実行。
  1. Notionに確実にデータを挿入
  • タイトル、内容、タグが確実に出力される。
  • → Geminiの構造化出力を使用。

技術選定

  1. iOSショートカット
  • 入口がiPhoneになるので、ショートカットがユーザーとの設定になるのが一番シンプル。
  1. Cloud Run functions (Google Cloud)
  • 要件を全て叶えようとすると、ショートカット内で完結させるのは難しそうなので、クラウドを使用。
  • AWSは使用したことがなく、仕事でGoogle Cloudを使用しているので今回はGoogle Cloudを使用。
  • UIは不要でエンドポイントを作成したいだけなので、Cloud Run functionsを使用。
  1. 使用言語: Python
  • 一番慣れているため。
  • 無理やり理由づけをするなら、PythonはGeminiのライブラリの整備が優先的にされていてドキュメントも充実している。(多分)
  • そのため、Geminiの追加機能などを早期に取り入れられる。
  1. Cloud Storage (GCS; Google Cloud)
  • Geminiのマルチモーダル処理のファイル容量を超える可能性があるため。
  • ショートカットから署名付きURLで音声ファイルをアップロード→GCSトリガーでGeminiの処理を実行、というように処理を分割しやすいから。
  1. Firestore(Google Cloud)
  • GCSトリガーで複数回実行されてしまう問題回避のために必要。

アーキテクチャ

以上を踏まえて下記のように構築。

Goal

Google Cloud

User

① 署名付きURLを
リクエスト

② 署名付きURLを
返却

③ 音声ファイルを
アップロード

④ 関数をトリガー

⑤ 処理を1回に限定

⑥ 音声データを要約

⑦ 処理結果を返却

⑧ 整形テキストを
ページに保存

iOS Shortcut

Cloud Run functions 1
(upload-monologue)

Cloud Storage

Cloud Run functions 2
(summarize-monologue)

Gemini API

Firestore

Notion

複雑に見えるが、iOSショートカットでやる処理はここまで。

Google Cloud

User

① 署名付きURLを
リクエスト

② 署名付きURLを
返却

③ 音声ファイルを
アップロード

iOS Shortcut

Cloud Run functions 1
(upload-monologue)

Cloud Storage

  • その後の処理はGeminiがクラウド上でやってくれるので、処理速度を気にせず、最終的な出力の質を最大限高めることに注力できる。(後述)

  • 「ボイスメモを綺麗に文字起こしする」という用途にしては大袈裟に感じるかもしれませんが、GoogleCloudを少し使えれば、AI駆動の個人開発ではとても役に立つと思いますので、勉強がてらやってみるのもおすすめです。

こだわりポイント

  1. その場で思いついた言い回しなどは丸めずになるべく残したい。
  2. AIによって要約されすぎないようにしたい。
  3. タグを付与して検索性を高めたい。
  4. 発散するだけではなく、できれば次のアクションにつなげたい。

Gemini を使用する上での工夫

#AIとやってみた ということで、AI(Gemini)を使う上で工夫した点をまとめておきます。

  1. 文字起こし、内容整理の2回に分けて実行
  • Geminiは高性能なので、「音声を入力して、いきなり整形したテキストを出力」ということもできますが、①Geminiの処理には時間をかけてもいい、②API料金はほぼ無視できる、③段階的にタスクを処理した方が生成AIの出力精度が上がる、ことからこの方式を採用。
  1. 構造化出力を使用
  • 構造化出力とは あらかじめ指定した出力形式に沿って出力をしてもらう機能です。
  • プロンプトの中で指定するのはよく見ますが、schema.py で型指定をして、Geminiにリクエストする際に指定することでより確実に出力形式を固定できます。
  • 今回で言うと、機能要件2の Notionに合うデータを確実に出力させています。
  1. プロンプトの工夫
  • Google公式の 生成AIのプロンプトエンジニアリング を参考にしました。
  • なるべくステップを分けたり、ロールを指定したり、XMLを使用してプロンプトを構造化しています。
  • 下記は文字起こししたテキストをきれいに整えるプロンプトです。
<goal>文字起こしされたボイスメモの内容を整理して、きれいなメモにまとめてください。</goal>
<role>あなたはソクラテスの弟子なみの聞き上手で、独り言のメモから情報が整理されたメモを作成することが得意です。</role>
<premise>この文字起こしは独り言で考え事をしているボイスメモです。話題が突然変わったり、元の話題に戻ったりします。何か正解を出したいというよりは無数に浮かぶアイディアを言い連ねています。</premise>
<goal-detail>
    <1>話題ごとに見出し(###)を作って、情報の順番を整理してください。話している順番に関わらず、設定した見出しに内容を足していってください。</1>
    <2>感情や心情を省略、要約せずに、できるだけニュアンスを残すようにしてください。</2>
    <3>箇条書きのようにきれいにまとめないでください。話の文脈を無くさないように、話し言葉口調のままの文章でまとめてください。</3>
    <4>整理はしますが、情報の要約はしないでください。内容の本質は保持してください。</4>
    <5>全体を見て「〇〇する!」「〇〇してみようかな」「〇〇興味ある」みたいに次の行動をするべきものを next-actionsにまとめてください。</5>
</goal-detail>
<output-format>
Notionに適したMarkdown形式で出力してください。
見出しは細かく作成することを意識し、1つの見出しに対して、最大でも150文字以内くらいにまとめてください。
```json
{{
    "markdown": "### 話題1\\n内容1\\n内容2\\n### 話題2\\n内容1\\n内容2\\n### 話題3\\n内容1\\n内容2\\n...(いくつでも)",
    "nextActions": ["やること1", "やること2", "やること3"],
    "tags": ["タグ1", "タグ2", "タグ3"]
}}
```
</output-format>
<instructions>
    <step1>このボイスメモを日本語で純粋に文字起こししてください。</step1>
    <step2>「ええと」や「あーー」など言葉に詰まっている部分などを削除して、きれいな文章にしてください。</step2>
    <step3>文章の中から話題(トピックス)を任意の数選定して、題名(タイトル)をつけ、マークダウンで見出し(###)を作ってください。タイトルはその話題の中での気づきや、結論などを短い文章にしたものを設定。イメージはインタビュー記事の段落ごとについているタイトルのような感じ。</step3>
    <step4>考え事の内容をできるだけ削らないようにして、各見出しの中にまとめてください。</step4>
    <step5>step4までの内容をまとめて、1つのMarkdownを出力してください。</step5>
    <step6>整理した内容の話題の中から「タグ」を最大3つ重要な順に生成してください。何についての話題なのか簡単に特定できるように具体的かつ短い単語にしてください。(例:プログラミング、英語、恋愛、AI、転職...)具体的な内容が分かりづらいものはやめて。</step6>
</instructions>
<transcription>
    {transcription}
</transcription>

プロンプト全文はこちら

開発時のAI活用

開発のスタートから、デプロイまで徹底的にAIにサポートしてもらいました。
下記はあくまで個人的な進め方です。

  1. 要件定義(Gemini Webアプリ)
  • なんとなくの構想を伝えながら壁打ちしてアイディアを整理。
  • 私は決めてしまっていましたが、技術選定を手伝ってもらうのもあり。
  1. アーキテクチャ図作成(Gemini Web アプリ)
  • 今回は本記事執筆のために作成しましたが、全体像把握やAIと共通認識を保つためにAIにアーキテクチャ図を出力してもらうのもありです。
  • 「アーキテクチャ図をMermaidで出力して」で出力できます。
  1. 要素技術を単体テスト(公式ドキュメント)
  • 公式ドキュメント (これはFirestore)のサンプルコードで動作を単体テスト。
  • AIに大雑把な指示で丸投げすると、GoogleCloudのFirestoreではなく、FirebaseのFirestoreの情報を参照していたり、古い情報を参照していたりして、動かない時があるので、公式ドキュメントを見に行って確実に動くことを保証してから、AIにサンプルコードを渡すようにしている。
  • 情報の取捨選択は人間がやった方が確実。
  • アプリが完成してからどこかで詰まっているより、単体テストを先にしたほうがエラー解決が早い。
  • テストで成功したコードをsnnipetとして保管しておくと、2回目以降はそれをそのままAIに渡すことができる。
  1. サンプルコードを組み合わせてアプリを構築(Gemini Code Asssit, GeminiCLI)
  • 前の手順で確実に動作するサンプルコードが用意できたら、あとはそれらを組み合わせるだけなので、大胆に開発を進めていくことができます。
  • 要件定義をもとに、タスク表に落とし込んでノンストップで実行してもらいます。
  1. デプロイ(Gemini Web アプリ、 GeminiCLI)
  • デプロイ作業もAIに最大限手伝ってもらいます。
  • 公式ドキュメントを渡して、デプロイコマンドを生成してもらう。
  • デプロイエラーが起きたら、ターミナルのエラーやGoogleCloudのログエクスプローラーをAIに渡して解決に繋げます。
  1. GitHubリポジトリの精査(Gemini Code Assist)
  • 今回本記事執筆にあたり、初めてpublicにリポジトリを公開したので、ドキュメントの整理や個人情報が入っていないかの精査をAIに手伝ってもらいました。
  • 本記事執筆中に Gemini Code Asssit が Agent Mode に対応したのですが、GeminiCLIが内部で動作していて、CursorのAgentモードのような自律性でいて、GeminiWebアプリのような見やすさで個人的にはとても使いやすいです。

以上となります。

日々AIが進化して、「こんなものあったらいいな」をどんどんAIの力を借りて作っていけるのは、とてもいい時代ですね。

ここまで読んでいただき、ありがとうございました!