オーケストレーションの構成パターン整理 - いつ何を組むか

import com.anthropic.client.AnthropicClient;
import com.anthropic.client.okhttp.AnthropicOkHttpClient;
import com.anthropic.models.messages.Message;
import com.anthropic.models.messages.MessageCreateParams;
import com.google.common.base.Joiner;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Path;
import java.util.Collection;
import java.util.LinkedHashSet;
import java.util.List;
import java.util.Set;
import java.util.stream.Collectors;
import org.apache.commons.lang3.StringUtils;
import org.apache.commons.lang3.Strings;
import tools.jackson.core.JacksonException;
import tools.jackson.databind.ObjectMapper;

public class EvaluatorOptimizer {

  private static final String API_KEY = System.getenv("ANTHROPIC_API_KEY");
  private static final String MODEL = System.getenv().getOrDefault("LLM_MODEL", "claude-sonnet-5");
  private static final int EVALUATOR_OPTIMIZER_ROUNDS = 5;
  private static final int BLIND_RETRY_ROUNDS = 3;
  private static final Path OUTPUT_MD = Path.of("output.md");
  private static final Joiner JAPANESE_COMMA = Joiner.on('、').skipNulls();
  private static final ObjectMapper JSON = new ObjectMapper();
  private static final List<String> ASPECTS =
      List.of(
          "市場規模",
          "市場成長率",
          "市場シェア",
          "主要プレイヤー",
          "競争環境",
          "新規参入障壁",
          "価格帯・料金体系",
          "顧客セグメント",
          "規制・保険",
          "政策・補助金",
          "需要トレンド",
          "主要KPI",
          "出典");

  private final TextGenerator llm;
  private final StringBuilder outputMd = new StringBuilder();

  EvaluatorOptimizer(TextGenerator llm) {
    this.llm = llm;
  }

  record LlmResponse(String text) {}

  record Review(int score, String missing, String critique) {
    boolean hasNewMissingAspect(Collection<String> aspects) {
      return StringUtils.isNotBlank(missing)
          && !Strings.CI.equals(missing, "null")
          && !aspects.contains(missing);
    }
  }

  interface TextGenerator {
    LlmResponse generate(String model, String system, String user);
  }

  static final class AnthropicTextGenerator implements TextGenerator {
    private final AnthropicClient client = AnthropicOkHttpClient.fromEnv();

    @Override
    public LlmResponse generate(String model, String system, String user) {
      MessageCreateParams params =
          MessageCreateParams.builder()
              .model(model)
              .maxTokens(8_000L)
              .system(system)
              .addUserMessage(user)
              .build();

      Message message = client.messages().create(params);
      String text =
          message.content().stream()
              .flatMap(block -> block.text().stream())
              .map(textBlock -> textBlock.text())
              .collect(Collectors.joining("\n"));
      return new LlmResponse(text);
    }
  }

  private void run() throws IOException {
    outputMd.append(
        "お題=「国内整骨院市場の概況」 / 生成役・評価役=Claude(%s) / evaluator-optimizer=%dラウンド / blind retry=%dラウンド%n%n"
            .formatted(MODEL, EVALUATOR_OPTIMIZER_ROUNDS, BLIND_RETRY_ROUNDS));

    evaluatorOptimizer();
    outputMd.append(System.lineSeparator());
    blindRetry();
    outputMd.append(System.lineSeparator()).append("---").append(System.lineSeparator());

    System.out.print(outputMd);
    Files.writeString(OUTPUT_MD, outputMd, StandardCharsets.UTF_8);
  }

  // ── 生成役 ＝ Claude ──
  private LlmResponse generateMemo(Collection<String> required, String promptPatch) {
    String system = "あなたは整骨院市場の調査メモを書くアシスタント。【必須観点】に挙げた観点を必ず本文に含め、簡潔に書け。";
    String user = "【お題】国内整骨院市場の概況\n【必須観点】" + JAPANESE_COMMA.join(required);
    if (StringUtils.isNotBlank(promptPatch)) {
      user += "\n【前回までのレビューを整理した改善指示】\n" + promptPatch;
    }

    return llm.generate(MODEL, system, user);
  }

  private String buildPromptPatch(Collection<String> critiques) {
    if (critiques.isEmpty()) {
      return "";
    }

    String system =
        """
        あなたは生成プロンプトを改善する編集者です。
        蓄積されたレビュー指摘を統合し、次回生成に渡す改善指示だけを簡潔に整理してください。
        重複する内容はまとめ、優先順位が分かるようにしてください。
        """;
    String user =
        """
        【蓄積されたレビュー指摘】
        %s

        【出力条件】
        - 日本語で出力する
        - 箇条書きは最大5項目
        - レビュー本文の引用や履歴説明は不要
        - 次回生成で実行すべき具体的な改善指示だけを書く
        """.formatted(
            critiques.stream()
                .map(critique -> "- " + critique)
                .collect(Collectors.joining(System.lineSeparator())));

    return StringUtils.trimToEmpty(llm.generate(MODEL, system, user).text());
  }

  // ── 評価役 ＝ Claude ──
  private Review reviewWithLlm(String memo) {
    String system =
      """
      あなたは市場調査レポートの厳格な品質評価者です。
      評価対象は「国内整骨院市場の概況」です。

      次の観点ごとに、本文内で実質的に説明されているかを評価してください。
      観点名が書かれているだけでは充足とみなしません。

      【評価観点】
      %s

      【採点基準】
      100点満点で採点する。
      以下を厳しく減点すること。

      - 数値がない、または市場規模・成長率・シェアが曖昧: 大幅減点
      - 出典がない、または出典名だけで具体的な根拠がない: 大幅減点
      - 主要プレイヤーが具体名で挙がっていない: 減点
      - 競争環境・参入障壁・価格帯・規制の説明が一般論に留まる: 減点
      - 整骨院市場と、整体・接骨院・鍼灸・リラクゼーション等の隣接市場が混同されている: 大幅減点
      - 需要トレンドや政策・保険制度への言及が浅い: 減点
      - KPIが事業評価に使える粒度になっていない: 減点

      【スコア目安】
      90-100: 実務で使える。数値・出典・比較・論点が揃っている。
      75-89: 概ね良いが、一部の観点が浅い。
      60-74: 網羅はしているが、具体性や根拠が弱い。
      40-59: 一般論が多く、市場調査として弱い。
      0-39: 観点不足または根拠不足が大きい。

      【出力形式】
      JSONのみで返してください。
      {
        "score": 整数,
        "missing": "最も弱い観点名 or null",
        "critique": "次回の生成で必ず改善すべき具体的指摘を1つ"
      }

      missing には必ず評価観点リスト内の名称を使ってください。
      critique は「もっと詳しく」ではなく、次回プロンプトにそのまま渡せる具体指示にしてください。
      """.formatted(String.join(" / ", ASPECTS));

    return parseReview(llm.generate(MODEL, system, "【メモ】\n" + memo));
  }

  // ── 本体：ASPECTS全体を含むプロンプトを評価役の指摘で改善し続ける ──
  private void evaluatorOptimizer() {
    Set<String> prompt = new LinkedHashSet<>(ASPECTS);
    Set<String> critiques = new LinkedHashSet<>();
    String promptPatch = "";

    outputMd.append("[evaluator-optimizer（全観点入りプロンプトをレビュー結果で改善し再生成）]").append(System.lineSeparator());
    outputMd.append("観点: %s%n".formatted(prompt));

    for (int round = 1; round <= EVALUATOR_OPTIMIZER_ROUNDS; round++) {
      LlmResponse memo = generateMemo(prompt, promptPatch);
      Review review = reviewWithLlm(memo.text());

      outputMd.append("""

          ----- round %d 生成メモ -----
          %s

            round %d: %d点 ／ 指摘「%s」: %s
          """.formatted(
              round,
              memo.text(),
              round,
              review.score(),
              review.missing(),
              review.critique()));

      if (review.hasNewMissingAspect(prompt)) {
        prompt.add(review.missing());
      }
      if (StringUtils.isNotBlank(review.critique())) {
        critiques.add(review.critique());
        promptPatch = buildPromptPatch(critiques);
      }
    }

    outputMd.append("  → 改善後プロンプトの改善指示: %s%n".formatted(promptPatch));

    LlmResponse finalMemo = generateMemo(prompt, promptPatch);
    Review finalReview = reviewWithLlm(finalMemo.text());

    outputMd.append("""

        ===== 改善後プロンプトによる最終回答 =====
        %s

          final: %d点 ／ 指摘「%s」: %s
        """.formatted(
            finalMemo.text(),
            finalReview.score(),
            finalReview.missing(),
            finalReview.critique()));
  }

  // ── 比較：レビュー結果を使わず毎回ゼロから書き直す ──
  private void blindRetry() {
    outputMd.append("[blind retry（レビュー結果を使わず毎回書き直す・プロンプト改善なし）]").append(System.lineSeparator());

    for (int round = 1; round <= BLIND_RETRY_ROUNDS; round++) {
      LlmResponse memo = generateMemo(ASPECTS, "");
      Review review = reviewWithLlm(memo.text());

      outputMd.append("""

          ----- blind retry round %d 生成メモ -----
          使用した観点: %s
          %s

            round %d: %d点
          """.formatted(round, ASPECTS, memo.text(), round, review.score()));
    }
  }

  private static Review parseReview(LlmResponse response) {
    try {
      return JSON.readValue(stripCodeFence(response.text()), Review.class);
    } catch (JacksonException e) {
      throw new IllegalArgumentException("レビュー結果のJSONを解析できませんでした: " + response.text(), e);
    }
  }

  private static String stripCodeFence(String raw) {
    return StringUtils.trimToEmpty(raw)
        .replaceFirst("^```(?:json)?\\s*", "")
        .replaceFirst("\\s*```$", "")
        .trim();
  }

  public static void main(String[] args) throws IOException {
    if (StringUtils.isBlank(API_KEY)) {
      System.err.println("ANTHROPIC_API_KEY を設定してください。");
      return;
    }

    new EvaluatorOptimizer(new AnthropicTextGenerator()).run();
  }
}