最新のプロンプトエンジニアリング - 書く技術から、評価する技術へ

import static java.nio.charset.StandardCharsets.UTF_8;

import com.anthropic.client.AnthropicClient;
import com.anthropic.client.okhttp.AnthropicOkHttpClient;
import com.anthropic.models.beta.AnthropicBeta;
import com.anthropic.models.beta.agents.AgentCreateParams;
import com.anthropic.models.beta.agents.BetaManagedAgentsAgentToolset20260401Params;
import com.anthropic.models.beta.agents.BetaManagedAgentsModel;
import com.anthropic.models.beta.agents.BetaManagedAgentsModelConfigParams;
import com.anthropic.models.beta.environments.EnvironmentCreateParams;
import com.anthropic.models.beta.files.FileDownloadParams;
import com.anthropic.models.beta.files.FileListParams;
import com.anthropic.models.beta.sessions.SessionCreateParams;
import com.anthropic.models.beta.sessions.events.BetaManagedAgentsTextRubricParams;
import com.anthropic.models.beta.sessions.events.BetaManagedAgentsUserDefineOutcomeEventParams;
import com.anthropic.models.beta.sessions.events.EventSendParams;
import java.io.IOException;
import java.io.InputStream;
import java.time.OffsetDateTime;
import java.util.ArrayList;
import java.util.List;

/**
 * Managed Agents の Memory を使い、共通ポリシーと顧客別トーンを分離して保持するデモ。
 *
 * 初回セットアップ: mvn -q compile exec:java -Dexec.args="setup"
 * 通常実行: mvn -q compile exec:java
 */
public final class OutcomeRubricDemo {

  private static final int MAX_ITERATIONS = 5;
  private static final String MINUTES =
      """
      # 定例ミーティング議事録
      日時: 2026年8月3日（月）10:00-10:40
      出席: 田中（PM）、佐藤（開発）、鈴木（デザイン）、高橋（CS）

      ## 新規登録画面のリリースについて
      田中: 先週のβで登録完了率が62%だった。目標の75%には届いていない。
      鈴木: 入力項目が多すぎるのが原因だと思う。項目を削る案を出したい。
      田中: では鈴木さん、今週金曜までに削減案をお願いします。
      佐藤: 削るならバックエンドのバリデーションも直す必要がある。案が出てから見積もります。

      ## 問い合わせ対応の状況
      高橋: 登録できないという問い合わせが先週12件。うち8件は同じエラーだった。
      佐藤: そのエラーは把握している。原因はまだ特定できていない。ログを追う。
      田中: 原因が分かった時点で共有してください。期限は切らないが、優先度は高い。

      ## 次回の広告出稿
      田中: 来月の予算をどうするか決めたいが、今日は判断材料が足りない。
      高橋: CVRのデータを揃えます。
      田中: 次回に持ち越しましょう。
      """;

  private static final String TASK =
      "渡した議事録から、アクションアイテムの一覧を "
          + "/mnt/session/outputs/actions.md として作成してください。\n\n"
          + MINUTES;

  private static final String RUBRIC_VAGUE =
      """
      # アクションアイテム一覧の採点表

      - 議事録の内容が漏れなくまとまっていること
      - 読みやすく、実務で使える形式であること
      - 全体としてよくできていること
      """;

  private static final String RUBRIC_SPECIFIC =
      """
      # アクションアイテム一覧の採点表

      次の各項目を、成果物と元の議事録を突き合わせて個別に判定してください。

      ## 網羅
      - 議事録で誰かがやると述べた作業が、すべて項目として挙がっている

      ## 各項目の要素
      - 担当者が書かれている。議事録から特定できない場合は「未定」と明記されている
      - 期限が書かれている。議事録から特定できない場合は「期限なし」と明記されている
      - 期限は「今週金曜」ではなく「yyyy-MM-dd」のように日付で書かれている

      ## 決定と未決の分離
      - 決まったことと、次回に持ち越された議題が、別の節に分かれている

      ## 事実の忠実さ
      - 議事録に書かれていない担当者・期限・数値・結論が追加されていない
      - 議事録にある数値（登録完了率62%、問い合わせ12件、うち8件）が改変されていない
      """;

  private final AnthropicClient client;

  private OutcomeRubricDemo(AnthropicClient client) {
    this.client = client;
  }

  public static void main(String[] args) {
    var demo = new OutcomeRubricDemo(AnthropicOkHttpClient.fromEnv());
    if (args.length > 0 && args[0].equalsIgnoreCase("setup")) demo.setup();
    else demo.runComparison();
  }

  private void setup() {
    var environment =
        client
            .beta()
            .environments()
            .create(EnvironmentCreateParams.builder().name("minutes-actions-environment").build());

    var agent =
        client
            .beta()
            .agents()
            .create(
                AgentCreateParams.builder()
                    .name("minutes-to-actions")
                    .model(
                        BetaManagedAgentsModelConfigParams.builder()
                            .id(BetaManagedAgentsModel.CLAUDE_SONNET_5)
                            .build())
                    .system(
                        "あなたは議事録を整理する担当です。"
                            + "議事録に書かれていないことを補わないでください。"
                            + "担当者や期限が不明なら、推測せず『未定』『期限なし』と記してください。")
                    .addTool(
                        BetaManagedAgentsAgentToolset20260401Params.builder()
                            .type(
                                BetaManagedAgentsAgentToolset20260401Params.Type
                                    .AGENT_TOOLSET_20260401)
                            .build())
                    .build());

    System.out.println("# Managed Agents セットアップ結果");
    System.out.println();
    System.out.println("- Environment ID: `" + environment.id() + "`");
    System.out.println("- Agent ID: `" + agent.id() + "`");
    System.out.println();
    System.out.println("## 環境変数");
    System.out.println();
    System.out.println("```bash");
    System.out.println("export ANTHROPIC_ENVIRONMENT_ID=\"" + environment.id() + "\"");
    System.out.println("export ANTHROPIC_AGENT_ID=\"" + agent.id() + "\"");
    System.out.println("```");
  }

  private void runComparison() {
    var environmentId = System.getenv("ANTHROPIC_ENVIRONMENT_ID");
    var agentId = System.getenv("ANTHROPIC_AGENT_ID");
    var vague = run(environmentId, agentId, "採点表A（ざっくり）", RUBRIC_VAGUE);
    var specific = run(environmentId, agentId, "採点表B（具体的）", RUBRIC_SPECIFIC);

    System.out.println("# Outcome Rubric 比較結果");
    System.out.println();
    System.out.println("生成日時: " + OffsetDateTime.now());
    System.out.println();
    System.out.println("## まとめ");
    System.out.println();
    System.out.println("| 採点表 | 最終結果 | 評価回数 |");
    System.out.println("|---|---:|---:|");
    printSummaryRow(vague);
    printSummaryRow(specific);

    printReport(vague);
    printReport(specific);
  }

  private RunReport run(String environmentId, String agentId, String label, String rubric) {
    var session =
        client
            .beta()
            .sessions()
            .create(
                SessionCreateParams.builder()
                    .environmentId(environmentId)
                    .agent(agentId)
                    .title(label)
                    .build());

    client
        .beta()
        .sessions()
        .events()
        .send(
            EventSendParams.builder()
                .sessionId(session.id())
                .addEvent(
                    BetaManagedAgentsUserDefineOutcomeEventParams.builder()
                        .type(
                            BetaManagedAgentsUserDefineOutcomeEventParams.Type.USER_DEFINE_OUTCOME)
                        .description(TASK)
                        .rubric(
                            BetaManagedAgentsTextRubricParams.builder()
                                .type(BetaManagedAgentsTextRubricParams.Type.TEXT)
                                .content(rubric)
                                .build())
                        .maxIterations(MAX_ITERATIONS)
                        .build())
                .build());

    var evaluations = new ArrayList<Evaluation>();
    String finalResult = "unknown";
    int iterations = 0;
    boolean evaluationSeen = false;

    try (var response =
        client.beta().sessions().events().streamStreaming(session.id())) {

      var events = response.stream().iterator();
      while (events.hasNext()) {
        var event = events.next();
        if (event.isSpanOutcomeEvaluationEnd()) {
          var evaluation = event.asSpanOutcomeEvaluationEnd();
          finalResult = evaluation.result();
          iterations = Math.max(iterations, evaluation.iteration() + 1);
          evaluationSeen = true;
          evaluations.add(
              new Evaluation(
                  evaluation.iteration() + 1, evaluation.result(), evaluation.explanation()));
        }

        if (evaluationSeen && event.isSessionStatusIdle()) {
          break;
        }

        if (event.isSessionError()) {
          throw new IllegalStateException("Managed Agents session error: " + event.asSessionError());
        }

        if (event.isSessionStatusTerminated()) {
          break;
        }
      }
    }

    List<Deliverable> deliverables = downloadDeliverables(session.id());
    return new RunReport(label, session.id(), finalResult, iterations, evaluations, deliverables);
  }

  private List<Deliverable> downloadDeliverables(String sessionId) {
    var files =
        client
            .beta()
            .files()
            .list(
                FileListParams.builder()
                    .scopeId(sessionId)
                    .limit(1000)
                    .addBeta(AnthropicBeta.MANAGED_AGENTS_2026_04_01)
                    .build());

    var deliverables = new ArrayList<Deliverable>();
    for (var file : files.data()) {
      deliverables.add(new Deliverable(file.filename(), download(file.id())));
    }
    return deliverables;
  }

  private String download(String fileId) {
    try (InputStream body =
        client
            .beta()
            .files()
            .download(
                FileDownloadParams.builder()
                    .fileId(fileId)
                    .addBeta(AnthropicBeta.MANAGED_AGENTS_2026_04_01)
                    .build())
            .body()) {
      return new String(body.readAllBytes(), UTF_8);
    } catch (IOException exception) {
      return "（取得に失敗しました: " + exception.getMessage() + "）";
    }
  }

  private static void printSummaryRow(RunReport report) {
    System.out.println(
        "| "
            + report.label()
            + " | "
            + report.result()
            + " | "
            + report.iterations()
            + " |");
  }

  private static void printReport(RunReport report) {
    System.out.println();
    System.out.println("## " + report.label());
    System.out.println();
    System.out.println("- Session ID: `" + report.sessionId() + "`");
    System.out.println("- 最終結果: `" + report.result() + "`");
    System.out.println("- 評価回数: " + report.iterations());
    System.out.println();
    System.out.println("### Grader評価履歴");
    System.out.println();

    if (report.evaluations().isEmpty()) {
      System.out.println("評価イベントを取得できませんでした。");
    } else {
      for (Evaluation evaluation : report.evaluations()) {
        System.out.println(
            "#### Iteration " + evaluation.iteration() + " — `" + evaluation.result() + "`");
        System.out.println();
        System.out.println(evaluation.explanation());
        System.out.println();
      }
    }

    System.out.println("### 成果物");
    System.out.println();
    if (report.deliverables().isEmpty()) {
      System.out.println("成果物はありません。");
      return;
    }

    for (Deliverable deliverable : report.deliverables()) {
      System.out.println("#### " + deliverable.filename());
      System.out.println();
      System.out.println("```markdown");
      System.out.print(deliverable.content());
      if (!deliverable.content().endsWith("\n")) {
        System.out.println();
      }
      System.out.println("```");
      System.out.println();
    }
  }

  private record Evaluation(int iteration, String result, String explanation) {}

  private record Deliverable(String filename, String content) {}

  private record RunReport(
      String label,
      String sessionId,
      String result,
      int iterations,
      List<Evaluation> evaluations,
      List<Deliverable> deliverables) {}
}