AI Fluency: Framework & Foundations | Lesson 10「Discernment を詳しく見る(A closer look at Discernment)」
出典: Anthropic Academy / 2026-07-04
日本語ナレッジ(本文の自然な全訳)
このレッスンで学ぶこと
このレッスンを終えると、次のことができるようになります。
- AI の出力とプロセスを思慮深く評価する方法を理解する
- AI とのやり取りのための批判的思考スキルを養う
- AI とのやり取りにおける品質上の懸念を特定し、対処する方法を学ぶ
A Closer Look at Discernment(動画・5分)
この動画は、Discernment(識別)——AI の出力・プロセス・振る舞いを思慮深く評価することに焦点を当てた AI Fluency コンピテンシー——を探ります。Discernment は Description の裏返し です。Description が自分の意図を明確に伝える助けになるのに対し、Discernment は、受け取ったものが自分のニーズを満たしているかを評価する助けになります。3種類の Discernment を紹介します。
- Product Discernment(成果物の識別): AI の出力の質を評価すること
- Process Discernment(プロセスの識別): AI がそのタスクにどう取り組んだかを評価すること
- Performance Discernment(振る舞いの識別): やり取りそのものの中で AI がどう振る舞ったかを評価すること
これらのスキルは合わせて、あなたの AI 協働が、思慮深い人間の判断に導かれ続けることを確実にする助けになります。
Key takeaways(要点)
- Discernment とは、AI が何を生み出すか・どう生み出すか・どう振る舞うかを、思慮深く評価するあなたの能力
- Product Discernment は、実際の出力の質(正確さ・適切さ・一貫性・関連性)を評価することに焦点を当てる
- Process Discernment は、AI がどうやってその出力にたどり着いたかを評価すること。論理的な誤り・注意の欠落・不適切な推論を探す
- Performance Discernment は、協働プロセスそのものの中で AI がどう振る舞うかを評価すること。そのコミュニケーションスタイルが自分のニーズに対して効果的かを検討する
- Discernment は、絶え間ないフィードバックループの中で Description と手を取り合って働く
- 最も高度な AI システムでさえ、人間の判断と監督から恩恵を受ける
演習(Exercises)
Expert Discernment: 自分の専門分野で AI の応答を評価する
活動のゴール
自分が専門性を持つ分野で AI 生成コンテンツを評価することで、Product・Process・Performance の各 Discernment を実践し、自分の知識が AI 出力を批判的に評価する力をどう高めるかを認識する。
手順
ステップ1: 自分の専門分野に戻る
以前の演習(Lesson 3, 演習2「好きなことを探る」)で Claude と話したトピックを思い出す。強い知識と情熱を持っているトピックだったはず。
ステップ2: 複数の説明を求める
Claude と新しい会話を始め、その専門トピックの特定の側面について、3つの異なる説明または分析を生成するよう頼む。例えば:
- トピックが写真なら、被写界深度(depth of field)について3つの異なる説明を求める
- トピックが料理なら、発酵技法について3つの異なる分析を求める
- トピックが歴史なら、特定の歴史的出来事について3つの異なる視点を求める
ステップ3: 専門家としての Discernment を適用する
自分の専門知識を頼りに、Claude が示した各説明を丁寧に評価する。
Product Discernment:
- どの説明が最も正確な情報を含むか?
- 事実の誤りや誤解はないか?
- 詳細のレベルは、このトピックを学び始める人にとって適切か?
Process Discernment:
- Claude は各説明で論理的な推論をたどっているか?
- 分析や思考プロセスに抜けはないか?
- 概念どうしを適切に結びつけているか?
Performance Discernment:
- Claude はあなたの具体的な問いに注意を払い、フィードバックや方向づけに応じたか?
- 用語はトピックに対して適切に使われているか?
- トーンやスタイルは説明の明快さにどう影響するか?
ステップ4: フィードバックと改善
評価に基づき:
- 最も強い説明を特定し、なぜ効果的なのかを具体的に Claude に伝える
- 最も弱い説明を特定し、何が問題なのかを具体的にフィードバックする
- あなたが特定した問題に対処した改善版を、Claude と一緒に作る
ステップ5: リフレクション
同じチャットで Claude と話し合う:
- これらの説明の強み・弱みを特定するのに役立った、あなた固有の知識は何だったか?
- あなたの専門性を持たない人は、これらの説明の質を見極めるのにどう苦労し得るか?
- この経験は、ドメイン知識と効果的な Discernment の関係について何を教えてくれるか?
より遊び心のある Discernment のトレーニングとしては、最終レッスン(「Additional Activities」)にある「Game Night」の提案を試すのもよいでしょう。
リフレクション(振り返り)
先へ進む前に、少し考えてみましょう。
- Discernment の種類(Product・Process・Performance)のうち、適用するのが最も難しいと感じるのはどれで、それはなぜですか?
- Discernment は Description をどう補完しますか? 両者はどう連携しますか?
- AI の出力がより綿密な吟味を要すると示す、どんな兆候やパターンがあり得ますか?
次のレッスン
次のレッスンでは、Description と Discernment の両スキルを、コース全体を貫くプロジェクトに適用する機会があります。AI と効果的にコミュニケーションし、その出力を批判的に評価することについて学んだことを実践し、人間と AI 双方の能力の最良を活かした成果を生み出します。
謝辞とライセンス
Copyright 2025 Rick Dakan, Joseph Feller, and Anthropic. CC BY-NC-SA 4.0 ライセンスで公開。本コースは Dakan と Feller による The AI Fluency Framework に基づく。アイルランド高等教育機構および National Forum for the Enhancement of Teaching and Learning の支援を一部受けている。
英語原文
What you'll learn
By the end of this lesson, you'll be able to:
- Understand how to evaluate AI outputs and processes thoughtfully
- Develop critical thinking skills for your AI interactions
- Learn to identify and address quality concerns in your AI interactions
A Closer Look at Discernment (5 minutes)
This video explores Discernment, the AI Fluency competency focused on thoughtfully evaluating AI outputs, processes, and behaviors. We explain that Discernment is the flip side of Description. While Description helps you communicate your intentions clearly, Discernment helps you evaluate whether what you receive meets your needs. The video introduces three types of Discernment:
- Product Discernment: Evaluating the quality of AI outputs
- Process Discernment: Assessing how the AI approached the task
- Performance Discernment: Evaluating how the AI behaved during the interaction itself
Together, these skills help ensure that your AI collaboration remains guided by thoughtful human judgment.
Key takeaways
- Discernment is your ability to thoughtfully evaluate what AI produces, how it produces it, and how it behaves
- Product Discernment focuses on evaluating the quality of actual outputs (accuracy, appropriateness, coherence, relevance)
- Process Discernment involves assessing how the AI arrived at its output, looking for logical errors, attention gaps, or inappropriate reasoning
- Performance Discernment evaluates how the AI behaves within the collaboration process itself, considering whether its communication style is effective for your needs
- Discernment works hand-in-hand with Description in a continuous feedback loop
- Even the most advanced AI systems benefit from human judgment and oversight
Exercises — Expert Discernment: Evaluating AI Responses in Your Domain
Activity Goal: Practice Product, Process, and Performance Discernment by evaluating AI-generated content in a domain where you have expertise, recognizing how your knowledge enhances your ability to critically assess AI outputs.
Instructions
Step 1: Return to Your Area of Expertise
Recall the topic you discussed with Claude in the earlier exercise (Lesson 2, Exercise 2: "Explore something you love"). This was a topic where you had strong knowledge and passion.
Step 2: Ask for Multiple Explanations
Start a new conversation with Claude and ask it to generate three different explanations or analyses about a specific aspect of your expert topic. For example:
- If your topic was photography, you might ask for three different explanations of depth of field
- If your topic was cooking, you might ask for three different analyses of fermentation techniques
- If your topic was history, you might ask for three different perspectives on a specific historical event
Step 3: Apply Your Expert Discernment
Drawing on your expertise, carefully evaluate each explanation provided by Claude:
Product Discernment:
- Which explanation contains the most accurate information?
- Are there any factual errors or misconceptions?
- Is the level of detail appropriate for someone learning about this topic?
Process Discernment:
- Does Claude follow logical reasoning in each explanation?
- Are there gaps in its analysis or thinking process?
- Does Claude make appropriate connections between concepts?
Performance Discernment:
- Was Claude attentive to your specific question and responsive to feedback and direction?
- Is terminology used appropriately for the topic?
- How does the tone and style affect the clarity of the explanation?
Step 4: Provide Feedback and Refinement
Based on your evaluation:
- Identify the strongest explanation and specifically tell Claude specifically why it's effective
- Identify the weakest explanation and provide specific feedback on what makes it problematic
- Work with Claude to create an improved version that addresses the issues you identified
Step 5: Reflection
Discuss with Claude (in the same chat):
- What specific knowledge did you have that allowed you to identify strengths or weaknesses?
- How might someone without your expertise struggle to discern the quality of these explanations?
- What does this experience teach you about the relationship between domain knowledge and effective Discernment?
For a more playful Discernment workout, you might want to try some of the "Game Night" suggestions in the final lesson ("Additional Activities").
Reflection
Before moving on, take a moment to consider:
- Which type of Discernment (Product, Process, or Performance) do you find most challenging to apply, and why?
- How does Discernment complement Description? How do they work together?
- What signals or patterns might indicate that an AI output requires closer scrutiny?
What's next
In the next lesson, you'll have the opportunity to apply both Description and Discernment skills to your overarching course project. You'll put into practice what you've learned about effectively communicating with AI and critically evaluating its outputs to produce results that leverage the best of both human and AI capabilities.
Acknowledgments and license
Copyright 2025 Rick Dakan, Joseph Feller, and Anthropic. Released under the CC BY-NC-SA 4.0 license. This course is based on The AI Fluency Framework by Dakan and Feller. Supported in part by the Higher Education Authority, Ireland, through the National Forum for the Enhancement of Teaching and Learning.