Scientific Thinking Scholar Evaluation

# Scholar Evaluation

このスキルを使用して、再現可能なルーブリックで学術的または科学的な作業を評価します。

## 使用するタイミング

- 研究論文、提案書、論文章、または文献レビューのレビュー。
- 主張が引用された証拠によって支持されているかの確認。
- 方法論、研究デザイン、分析、または限界の評価。
- 品質または関連性について2つ以上の論文を比較する。
- 改訂のための構造化されたフィードバックの作成。

## 評価の範囲

まず成果物を特定します:

- 実証的研究論文
- 理論論文
- 技術レポート
- システマティックまたはナラティブ文献レビュー
- 研究提案書
- 論文または学位論文の章
- 学会アブストラクトまたは短い論文

次に範囲を選択します:

- **包括的**: すべてのルーブリック次元
- **的を絞った**: 1つまたは2つの次元（方法や引用など）
- **比較的**: 同じルーブリックに対して複数の作品をランク付け

## ルーブリック

該当する各次元を1から5でスコアリング:

- 5: 優れている；明確、厳密で、出版の準備ができている
- 4: 良好；軽微な改善が必要
- 3: 適切；意味のあるギャップがあるが使用可能
- 2: 弱い；実質的な改訂が必要
- 1: 不十分；主要な有効性または明確性の問題

適用されない次元には `N/A` を使用します。

### 1. 問題と研究質問

- 問題は明確かつ具体的か？
- 貢献は意義があるか？
- 範囲と前提は明示的か？
- 質問は主張された貢献と一致しているか？

### 2. 文献とコンテキスト

- 関連する先行研究はカバーされているか？
- 作業はソースを単に列挙するのではなく統合しているか？
- ギャップは正確に特定されているか？
- 最近のソースと基礎的なソースはバランスが取れているか？

### 3. 方法論

- 方法は研究質問に答えるか？
- デザインの選択は正当化されているか？
- 変数、データセット、参加者、または材料は明確に説明されているか？
- 別の研究者が研究を再現できるか？
- 倫理的および実際的な制約は認識されているか？

### 4. データと証拠

- データソースは信頼性があり適切か？
- サンプルサイズまたはコーパスのカバレッジは十分か？
- 包含、除外、前処理の決定は文書化されているか？
- 欠損データとバイアスのリスクは議論されているか？

### 5. 分析

- 統計的、定性的、または計算的方法は適切か？
- ベースラインとコントロールは公正か？
- 必要に応じて不確実性、感度、またはロバスト性のチェックが含まれているか？
- 代替の説明は考慮されているか？

### 6. 結果と解釈

- 結果は明確に提示されているか？
- 主張は証拠の範囲内に留まっているか？
- 図、表、メトリクスは理解しやすいか？
- 否定的または帰無的な結果は正直に扱われているか？

### 7. 限界と妥当性への脅威

- 限界は一般的でなく具体的か？
- 内部、外部、構成概念、結論の妥当性リスクは対処されているか？
- 論文は投機的な結果と実証された結果を区別しているか？

### 8. 文章と構造

- 論証は理解しやすいか？
- セクションは研究質問を中心に構成されているか？
- 定義と表記は明確か？
- トーンは正確で学術的か？

### 9. 引用