MCP 서버

llm-output-quality-monitor

io.github.lazymac2x/llm-output-quality-monitor
AI 및 에이전트 개발자 도구 공개 · 연결 가능 MCP 2026-07-28

이 MCP로 할 수 있는 일

Checks LLM responses for consistency, quality, schema compliance, drift, and heuristic hallucination risk.

consistency_check
Check consistency across multiple LLM responses
입력 스키마
{'type': 'object', 'required': ['responses'], 'properties': {'responses': {'type': 'array', 'items': {'type': 'string'}, 'description': 'Array of responses to compare'}}}
drift_detector
Detect quality drift between current and previous LLM responses
입력 스키마
{'type': 'object', 'required': ['currentResponse', 'previousResponse'], 'properties': {'threshold': {'type': 'number', 'description': 'Drift threshold (0-1, default: 0.15)'}, 'currentResponse': {'type': 'string', 'description': 'Current LLM response'}, 'previousResponse': {'type': 'string', 'description': 'Previous LLM response'}}}
hallucination_scorer
Pattern-based heuristic risk scoring for LLM responses (0-100). Detects linguistic signals such as contradictory assertions, unsourced claims, and uncertainty markers. Not a semantic hallucination detector.
입력 스키마
{'type': 'object', 'required': ['response'], 'properties': {'context': {'type': 'string', 'description': 'Reference context for grounding'}, 'response': {'type': 'string', 'description': 'LLM response to analyze'}}}
quality_validator
Validate LLM response quality based on length, format, and structure
입력 스키마
{'type': 'object', 'required': ['response'], 'properties': {'response': {'type': 'string', 'description': 'LLM response to validate'}, 'maxLength': {'type': 'number', 'description': 'Maximum response length (default: 10000)'}, 'minLength': {'type': 'number', 'description': 'Minimum response length (default: 10)'}, 'strictFormat': {'type': 'boolean', 'description': 'Enforce punctuation and capitalization'}}}
schema_enforcer
Validate JSON response against schema
입력 스키마
{'type': 'object', 'required': ['response', 'schema'], 'properties': {'schema': {'type': 'object', 'description': 'JSON schema definition'}, 'response': {'type': 'string', 'description': 'JSON response to validate'}}}
추가됨
consistency_check
2026년 9월 17일 12:43 PM
추가됨
schema_enforcer
2026년 9월 17일 12:43 PM
추가됨
hallucination_scorer
2026년 9월 17일 12:43 PM
추가됨
drift_detector
2026년 9월 17일 12:43 PM
추가됨
quality_validator
2026년 9월 17일 12:43 PM