[HW6] Gradescope error regarding validated tests

[sanguineman]

이름 Your Name

박정원 Jeongwon Park

질문 Question

안녕하세요,

Gradescope에 과제를 제출하였는데 아래 보이는 사진과 같이

All submitted tests must be valid (validated: 5, submitted: 10)

라는 에러와 함께 채점이 진행되지 않아 문의드립니다.

과제 환경에서 make validate 를 통해 제출한 10개 테스트가 모두 pass 하는 것을 확인하였음에도 위와 같은 오류가 나는데 혹시 확인 한번 부탁드려도 될까요?

번역본 Translated Version

Hello,

I submitted my assignment to Gradescope, but as shown in the screenshot below, grading does not proceed and I receive the following error:

All submitted tests must be valid (validated: 5, submitted: 10)

I checked in the assignment environment that all 10 submitted tests pass by running make validate, but the same error still appears on Gradescope.

Could you please take a look and help me check what might be causing this issue?

[goodtaeeun]

테스트에 대한 요구사항은 다음과 같습니다.

1. 모든 테스트는 명시된 위치에 실제 워터마크가 존재해야 합니다(여러 지점 가능).
2. 모든 테스트는 명시된 위치 이외에는 워터마크가 존재하지 않아야 합니다.
3. 테스트는 최소 5개 이상 추가되어야 합니다.

과제 환경에서의 make validate는 주어진 입력으로 프로그램 실행 시 명시된 위치에 워터마크가 관찰되는지 자동으로 확인해 줍니다. 오토그레이더에서는 추가로 그 외 지점에서 워터마크가 관찰될 가능성이 있는지를 검사합니다. 따라서 명시된 위치 이외에도 워터마크가 존재할 가능성이 있는지 확인해 보시길 바랍니다.

---

We require the following for your submitted tests:

1. Each test must have true watermarks at the specified locations.
2. Each test must not have any potential watermarks other than the ones at the specified locations.
3. There must be at least 5 tests.

Running make validate in your repository will check whether the watermark is observed at the specified locations when the program runs with the provided input. Autograder additionally checks if there is a possibility of a watermark in any other locations. Please check if your test has a potential watermark in locations not specified in the expected file.

[sanguineman]

답변 감사드립니다.

make validate이 1번 경우만 체크한다는 것은 이해했습니다.

다만, 2번 경우에 대해 질문드리고 싶은 것이 워터마크는 check_watermark의 policy에 따라서 어떤 것을 watermark로 볼 것인지 다른 것인데, 오토그레이더에서 추가로 그 외 지점에서 워터마크가 관찰될 가능성이 있는지 검사한다는 것이 어떤 의미인지 궁금합니다.

또한, 제출한 모든 테스트 케이스에 대해서 혹시 몰라 각 함수의 맨 마지막 라인에 10개 모두 같은 패턴의 watermark 를 추가하여 적어도 제가 확인하였을 때는 테스트케이스마다 한 개의 watermark를 가지도록 하였는데, 채점 서버에서는 계속 10개 중 5개만 validate 되었다고 나와서 혹시 제가 놓치고 있는 부분이 있을지 여쭤보고 싶습니다.

[goodtaeeun]

안녕하세요. 체커의 구현은 자유이지만, 목표는 check if the given instruction can be evaluated to a value that has the remainder of 829 when divided by 2017, 즉, 워터마크가 발생할 가능성이 있는지를 검사하는 것입니다. 또한, 이번 과제의 테스트는 꼭 워터마크가 한 곳에서만 발생할 필요가 없습니다. 주어진 입력으로 여러 군데에서 워터마크가 관찰되어도 상관없으나, 명시된 지점 외에서는 어떠한 입력으로도 워터마크가 발생하지 않아야 합니다.

[sanguineman]

답변 감사드립니다. "명시된 지점 외에는 어떠한 입력으로도 워터마크가 발생하지 않아야 된다" 라는 말씀이 제출한 example*.input에서 명시한 입력 외에도 829와 같은 값을 입력으로 주었을 때도 워터마크가 명시된 지점 이외에는 발생하지 않는다 라는 것이 맞을까요? 즉, Gradescope에서는 제출한 example*.input 외에 다른 입력으로 프로그램을 실행시켜보아 워터마크가 발생하는지 체크한다는 말로 이해해도 될까요? 항상 감사드립니다.

[goodtaeeun]

네, 이전 분석기 과제와 같은 기준입니다. 단지 분모/포인터가 0이 될 가능성 대신 변수를 2017로 나눈 나머지가 829가 될 가능성을 검사한다고 생각하시면 됩니다. 참고로 autograder는 여러 입력으로 프로그램을 실행하는 것이 아니라 seahorn이라는 프로그램 검증 도구를 사용합니다.