]> https://gitweb.dealii.org/ - dealii.git/commitdiff
update testsuite documentation 5239/head
authorTimo Heister <timo.heister@gmail.com>
Fri, 13 Oct 2017 19:38:00 +0000 (15:38 -0400)
committerTimo Heister <timo.heister@gmail.com>
Fri, 20 Oct 2017 20:19:39 +0000 (16:19 -0400)
cmake/macros/macro_deal_ii_pickup_tests.cmake
doc/developers/testsuite.html
tests/run_testsuite.cmake

index 581cc97fa1c205d2075484763ce6538f310112cc..1ce3748519b3a36865b44ed391362fc82ceb6c92 100644 (file)
 #       - specifying a test target to be executed for a parameter run.
 #
 #     TEST_TIME_LIMIT
-#       - specifying the maximal wall clock time in seconds a test is
-#         allowed to run
+#       - Specifies the maximal wall clock time in seconds a test is
+#         allowed to run. Defaults to 600.
+#     TEST_PICKUP_REGEX
+#       - A regular expression to select only a subset of tests during setup.
+#         An empty string is interpreted as a catchall (this is the default).
 #
 # Either numdiff (if available), or diff are used for the comparison of
 # test results. Their location can be specified with NUMDIFF_DIR and
index 6b18642dfca1bb5f4d17f32d4b2c244411d85b9b..7d8c6255707970fe0800e19cae2ce8311f024127 100644 (file)
     <h1>The deal.II Testsuite</h1>
 
     <p>
-      deal.II has a testsuite that has, at the time this article was last
-      updated (April 2015), some 3,600 small programs (growing by roughly
-      one per day) that we run every time we make a change to make sure
-      that no existing functionality is broken. The expected output for
-      every test is stored in an <code>*.output</code>, and when you run a
-      test you are notified if a test produces different output.
+      deal.II has a testsuite with thousands of small programs that we run every time
+      we make a change to make sure
+      that no existing functionality is broken. It is located in the <code>tests/</code>
+      directory of the development repository. The expected output for
+      every test is stored in an <code>*.output</code> next to the <code>.cc</code> file,
+      and when running a test, you are notified if the output differs from the expected
+      output.
     </p>
 
     <p>
@@ -28,9 +29,9 @@
       we add at least one new test to the testsuite, and we also do so if
       we fix a bug, in both cases to make sure that future changes do not
       break this functionality (again). Machines running the testsuite
-      submit the results to
-      <a href="http://cdash.kyomu.43-1.org/index.php?project=deal.II"
-      target="body">a webpage showing the status of our regression tests</a>.
+      submit the results to our cdash 
+      <a href="http://cdash.kyomu.43-1.org/index.php?project=deal.II">CDash instance</a>, 
+      a webpage showing the status of our regression tests.
     </p>
 
     <div class="toc">
@@ -765,9 +766,8 @@ ctest -D&lt;variable&gt;=&lt;value&gt; [...]
 <pre>
 CTEST_SOURCE_DIRECTORY
   - The source directory of deal.II
-  - If unspecified, "../deal.II" and "../../" relative to the location
-    of this script is used. If this is not a source directory, an error
-    thrown.
+  - If unspecified, "../" relative to the location of this script is
+    used. If this is not a source directory, an error is thrown.
 
 CTEST_BINARY_DIRECTORY
   - The designated build directory (already configured, empty, or non
@@ -779,12 +779,12 @@ CTEST_BINARY_DIRECTORY
 CTEST_CMAKE_GENERATOR
   - The CMake Generator to use (e.g. "Unix Makefiles", or "Ninja", see
     $ man cmake)
-  - If unspecified the current generator of a configured build directory
-    will be used, otherwise "Unix Makefiles".
+  - If unspecified the generator of a configured build directory will
+    be used, otherwise "Unix Makefiles".
 
 TRACK
-  - The track the test should be submitted to. Defaults to "Experimental".
-    Possible values are:
+  - The track the test should be submitted to. Defaults to
+    "Experimental". Possible values are:
 
     "Experimental"     - all tests that are not specifically "build" or
                          "regression" tests should go into this track
@@ -793,13 +793,12 @@ TRACK
                          directory (without actually running the
                          testsuite)
 
-    "Nightly"          - Reserved for nightly regression tests for
-                         build bots on various architectures
+    "Regression Tests" - Reserved for the "official" regression tester
 
-    "Regression Tests" - Reserved for the regression tester
+    "Continuous"       - Reserved for the "official" regression tester
 
 CONFIG_FILE
-  - A configuration file (see docs/users/config.sample)
+  - A configuration file (see doc/users/config.sample)
     that will be used during the configuration stage (invokes
     $ cmake -C ${CONFIG_FILE}). This only has an effect if
     CTEST_BINARY_DIRECTORY is empty.
@@ -809,15 +808,20 @@ DESCRIPTION
 
 COVERAGE
   - If set to ON deal.II will be configured with
-    DEAL_II_SETUP_COVERAGE=ON, CMAKE_BUILD_TYPE=Debug and the
-    CTEST_COVERAGE() stage will be run. Test results must go into the
-    "Experimental" section.
+  DEAL_II_SETUP_COVERAGE=ON, CMAKE_BUILD_TYPE=Debug and the
+  CTEST_COVERAGE() stage will be run. Test results must go into the
+  "Experimental" section.
 
 MAKEOPTS
   - Additional options that will be passed directly to make (or ninja).
 </pre>
-      Furthermore, the variables described <a href="#setup">above</a> can also be
-      set and will be handed automatically down to <code>cmake</code>.
+
+      Furthermore, the variables TEST_TIME_LIMIT and TEST_PICKUP_REGEX (as
+      described <a href="#setupbuild">above</a>), DIFF_DIR, and NUMDIFF_DIR
+      can also be set and will be handed automatically down
+      to <code>cmake</code>. For more details on the different tracks, see
+      the <a href="https://github.com/dealii/dealii/wiki/Testing-Infrastructure">
+      Testing Infrastructure Wiki page</a>.
     </p>
 
 
index 0b420faf7d0353e5fdb57c3bba63cf9d7e7c5797..dbf2fe1143cfd0b69128f71e96d54116aa041f78 100644 (file)
@@ -48,8 +48,8 @@
 #   CTEST_CMAKE_GENERATOR
 #     - The CMake Generator to use (e.g. "Unix Makefiles", or "Ninja", see
 #       $ man cmake)
-#     - If unspecified the generator of a configured build directory will
-#       be used, otherwise "Unix Makefiles".
+#     - If unspecified the current generator of a configured build directory
+#       will be used, otherwise "Unix Makefiles".
 #
 #   TRACK
 #     - The track the test should be submitted to. Defaults to
@@ -67,7 +67,7 @@
 #       "Continuous"       - Reserved for the "official" regression tester
 #
 #   CONFIG_FILE
-#     - A configuration file (see ../docs/development/Config.sample)
+#     - A configuration file (see ../doc/users/config.sample)
 #       that will be used during the configuration stage (invokes
 #       # cmake -C ${CONFIG_FILE}). This only has an effect if
 #       CTEST_BINARY_DIRECTORY is empty.
@@ -76,8 +76,8 @@
 #     - A string that is appended to CTEST_BUILD_NAME
 #
 #   COVERAGE
-#     - If set to TRUE deal.II will be configured with
-#     DEAL_II_SETUP_COVERAGE=TRUE, CMAKE_BUILD_TYPE=Debug and the
+#     - If set to ON deal.II will be configured with
+#     DEAL_II_SETUP_COVERAGE=ON, CMAKE_BUILD_TYPE=Debug and the
 #     CTEST_COVERAGE() stage will be run. Test results must go into the
 #     "Experimental" section.
 #

In the beginning the Universe was created. This has made a lot of people very angry and has been widely regarded as a bad move.

Douglas Adams


Typeset in Trocchi and Trocchi Bold Sans Serif.