可以用 numberwithin 命令即可，让计数器在一定的范围里，超出了就自动重置。类似如下使用方式：

\numberwithin{exercise}{section}

从形式看比较接近 tasks 宏包的样式，例如：

\documentclass{article} 
\usepackage{tasks}

\begin{document}

\begin{tasks}[style=enumerate](2)
\task One
\task Two
\task Three
\task Four
\task Five
\task Six
\task Seven
\task Eight 
\end{tasks}
\end{document}

效果图：

更多例子可以去看看宏包的说明，命令行 texdoc tasks 或者 https://ctan.org/pkg/tasks 查看。

这里可以看看，有个样式墙，都列出来了。
https://mpetroff.net/files/beamer-theme-matrix/