下記のコードで、カテゴリーリストを表示できます。

<?php wp_list_categories(); ?>


上記の場合ですと、出力されるコードが自動生成されてしまいますので、
自分でカスタマイズしたい場合は、以下のコードを参照ください。


<?php
    $cat_all = get_terms( "category", "fields=all&get=all" );
    foreach($cat_all as $value):
 ?>
<p><a href="<?php echo get_category_link($value->term_id); ?>"><?php echo $value->name;?></a></p>
<?php endforeach; ?>