В Ubuntu Server есть отличная команда, которая позволяет веб-мастерам совсем и навсегда облениться. Ставим LAMP в одну строку:

sudo apt-get install lamp-server^

Крышка в конце названия «пакета» — не опечатка.

Для совсем ленивых предлагаю такое комбо:

sudo apt-get -y update && sudo apt-get -y upgrade && sudo apt-get -y install lamp-server^ && sudo apt-get -y install phpmyadmin

Новичкам поясню:

Ключ -y для apt-get за вас отвечает согласием на установку и обновление пакетов.

Связка && между командами, запускает следующую, если предыдущая отработала без ошибок.

Для обеспечения элементарной безопасности (чтобы не забрутфорсили) я вам рекомендую сменить сразу дефолтный адрес phpMyAdmin. Для этого редактируйте файл:
sudo nano /etc/apache2/conf-enabled/phpmyadmin.conf

В нём строку:
Alias /phpmyadmin /usr/share/phpmyadmin

Замените на:
Alias /secret /usr/share/phpmyadmin

Сохраните файл (в nano для этого достаточно нажать F2) и перезапустите Apache:
sudo service apache2 restart

Теперь phpMyAdmin будет доступен по ссылке http://127.0.0.1/secret (где 127.0.0.1 — IP вашего сервера)