dicas:ccad - Wiki do LEG

Não foi possível enviar o arquivo. Será algum problema com as permissões?

Você está aqui: start » dicas » ccad

Diferenças

Aqui você vê as diferenças entre duas revisões dessa página.

--- dicas:ccad [2010/05/11 15:36]
paulojus
+++ dicas:ccad [2011/10/07 11:32] (atual)
paulojus
@@ Linha 1: / Linha 1: @@
-====== Configuração e uso do LCPAD ======
+====== Configuração e uso do CCAD para usuários do LEG ======
 O CCAD - Centro de Computação de Alto Desempenho -
@@ Linha 9: / Linha 9: @@
 **O CCAD procura estimular/incentivar o uso de programas que rodem em paralelo!!**
+Informações detalhadas na **[[http://www.ccad.ufpr.br|Página do CCAD]]**
 ==== Conta no CCAD ====
@@ Linha 18: / Linha 20: @@
   * O usuário cadastrado receberá email com login e senha de acesso.
   * o acesso deve ser feito sempre à servidora ''ccad.ufpr.br''
-  * a partir desta servidora é possível acessar as demais máquinas do LCPAD via o comando ''rlogin'' (mais detalhes abaixo)
   * O acesso à servidora  ''ccad.ufpr.br'' pode ser feito por ''ssh'' (inclusive gráfico com ''ssh -X'') via programa gráfico de ssh (putty, etc) ou linha de comando com:<code>
-% ssh LOGIN@ccad.ufpr.br</code>
+$ ssh LOGIN@ccad.ufpr.br</code>
   * ssh só é possível a partir de máquinas na UFPR. Se estiver acessando de fora acesse primeiro uma servidora da UFPR (do leg por exemplo) e dela acesse o CCAD
   * Recomenda-se trocar a senha no primeiro uso com o comando:<code>
-% passwd </code>
+ccad:~> passwd </code>
 ==== Uso ====
   * O sistema operacional das máquinas do CCAD é LINUX (SuSe). É portanto recomandado que usuários estejam familiarizados com [[http://www.leg.ufpr.br/~paulojus/restrito/dicas/node2.html|comandos básicos do LINUX]]
@@ Linha 30: / Linha 31: @@
 ==== Uso do R no CCAD ====
-== Rodando o R ===
+=== Rodando o R ===
-O R foi compilado na servidora do CCAD e está em um diretório **não usual**:
-  /cluster/sw/R
-Portando o binário para execução está em:
+**IMPORTANTE:**\\
-  /cluster/sw/R/bin/R
+Para rodar o R (em formato interativo sou submetendo jobs) o primeiro passo é digitar:<code>
+ccad:~> module load mod_R </code>
-Para evitar ter que digitar todo este caminho quando for iniciar o R voce pode adicionar no seu arquivo ''.bashrc'' a seguinte linha:
+Se voce é um usuário regular do R este comando de carregar o modulo  pode ser colocado em seu ''.bashrc'' para que seja rodado automaticamente sempre que voce acessar o CCAD.
-  alias R="/cluster/sw/R/bin/R"
-Depois disto voce poderá usar o R simplesmente digitando
+No momento o modulo do R faz duas coisas:
-  R
+  - define o diretório do executável do R no seu ''PATH''
+  - define o camilho de procura de bibliotecas adicionais do R na conta da ''paulojus'' (para evitar que todos tenham que instalar os pacotes)
-Lembrando ainda que trabalhos de R em background são submetidos com:<code>
+== Rodando na forma interativa ==
-% R </code>
-e para modo BATCH o comando usual e acompanha o andamento do //job// com:<code>
+Depois de carregar o modulo do R voce poderá usar o programa de forma interativa simplesmente digitando
-% R CMD BATCH seu_programa.R &
+  ccad:~> R
-% tail -f seu_programa.Rout
+== Rodando como em "background" ("BATCH job") ==
+Lembrando usualmente trabalhos de R em background são submetidos com o modo BATCH  e o comando usual e acompanhamento do andamento do //job// é feito com:<code>
+ccad:~> R CMD BATCH seu_programa.R &
+ccad:~> tail -f seu_programa.Rout
 </code>
-O CCAD disponibiliza informações adicionais sobre submissão e controle de processos em sua página.
+  - No ''R'' sugere-se sempre colocar no seu programa comandos ''print()'' (por exemplo imprimir o número da simulação) que permitam que voce acompanhe o andamento com<code>
-Se tiverem dicar para o R coloquem aqui!!!
+ccad:~> tail -f seu_programa.Rout
+</code>
+  - Numa máquina voce pode ver se o processo está rodando com um dos seguintes comandos do linux: <code>
+ccad:~> ps -u SEU_LOGIN
+ccad:~> top
+</code>
+<note warning> Entretanto, para rodar no CCAD vamos adaptar este procedimento um pouco para seguir os padrões e aproveitar as vantagens do cluster. Ou seja, ao invés de fazer como descrito acima devemos submeter processos R da seguinte forma:</note>
+Os passos básicos são (adaptar para suas configurações)
+  - Definir o ambiente de trabalho, basicamente:
+    * criar e entrar em um diretório para rodar o seu programa (substituir abaixo o nome deste diretório em ''SEU_DIRETORIO'')<code>
+ccad:~> mkdir SEU_DIRETORIO
+ccad:~> cd SEU_DIRETORIO
+</code>
+    * criar um arquivo de comandos em R (//script// R) com o que vai rodar tal como código de análise, simulação, etc. (substituir abaixo em ''seu_programa.R'')
+  - Criar um arquivo (formato texto) para chamar o R com o seguinte conteúdo básico. Vamos chamar este arquivo de ''run.sh''.<code>
+#!/bin/bash
+#PBS -S /bin/bash
+#PBS -V
+#PBS -m ae
+#PBS -M paulojus@leg.ufpr.br
+#PBS -l walltime=6:00:00
+cd $PBS_O_WORKDIR
+R CMD BATCH seu_programa.R </code>
+  - Submeter ao cluster <code>
+ccad:~> qsub run.sh </code>
+  - Monitorar o progresso com<code>
+ccad:~> qstat </code>
+  - E também monitorar da forma usual o arquivo de saída do R<code>
+ccad:~> tail -f seu_programa.Rout
+</code>
+<note>Não esqueça de carregar o modulo do R  como descrito acima quando acessar a sua conta !!!</note>
+O CCAD disponibiliza informações adicionais sobre [[http://www.ccad.ufpr.br/wiki/index.php/Submiss%C3%A3o|submissão e controle de processos em sua página]].\\
+Se tiverem dicas de uso para o R coloquem aqui!!!
+=== Tempo de processamento ===
+Por //default// o CCAD interrompe os processos após uma (1) hora de processamento.
+No exemplo de arquivo ''run.sh'' acima já modificamos
+este tempo, para seis (6) horas, incluindo no seu arquivo:
+   #PBS -l walltime=6:00:00
+Ajuste este tempo de acordo com a sua necessidade.
 === Pacotes do R ===
-Pacotes adicionais podem ser instaldos em sua conta se desejado.
+Pacotes adicionais podem ser instalados em sua conta se desejado.
 Entretanto para evitar replicação de instalações estamos centralizando a instalação de pacotes na conta de PJ.
-Para usar pacotes instalados na conta de PJ acrescente a seguinte linha no seu arquivo ''.Rprofile'':
+O módulo do R (''mod_R'') faz este direcionamento.
-  .libPaths("/home/paulojus/Rlibs")
+  > .libPaths("/home/paulojus/Rlibs")
 Se precisar de algum pacote não instalado solicite por email para PJ.
-==== Acompanhando seus processos ====
-  - No ''R'' sugere-se sempre colocar no seu programa comandos ''print()'' (por exmeplo imprimir o número da simulação) que permitam que voce acompanhe o andamento com <code>
-% tail -f seu_programa.Rout
-</code>
-  - Numa náuqina voce pode ver se o processo está rodando com um dos seguintes comandos do linux: <code>
-% ps -u SEU_LOGIN
-% top
-</code>
 ==== Agradecimento ====
 Agradecemos ao Prof. Manoel Cunha (CESEC)  e Christian (POP) pelo apoio, instruções e soluções para uso do CCAD.
+==== Mais informações ====
+Informações detalhadas na **[[http://www.ccad.ufpr.br|Página do CCAD]]**

Diferenças

Navegação

Busca

Ferramentas

QR Code