Split des RSFA par type d’enregistrement

Le fichier rsfa peut être volumineux car il contient tous les types de rafael (débuts de factures, actes externes, ATU, consultations, …). Or il est rare d’avoir à utiliser tous les types de rafael en même temps dans un seul projet.

Plutôt que de tout importer dans R et donc charger trop de données (c.-à.-d. remplir la mémoire vive inutilement), on peut :

• spécifier à pmeasyr que l’on ne souhaite pas garder tous les types de rsfa en mémoire dans R
• diviser le fichier d’origine rsfa en plusieurs fichiers selon leur type avec python

Ce notebook détaille comment le faire en associant pmeasyr à un script Python, chose possible dans un même programme à l’aide des Notebook .Rmd de RStudio.

Dézipage des fichiers rsfa et rsfa-maj

Avec le package pmeasyr on dézippe depuis un script R les fichiers rsfa et rsfa_maj.

########### Script R
########### ########
library(pmeasyr)
adezip(finess  = '750712184',
       annee   = 2015,
       mois    = 12,
       path    = '~/Documents/data/rsf',
       type    = "out",
       liste   = c('rsfa', 'rsfa-maj'))

Dézippage archive
 Type     : out 
 Finess   : 750712184 
 Période  : 2015 M12 
 Fichiers : rsfa rsfa-maj 

Solution uniquement avec pmeasyr

Le paramêtre lister de la fonction ìrafael() permet de lister le type de rafael que l’on souhaite importer dans R

irafael('750712184', '2015', '12', '~/Documents/data/rsf/', progress = F, lister = c('C', 'M')) -> rafael

Solution en passant par python

Vérifier le path dans python

Changer de path dans un Notebook n’est pas conseillé, on vérifie que l’on est bien dans le répertoire où sont les fichiers.

########### Script Python
########### #############
import os
print(os.path.abspath(''))

/Users/guillaumepressiat/Documents/data/rsf

Fonction de split du fichier rsfa par type de rsf (A, B, C, M, …)

La fonction permet de créer un nouveau fichier ne contenant que le type de rsf que l’on souhaite étudier.

########### Script Python
########### #############
import os

# Fonction de split du fichier rsfa
def split_rsfa(filtre, path, finess, annee, mois, type):
  # Gestion des chemins (a adapter pour windows)
  # Fichier rsfa au depart
  filin = '/'.join((path, '.'.join((finess, annee, mois, type))))
  # Fichier rsfa filtre en sortie, on accole au finess le type de rsfa, ex: finess_C
  filout = '/'.join((path, '.'.join((finess + '_' +  filtre, annee, mois, type))))
  
  # Pour chaque ligne du fichier d'entree on teste le type d'enregistrement A, B, C... selon
  # que le fichier soit .rsfa ou .rsfa-maj, donc en colonne 9 ou 27 du fichier texte
  fout = open(filout, 'w')
  for line in open(filin):
    if type == 'rsfa':
      if line[8] == filtre:
        fout.write(line)
    if type == 'rsfa-maj':
      if line[26] == filtre:
        fout.write(line)
  fout.close()


# Execution dans notre cas pour un fichier place ici :
chemin = os.path.abspath('')

# Exemple pour les rsfa C et M sur les deux types de fichiers (rsfa et/ou rsfa-maj)
for i in ['C', 'M']:
  split_rsfa(i, chemin, '750712184','2015', '12', 'rsfa')
  print('Split des rsfa ' + i + ' ok')
  #split_rsfa(i, chemin, '750712184','2015', '12', 'rsfa-maj')

Split des rsfa C ok
Split des rsfa M ok

Les fichiers produits

Vérifier les fichiers tout juste produits.

########### Script R
########### ########
list.files() -> fichiers
cat(fichiers[grepl('\\.rsfa', fichiers)], sep = "\n")

750712184_C.2015.12.rsfa
750712184_C.2015.12.rsfa-maj
750712184_M.2015.12.rsfa
750712184_M.2015.12.rsfa-maj
750712184.2015.12.rsfa
750712184.2015.12.rsfa-maj

Import dans R avec pmeasyr

L’import des rsf type par type est plus leger ensuite dans R :

########### Script R
########### ########
library(pmeasyr)
# Import de la table des actes CCAM en externes uniquement
irafael('750712184_M', '2015', '12', '~/Documents/data/rsf/', progress = F, lister = 'M')$M -> rafael_M

Cette approche évite d’alourdir les fichiers lus par pmeasyr et allège donc les traitements.

---

27/02/2017
retour