:g| ddlZddlZddlmZddlmZmZmZm Z ddl m Z ddl m Z ddlmZddlmZdd lmZdd lmZd Zd Zd ZdZejeZejeZe e eeeedZddlZddlZdZdZdZ dZ!dS)N)Dataset) T5TokenizerT5ForConditionalGenerationTrainingArgumentsTrainer)COEFICIENTES_PAREDES)COEFICIENTES_PESSOAS)COEFICIENTES_VIDROS)COEFICIENTES_TELHADOS)COEFICIENTE_AR)COEFICIENTES_PORTASz=/var/www/html/cag/cag/conhecimento_base/base_conhecimento.csvzG/var/www/html/cag/cag/conhecimento_base/dataset_perguntas_respostas.csvz7/var/www/html/cag/cag/conhecimento_base/modelo_treinadozt5-small)ParedesPessoasTelhadosVidroszRenovacao de ArPortasc g}tD]c\}}|D]G\}}d|vrEtd|dd|dd|dgdi|d<|dD]u\}}|dd} d |d |d } d |d |d | d} || | dd|d|d } d|d|d| d} || | dv|dvr'd|d}d|d| d}|||dd|vr'd|d }d|d| d}|||dIet jt j |dtj |}| |dtd|d S)!z\ Prepara o dataset de perguntas e respostas a partir dos coeficientes padronizados. espessurasz [WARNING] 'u;' não tem a chave 'espessuras', criando espessura padrão.1cm coeficienter sinonimos)rrzQual o coeficiente para z com espessura de ?zPara u, o coeficiente sugerido é .)perguntarespostazQual o coeficiente de  zO coeficiente de u é )rrrz( usado em ambientes com ar-condicionado?u+ usado em ambientes com ar-condicionado é renovacaou2Qual a taxa de renovação de ar recomendada para u-A taxa de renovação de ar recomendada para u m³/h.T)exist_okF)indexz[INFO] Dataset salvo em N) COEFICIENTESitemsprintgetappendlowerosmakedirspathdirnamepd DataFrameto_csv)csv_conhecimento csv_datasetperguntas_respostas categoriadados_categoria tipo_materialdados_material espessuradados_espessurarrr pergunta_coef resposta_coef pergunta_uso resposta_usopergunta_renovacaoresposta_renovacaodatasets */var/www/html/cag/ctermica/chatctermica.pypreparar_datasetr?$s&2&8&8&:&:#m#m" ?-<-B-B-D-D" m" m )M>>11nMnnnooo'5'9'9-'K'K%3%7%7 R%H%H0|,/=\.J.P.P.R.R c c* ?-11-CC dmccW`cccy=yyIyykvyyy#**h+W+WXXX!V U U U U U aM a aI a aS^ a a a #** S`+a+abbbb===o ooo {={{mx{{{ #** R^+_+_```ioo////%jZg%j%j%j"%|Ub%|%|hs%|%|%|"#**8JXj+k+klllE" mJK ,,t<<<<l.//G NN;eN,,, 2[ 2 233333c`d|dD}d|dD}t|dddd }t|dddd }|d }d ||tjk<|d |d |d S)uB Pré-processa os exemplos do dataset para o treinamento. cg|]}d|S) pergunta: ).0rs r> z'preprocessa_exemplo.._s!MMMH'X''MMMr@rcg|]}|SrDrD)rErs r>rFz'preprocessa_exemplo..`s A A Am A A Ar@rT max_lengthpt)rI truncationpaddingreturn_tensors input_idsiattention_mask)rNrOlabels) tokenizer pad_token_idtolist)exemplosentradassaidasentrada_tokenizadasaida_tokenizadarPs r>preprocessa_exemplorY[sNM8LMMMH A AHZ,@ A A AF" ! k *F/3F6Y+ +,( 4;;==,-=>EEGG--//  r@c 2tj|std| t j|}n$#t $r}td|d}~wwxYwtj |}td| td}| d}|d }|d }td t|d d dddddd } tdtt | ||} | tdtdt |t&|td|dS)zA Treina o modelo com o dataset de perguntas e respostas. uO dataset não foi encontrado: zErro ao ler o dataset CSV: Nu$[INFO] Pré-processando o dataset...T)batchedg?) test_sizetraintestz0[INFO] Configurando argumentos de treinamento...stepsdiz./logs) output_direvaluation_strategy eval_stepsper_device_train_batch_sizeper_device_eval_batch_sizenum_train_epochs save_stepssave_total_limit logging_dirz[INFO] Iniciando treinamento...)modelargs train_dataset eval_datasetu[INFO] Treinamento concluído.z$[INFO] Salvando o modelo treinado...z[INFO] Modelo salvo em )r'r)existsFileNotFoundErrorr+read_csv Exception ValueErrorr from_pandasr#maprYtrain_test_splitrrmodelor]save_pretrainedrQ) r/ model_pathdadoser=tokenized_dataset dataset_splitrorp training_argstrainers r>treinar_modelor|s 7>>+ & &Q O+ O OPPP< K(( <<<:q::;;;<!%((G 0111 $7 FF&666EEM!'*M (L <===%#$%#$   M +,,, #! G MMOOO *+++ 0111 :&&& j))) 0J 0 011111sA A)A$$A)crtj|std|t j|}t j|}d|d}||ddd}||ddd d d d }||d d}d|vsd|vrd}|S)z; Usa o modelo treinado para responder a perguntas. u'O modelo treinado não foi encontrado: rCz rJT)rMrLrKrN2rrcgffffff?)rInum_return_sequencesno_repeat_ngram_sizetop_ptop_kr)skip_special_tokens Desconhecida0u8Desculpe, não consegui encontrar uma resposta adequada.) r'r)rqrrrfrom_pretrainedrgeneratedecode)rr{modelo_treinadotokenizer_treinadoentradarWsaidars r>responder_perguntars 7>>* % %X V* V VWWW1@LLO$4Z@@+8***G++GDRVcghhh  $ $;' %  E"((qt(LLH!!SH__M Or@)"r'pandasr+datasetsr transformersrrrr coefparedesr coefpessoasr coefvidrosr coeftelhadosr coefrenovacaor coefportasrCSV_CONHECIMENTO CSV_DATASET MODEL_PATH MODELO_NOMErrQryr!r?rYrrrDr@r>rs{ \\\\\\\\\\\\------------++++++//////))))))++++++SW F  'K ' 4 4 3 # 3K @ @$#%!%!   /4/4/4nB626262rr@