728x90
반응형
1. He 초기화를 사용하여 무작위로 선택한 값이라면 모든 가중치를 같은 값으로 초기화해도 괜찮을까요?¶
아니다. 모든 가중치는 독립적으로 샘플링되어야 한다. 즉 같은 초깃값을 가지면 안된다. 가중치를 무작위로 샘플링하는 중요한 한 가지 목적은 대칭성을 피하기 위함이다.
2. 편향을 0으로 초기화해도 괜찮을까요?
아무런 상관이 없다. 편향을 가중치처럼 초기화해도 괜찮다. 그렇게 큰 차이를 만들지 않는다.
3. ReLU보다 ELU 활성화 함수가 나은 세 가지는 무엇인가요?
(1) 음수를 받을 수 있어서 뉴런의 평균출력이 보다 더 0에 가깝다.
(2) 도함수가 항상 0이 아니다. dead ReLU현상을 피할 수 있다.
(3) ReLU의 기울기는 z=0일 때, 0에서 1로 급격하게 바뀌는 반면 ELU는 어디서나 도함수가 매끄럽게 바뀐다. 이런 급격한 변화는 z=0일 때 진동을 발생시켜서 경사 하강법의 속도를 느리게 만든다.
4. 어떤 경우에, ELU, LeakyReLU, ReLU, tanh, logistic,softmax와 같은 활성화 함수를 사용해야 하나요?
ELU가 기본적으로 좋다. 하지만 보편적으로 간단한 ReLU를 많이 사용한다. 상호배타적 클래스를 원할 때는 softmax를 쓰면된다.
5. Momentum Optimizer를 사용할 때, momentum 하이퍼파라미터를 너무 1에 가깝게 하면 어떤 일이 일어날까요?
전역 최적점 방향으로 빠르게 진행되겠지만 모멘텀때문에 최솟값을 지나치게 될 것이다. 진동을 하며 수렴을 해서, 수렴하는데 오래 걸리게 되는 것이다.
6. 희소 모델을 만들 수 있는 세 가지 방법은 무엇인가요?
(1) 평범하게 모델을 훈련시키고 작은 가중치를 0으로 만드는 것
(2) 훈련하는 동안 옵티마이저에 희소한 모델을 만들도록 L1 규제를 사용하는 것
(3) 쌍대평균과 L1 규제를 연결하는 것
7. 드롭아웃이 훈련 속도를 느리게 만드나요? 예측도 느리게 만드나요?
일반적으로 두 배 정도 훈련 속도를 느리게 한다. 그러나 드롭아웃은 훈련할 때만 적용되므로 예측시에는 영향을 미치지 않는다.
In [31]:
import tensorflow as tf
import numpy as np
In [20]:
he_init = tf.variance_scaling_initializer()
def dnn(inputs, n_hidden_layers=5, n_neurons=100, name=None,
activation=tf.nn.elu,initializer=he_init ):
with tf.variable_scope(name,"dnn"):
for layer in range(n_hidden_layers):
inputs = tf.layers.dense(inputs,n_neurons,activation=activation,kernel_initializer=initializer,
name="hidden%d" % (layer+1))
return inputs
In [21]:
n_inputs = 28*28
n_outputs = 5
tf.reset_default_graph()
X = tf.placeholder(tf.float32,shape=(None,n_inputs),name="X")
y = tf.placeholder(tf.int32,shape=(None),name="y")
dnn_output = dnn(X)
logits = tf.layers.dense(dnn_output,n_outputs,kernel_initializer=he_init,name='logits')
Y_proba = tf.nn.softmax(logits,name="Y_proba")
In [23]:
learning_rate = 0.01
xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y,logits=logits)
loss = tf.reduce_mean(xentropy,name="loss")
optimizer = tf.train.AdamOptimizer(learning_rate)
training_op = optimizer.minimize(loss,name='training_op')
correct = tf.nn.in_top_k(logits,y,1)
accuracy = tf.reduce_mean(tf.cast(correct,tf.float32),name="accuracy")
init = tf.global_variables_initializer()
saver = tf.train.Saver()
In [45]:
# Mnist Load
(X_train,y_train),(X_test,y_test) = tf.keras.datasets.mnist.load_data()
X_train = X_train.astype(np.float32).reshape(-1,28*28) / 255.0
X_test = X_test.astype(np.float32).reshape(-1,28*28) / 255.0
y_train = y_train.astype(np.int32)
y_test = y_test.astype(np.int32)
X_valid, X_train = X_train[:5000], X_train[5000:]
y_valid, y_train = y_train[:5000],y_train[5000:]
In [46]:
X_train1 = X_train[y_train < 5]
y_train1 = y_train[y_train < 5]
X_test1 = X_test[y_test < 5]
y_test1 = y_test[y_test < 5]
X_valid1 = X_valid[y_valid <5]
y_valid1 = y_valid[y_valid <5]
In [48]:
n_epochs = 100
batch_size =20
max_checks_without_progress = 20
checks_without_progress = 0
best_loss = np.infty
with tf.Session() as sess:
init.run()
for epoch in range(n_epochs):
rnd_idx = np.random.permutation(len(X_train1))
for rnd_indices in np.array_split(rnd_idx,len(X_train1)// batch_size):
X_batch, y_batch = X_train1[rnd_indices], y_train1[rnd_indices]
sess.run(training_op,feed_dict={X:X_batch,y:y_batch})
loss_val, acc_val = sess.run([loss,accuracy],feed_dict={X:X_valid1,y:y_valid1})
if loss_val < best_loss:
save_path = saver.save(sess,"./my_mnist_model_0_to_4.ckpt")
best_loss = loss_val
checks_without_progress = 0
else:
checks_without_progress += 1
if checks_without_progress > max_checks_without_progress:
print("조기 종료")
break
print("Epoch : {0} / val_loss :{1} / best_loss : {2} / Acc : {3:.2f}%".format(epoch,loss_val,best_loss,acc_val*100))
with tf.Session() as sess:
saver.restore(sess,"./my_mnist_model_0_to_4.ckpt")
acc_test = accuracy.eval(feed_dict={X:X_test1,y:y_test1})
print("최종 정확도 : {0}".format(acc_test*100))
Epoch : 0 / val_loss :0.27317681908607483 / best_loss : 0.27317681908607483 / Acc : 94.21% Epoch : 1 / val_loss :0.0766618475317955 / best_loss : 0.0766618475317955 / Acc : 98.24% Epoch : 2 / val_loss :0.13707643747329712 / best_loss : 0.0766618475317955 / Acc : 97.26% Epoch : 3 / val_loss :0.0950673297047615 / best_loss : 0.0766618475317955 / Acc : 98.08% Epoch : 4 / val_loss :1.2356711626052856 / best_loss : 0.0766618475317955 / Acc : 40.34% Epoch : 5 / val_loss :1.2661446332931519 / best_loss : 0.0766618475317955 / Acc : 40.46% Epoch : 6 / val_loss :1.1876012086868286 / best_loss : 0.0766618475317955 / Acc : 40.19% Epoch : 7 / val_loss :1.738224983215332 / best_loss : 0.0766618475317955 / Acc : 18.73% Epoch : 8 / val_loss :1.6542562246322632 / best_loss : 0.0766618475317955 / Acc : 20.91% Epoch : 9 / val_loss :1.6394697427749634 / best_loss : 0.0766618475317955 / Acc : 19.08% Epoch : 10 / val_loss :1.7240341901779175 / best_loss : 0.0766618475317955 / Acc : 22.01% Epoch : 11 / val_loss :1.6428321599960327 / best_loss : 0.0766618475317955 / Acc : 22.01% Epoch : 12 / val_loss :1.7979090213775635 / best_loss : 0.0766618475317955 / Acc : 22.01% Epoch : 13 / val_loss :1.6143451929092407 / best_loss : 0.0766618475317955 / Acc : 20.91% Epoch : 14 / val_loss :1.6259711980819702 / best_loss : 0.0766618475317955 / Acc : 22.01% Epoch : 15 / val_loss :1.67177152633667 / best_loss : 0.0766618475317955 / Acc : 22.01% Epoch : 16 / val_loss :1.6452386379241943 / best_loss : 0.0766618475317955 / Acc : 20.91% Epoch : 17 / val_loss :1.6997663974761963 / best_loss : 0.0766618475317955 / Acc : 19.27% Epoch : 18 / val_loss :1.6341263055801392 / best_loss : 0.0766618475317955 / Acc : 18.73% Epoch : 19 / val_loss :1.6875241994857788 / best_loss : 0.0766618475317955 / Acc : 20.91% Epoch : 20 / val_loss :1.6786394119262695 / best_loss : 0.0766618475317955 / Acc : 19.27% Epoch : 21 / val_loss :1.6952040195465088 / best_loss : 0.0766618475317955 / Acc : 22.01% 조기 종료 INFO:tensorflow:Restoring parameters from ./my_mnist_model_0_to_4.ckpt 최종 정확도 : 98.17085266113281
In [58]:
from sklearn.base import BaseEstimator,ClassifierMixin
from sklearn.exceptions import NotFittedError
class DNNclassifier(BaseEstimator,ClassifierMixin):
def __init__(self,n_hidden_layers=5,n_neurons=100,optimizer_class =tf.train.AdamOptimizer,
learning_rate=0.01,batch_size=20,activation=tf.nn.elu,initializer=he_init,
batch_norm_momentum=None,dropout_rate=None,random_state=None):
self.n_hidden_layers = n_hidden_layers
self.n_neurons = n_neurons
self.optimizer_class = optimizer_class
self.learning_rate = learning_rate
self.batch_size = batch_size
self.activation = activation
self.initializer = initializer
self.batch_norm_momentum = batch_norm_momentum
self.dropout_rate = dropout_rate
self.random_state = random_state
self._session = None
def _dnn(self,inputs):
for layer in range(self.n_hidden_layers):
if self.dropout_rate:
inputs = tf.layers.dense(inputs,self.dropout_rate,training = self._training)
inputs = tf.layers.dense(inputs,self.n_neurons,kernel_initializer=self.initializer,
name="hidden%d" % (layer + 1))
if self.batch_norm_momentum:
inputs = tf.layers.batch_normalization(inputs,momentum=self.batch_norm_momentum,
training=self._training)
inputs = self.activation(inputs,name="hidden%d_out" % (layer + 1))
return inputs
def _build_graph(self,n_inputs,n_outputs):
if self.random_state is not None:
tf.set_random_seed(self.random_state)
np.random.seed(self.random_state)
X = tf.placeholder(tf.float32, shape=(None, n_inputs), name="X")
y = tf.placeholder(tf.int32, shape=(None), name="y")
if self.batch_norm_momentum or self.dropout_rate:
self._training = tf.placeholder_with_default(False, shape=(), name='training')
else:
self._training = None
dnn_outputs = self._dnn(X)
logits = tf.layers.dense(dnn_outputs, n_outputs, kernel_initializer=he_init, name="logits")
Y_proba = tf.nn.softmax(logits, name="Y_proba")
xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y,
logits=logits)
loss = tf.reduce_mean(xentropy, name="loss")
optimizer = self.optimizer_class(learning_rate=self.learning_rate)
training_op = optimizer.minimize(loss)
correct = tf.nn.in_top_k(logits, y, 1)
accuracy = tf.reduce_mean(tf.cast(correct, tf.float32), name="accuracy")
init = tf.global_variables_initializer()
saver = tf.train.Saver()
# 중요한 연산은 인스턴스 변수로 저장하여 참조하기 쉽게 합니다.
self._X, self._y = X, y
self._Y_proba, self._loss = Y_proba, loss
self._training_op, self._accuracy = training_op, accuracy
self._init, self._saver = init, saver
def close_session(self):
if self._session:
self._session.close()
def _get_model_params(self):
with self._graph.as_default():
gvars = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES)
return {gvar.op.name: value for gvar, value in zip(gvars, self._session.run(gvars))}
def _restore_model_params(self, model_params):
gvar_names = list(model_params.keys())
assign_ops = {gvar_name: self._graph.get_operation_by_name(gvar_name + "/Assign")
for gvar_name in gvar_names}
init_values = {gvar_name: assign_op.inputs[1] for gvar_name, assign_op in assign_ops.items()}
feed_dict = {init_values[gvar_name]: model_params[gvar_name] for gvar_name in gvar_names}
self._session.run(assign_ops, feed_dict=feed_dict)
def fit(self, X, y, n_epochs=100, X_valid=None, y_valid=None):
self.close_session()
# 훈련 세트로부터 n_inputs와 n_outputs를 구합니다.
n_inputs = X.shape[1]
self.classes_ = np.unique(y)
n_outputs = len(self.classes_)
# 레이블 벡터를 정렬된 클래스 인덱스 벡터로 변환합니다.
# 0부터 n_outputs - 1까지의 정수를 담고 있게 됩니다.
# 예를 들어, y가 [8, 8, 9, 5, 7, 6, 6, 6]이면
# 정렬된 클래스 레이블(self.classes_)은 [5, 6, 7, 8, 9]가 되고
# 레이블 벡터는 [3, 3, 4, 0, 2, 1, 1, 1]로 변환됩니다.
self.class_to_index_ = {label: index
for index, label in enumerate(self.classes_)}
y = np.array([self.class_to_index_[label]
for label in y], dtype=np.int32)
self._graph = tf.Graph()
with self._graph.as_default():
self._build_graph(n_inputs, n_outputs)
# 배치 정규화를 위한 추가 연산
extra_update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
# 조기 종료를 위해
max_checks_without_progress = 20
checks_without_progress = 0
best_loss = np.infty
best_params = None
# 이제 모델을 훈련합니다!
self._session = tf.Session(graph=self._graph)
with self._session.as_default() as sess:
self._init.run()
for epoch in range(n_epochs):
rnd_idx = np.random.permutation(len(X))
for rnd_indices in np.array_split(rnd_idx, len(X) // self.batch_size):
X_batch, y_batch = X[rnd_indices], y[rnd_indices]
feed_dict = {self._X: X_batch, self._y: y_batch}
if self._training is not None:
feed_dict[self._training] = True
sess.run(self._training_op, feed_dict=feed_dict)
if extra_update_ops:
sess.run(extra_update_ops, feed_dict=feed_dict)
if X_valid is not None and y_valid is not None:
loss_val, acc_val = sess.run([self._loss, self._accuracy],
feed_dict={self._X: X_valid,
self._y: y_valid})
if loss_val < best_loss:
best_params = self._get_model_params()
best_loss = loss_val
checks_without_progress = 0
else:
checks_without_progress += 1
print("{}\t검증 세트 손실: {:.6f}\t최선의 손실: {:.6f}\t정확도: {:.2f}%".format(
epoch, loss_val, best_loss, acc_val * 100))
if checks_without_progress > max_checks_without_progress:
print("조기 종료!")
break
else:
loss_train, acc_train = sess.run([self._loss, self._accuracy],
feed_dict={self._X: X_batch,
self._y: y_batch})
print("{}\t마지막 훈련 배치 손실: {:.6f}\tAccuracy: {:.2f}%".format(
epoch, loss_train, acc_train * 100))
# 조기 종료를 사용하면 이전의 최상의 모델로 되돌립니다.
if best_params:
self._restore_model_params(best_params)
return self
def predict_proba(self, X):
if not self._session:
raise NotFittedError("%s 객체가 아직 훈련되지 않았습니다" % self.__class__.__name__)
with self._session.as_default() as sess:
return self._Y_proba.eval(feed_dict={self._X: X})
def predict(self, X):
class_indices = np.argmax(self.predict_proba(X), axis=1)
return np.array([[self.classes_[class_index]]
for class_index in class_indices], np.int32)
def save(self, path):
self._saver.save(self._session, path)
In [59]:
dnn_clf = DNNclassifier(random_state=42)
dnn_clf.fit(X_train1, y_train1, n_epochs=1000,X_valid=X_valid1, y_valid=y_valid1)
0 검증 세트 손실: 0.548913 최선의 손실: 0.548913 정확도: 77.17% 1 검증 세트 손실: 0.587445 최선의 손실: 0.548913 정확도: 89.37% 2 검증 세트 손실: 0.160944 최선의 손실: 0.160944 정확도: 96.99% 3 검증 세트 손실: 3.092965 최선의 손실: 0.160944 정확도: 84.52% 4 검증 세트 손실: 0.136941 최선의 손실: 0.136941 정확도: 96.95% 5 검증 세트 손실: 0.138029 최선의 손실: 0.136941 정확도: 97.58% 6 검증 세트 손실: 0.732843 최선의 손실: 0.136941 정확도: 95.62% 7 검증 세트 손실: 0.223234 최선의 손실: 0.136941 정확도: 96.95% 8 검증 세트 손실: 0.181649 최선의 손실: 0.136941 정확도: 97.73% 9 검증 세트 손실: 0.156968 최선의 손실: 0.136941 정확도: 98.24% 10 검증 세트 손실: 0.165227 최선의 손실: 0.136941 정확도: 97.93% 11 검증 세트 손실: 0.268905 최선의 손실: 0.136941 정확도: 95.62% 12 검증 세트 손실: 0.194747 최선의 손실: 0.136941 정확도: 98.12% 13 검증 세트 손실: 0.192536 최선의 손실: 0.136941 정확도: 96.87% 14 검증 세트 손실: 0.705451 최선의 손실: 0.136941 정확도: 77.76% 15 검증 세트 손실: 0.649719 최선의 손실: 0.136941 정확도: 79.55% 16 검증 세트 손실: 0.379075 최선의 손실: 0.136941 정확도: 84.95% 17 검증 세트 손실: 0.464550 최선의 손실: 0.136941 정확도: 79.01% 18 검증 세트 손실: 0.833675 최선의 손실: 0.136941 정확도: 57.94% 19 검증 세트 손실: 0.797659 최선의 손실: 0.136941 정확도: 60.87% 20 검증 세트 손실: 0.667473 최선의 손실: 0.136941 정확도: 74.35% 21 검증 세트 손실: 0.409483 최선의 손실: 0.136941 정확도: 79.91% 22 검증 세트 손실: 0.283787 최선의 손실: 0.136941 정확도: 94.61% 23 검증 세트 손실: 0.313305 최선의 손실: 0.136941 정확도: 95.82% 24 검증 세트 손실: 0.256865 최선의 손실: 0.136941 정확도: 95.78% 25 검증 세트 손실: 0.520878 최선의 손실: 0.136941 정확도: 77.21% 조기 종료!
Out[59]:
DNNclassifier(activation=<function elu at 0x123d02048>,
batch_norm_momentum=None, batch_size=20, dropout_rate=None,
initializer=<tensorflow.python.ops.init_ops.VarianceScaling object at 0x13522ac18>,
learning_rate=0.01, n_hidden_layers=5, n_neurons=100,
optimizer_class=<class 'tensorflow.python.training.adam.AdamOptimizer'>,
random_state=42)In [61]:
from sklearn.metrics import accuracy_score
y_pred = dnn_clf.predict(X_test1)
accuracy_score(y_test1,y_pred)
Out[61]:
0.9739248881105274
In [63]:
# Random Search CV
from sklearn.model_selection import RandomizedSearchCV
def leaky_relu(alpha=0.01):
def parametrized_leaky_relu(z,name=None):
return tf.maximum(alpha*z,z,name=name)
return parametrized_leaky_relu
param_distribs = {
"n_neurons": [10, 30, 50, 70, 90, 100, 120, 140, 160],
"batch_size": [10, 50, 100, 500],
"learning_rate": [0.01, 0.02, 0.05, 0.1],
"activation": [tf.nn.relu, tf.nn.elu, leaky_relu(alpha=0.01), leaky_relu(alpha=0.1)],
}
rnd_search = RandomizedSearchCV(DNNclassifier(random_state=42), param_distribs,n_iter=50,
random_state=42,verbose=2,cv=3)
fit_params = {"X_valid":X_valid1,"y_valid":y_valid1,"n_epochs":1000}
rnd_search.fit(X_train1,y_train1,**fit_params)
Fitting 3 folds for each of 50 candidates, totalling 150 fits [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function elu at 0x123d02048>
[Parallel(n_jobs=1)]: Using backend SequentialBackend with 1 concurrent workers.
0 검증 세트 손실: 0.153952 최선의 손실: 0.153952 정확도: 96.09% 1 검증 세트 손실: 0.146872 최선의 손실: 0.146872 정확도: 96.09% 2 검증 세트 손실: 0.156809 최선의 손실: 0.146872 정확도: 96.60% 3 검증 세트 손실: 0.154110 최선의 손실: 0.146872 정확도: 96.68% 4 검증 세트 손실: 0.168247 최선의 손실: 0.146872 정확도: 95.82% 5 검증 세트 손실: 0.137636 최선의 손실: 0.137636 정확도: 96.99% 6 검증 세트 손실: 0.158712 최선의 손실: 0.137636 정확도: 96.21% 7 검증 세트 손실: 0.138839 최선의 손실: 0.137636 정확도: 96.40% 8 검증 세트 손실: 0.135856 최선의 손실: 0.135856 정확도: 96.76% 9 검증 세트 손실: 0.115702 최선의 손실: 0.115702 정확도: 96.83% 10 검증 세트 손실: 0.106192 최선의 손실: 0.106192 정확도: 97.38% 11 검증 세트 손실: 1.562197 최선의 손실: 0.106192 정확도: 24.71% 12 검증 세트 손실: 1.227603 최선의 손실: 0.106192 정확도: 39.41% 13 검증 세트 손실: 1.394012 최선의 손실: 0.106192 정확도: 30.92% 14 검증 세트 손실: 1.358705 최선의 손실: 0.106192 정확도: 35.38% 15 검증 세트 손실: 1.202025 최선의 손실: 0.106192 정확도: 40.23% 16 검증 세트 손실: 1.232493 최선의 손실: 0.106192 정확도: 38.86% 17 검증 세트 손실: 1.262160 최선의 손실: 0.106192 정확도: 37.45% 18 검증 세트 손실: 1.217370 최선의 손실: 0.106192 정확도: 39.09% 19 검증 세트 손실: 1.193247 최선의 손실: 0.106192 정확도: 36.83% 20 검증 세트 손실: 1.212894 최선의 손실: 0.106192 정확도: 35.93% 21 검증 세트 손실: 1.218429 최선의 손실: 0.106192 정확도: 37.37% 22 검증 세트 손실: 1.189781 최선의 손실: 0.106192 정확도: 39.05% 23 검증 세트 손실: 1.174314 최선의 손실: 0.106192 정확도: 39.29% 24 검증 세트 손실: 1.203563 최선의 손실: 0.106192 정확도: 40.15% 25 검증 세트 손실: 1.175521 최선의 손실: 0.106192 정확도: 40.27% 26 검증 세트 손실: 1.197309 최선의 손실: 0.106192 정확도: 37.14% 27 검증 세트 손실: 1.179751 최선의 손실: 0.106192 정확도: 37.57% 28 검증 세트 손실: 1.190752 최선의 손실: 0.106192 정확도: 37.45% 29 검증 세트 손실: 1.179052 최선의 손실: 0.106192 정확도: 40.23% 30 검증 세트 손실: 1.179412 최선의 손실: 0.106192 정확도: 37.26% 31 검증 세트 손실: 1.270984 최선의 손실: 0.106192 정확도: 39.56% 조기 종료! [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function elu at 0x123d02048>, total= 6.2s [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function elu at 0x123d02048>
[Parallel(n_jobs=1)]: Done 1 out of 1 | elapsed: 6.2s remaining: 0.0s
0 검증 세트 손실: 0.173046 최선의 손실: 0.173046 정확도: 95.78% 1 검증 세트 손실: 0.113803 최선의 손실: 0.113803 정확도: 97.38% 2 검증 세트 손실: 0.140203 최선의 손실: 0.113803 정확도: 97.15% 3 검증 세트 손실: 0.110288 최선의 손실: 0.110288 정확도: 97.62% 4 검증 세트 손실: 0.157916 최선의 손실: 0.110288 정확도: 96.56% 5 검증 세트 손실: 0.123905 최선의 손실: 0.110288 정확도: 97.11% 6 검증 세트 손실: 0.104769 최선의 손실: 0.104769 정확도: 97.58% 7 검증 세트 손실: 0.124137 최선의 손실: 0.104769 정확도: 96.83% 8 검증 세트 손실: 0.144883 최선의 손실: 0.104769 정확도: 97.38% 9 검증 세트 손실: 1.019039 최선의 손실: 0.104769 정확도: 53.21% 10 검증 세트 손실: 0.643711 최선의 손실: 0.104769 정확도: 70.95% 11 검증 세트 손실: 0.822718 최선의 손실: 0.104769 정확도: 68.96% 12 검증 세트 손실: 0.650789 최선의 손실: 0.104769 정확도: 71.66% 13 검증 세트 손실: 0.593026 최선의 손실: 0.104769 정확도: 72.52% 14 검증 세트 손실: 0.563572 최선의 손실: 0.104769 정확도: 75.49% 15 검증 세트 손실: 0.540183 최선의 손실: 0.104769 정확도: 75.68% 16 검증 세트 손실: 0.695405 최선의 손실: 0.104769 정확도: 70.09% 17 검증 세트 손실: 0.343294 최선의 손실: 0.104769 정확도: 92.34% 18 검증 세트 손실: 1.737485 최선의 손실: 0.104769 정확도: 38.04% 19 검증 세트 손실: 1.611894 최선의 손실: 0.104769 정확도: 19.04% 20 검증 세트 손실: 1.236292 최선의 손실: 0.104769 정확도: 39.01% 21 검증 세트 손실: 1.181020 최선의 손실: 0.104769 정확도: 41.36% 22 검증 세트 손실: 1.189661 최선의 손실: 0.104769 정확도: 40.93% 23 검증 세트 손실: 1.185343 최선의 손실: 0.104769 정확도: 42.03% 24 검증 세트 손실: 1.202556 최선의 손실: 0.104769 정확도: 42.53% 25 검증 세트 손실: 1.174351 최선의 손실: 0.104769 정확도: 38.58% 26 검증 세트 손실: 1.192403 최선의 손실: 0.104769 정확도: 39.76% 27 검증 세트 손실: 1.184517 최선의 손실: 0.104769 정확도: 38.47% 조기 종료! [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function elu at 0x123d02048>, total= 7.1s [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.138529 최선의 손실: 0.138529 정확도: 96.60% 1 검증 세트 손실: 0.164617 최선의 손실: 0.138529 정확도: 95.97% 2 검증 세트 손실: 0.141901 최선의 손실: 0.138529 정확도: 96.95% 3 검증 세트 손실: 0.791080 최선의 손실: 0.138529 정확도: 73.77% 4 검증 세트 손실: 0.346334 최선의 손실: 0.138529 정확도: 93.94% 5 검증 세트 손실: 0.291020 최선의 손실: 0.138529 정확도: 93.16% 6 검증 세트 손실: 0.231606 최선의 손실: 0.138529 정확도: 93.98% 7 검증 세트 손실: 0.295010 최선의 손실: 0.138529 정확도: 90.50% 8 검증 세트 손실: 0.323272 최선의 손실: 0.138529 정확도: 92.34% 9 검증 세트 손실: 0.233098 최선의 손실: 0.138529 정확도: 94.57% 10 검증 세트 손실: 0.797634 최선의 손실: 0.138529 정확도: 58.29% 11 검증 세트 손실: 0.832396 최선의 손실: 0.138529 정확도: 57.97% 12 검증 세트 손실: 1.353160 최선의 손실: 0.138529 정확도: 38.19% 13 검증 세트 손실: 1.255156 최선의 손실: 0.138529 정확도: 38.15% 14 검증 세트 손실: 1.184189 최선의 손실: 0.138529 정확도: 42.03% 15 검증 세트 손실: 1.189790 최선의 손실: 0.138529 정확도: 39.60% 16 검증 세트 손실: 1.211795 최선의 손실: 0.138529 정확도: 40.30% 17 검증 세트 손실: 1.156972 최선의 손실: 0.138529 정확도: 39.52% 18 검증 세트 손실: 1.149364 최선의 손실: 0.138529 정확도: 40.11% 19 검증 세트 손실: 1.153773 최선의 손실: 0.138529 정확도: 40.07% 20 검증 세트 손실: 1.151358 최선의 손실: 0.138529 정확도: 40.19% 21 검증 세트 손실: 1.219505 최선의 손실: 0.138529 정확도: 40.62% 조기 종료! [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function elu at 0x123d02048>, total= 4.3s [CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.110739 최선의 손실: 0.110739 정확도: 96.36% 1 검증 세트 손실: 0.083676 최선의 손실: 0.083676 정확도: 97.50% 2 검증 세트 손실: 0.085564 최선의 손실: 0.083676 정확도: 97.81% 3 검증 세트 손실: 0.070900 최선의 손실: 0.070900 정확도: 98.05% 4 검증 세트 손실: 0.064577 최선의 손실: 0.064577 정확도: 98.28% 5 검증 세트 손실: 0.065101 최선의 손실: 0.064577 정확도: 98.16% 6 검증 세트 손실: 0.062548 최선의 손실: 0.062548 정확도: 98.16% 7 검증 세트 손실: 0.057693 최선의 손실: 0.057693 정확도: 98.44% 8 검증 세트 손실: 0.061034 최선의 손실: 0.057693 정확도: 98.28% 9 검증 세트 손실: 0.074160 최선의 손실: 0.057693 정확도: 98.24% 10 검증 세트 손실: 0.052990 최선의 손실: 0.052990 정확도: 98.71% 11 검증 세트 손실: 0.080394 최선의 손실: 0.052990 정확도: 98.20% 12 검증 세트 손실: 0.078156 최선의 손실: 0.052990 정확도: 98.08% 13 검증 세트 손실: 0.080691 최선의 손실: 0.052990 정확도: 98.24% 14 검증 세트 손실: 0.067995 최선의 손실: 0.052990 정확도: 98.24% 15 검증 세트 손실: 0.080378 최선의 손실: 0.052990 정확도: 98.51% 16 검증 세트 손실: 0.085892 최선의 손실: 0.052990 정확도: 97.89% 17 검증 세트 손실: 0.117180 최선의 손실: 0.052990 정확도: 97.69% 18 검증 세트 손실: 0.077603 최선의 손실: 0.052990 정확도: 98.12% 19 검증 세트 손실: 0.080186 최선의 손실: 0.052990 정확도: 98.12% 20 검증 세트 손실: 0.068531 최선의 손실: 0.052990 정확도: 98.48% 21 검증 세트 손실: 0.088508 최선의 손실: 0.052990 정확도: 98.24% 22 검증 세트 손실: 0.089614 최선의 손실: 0.052990 정확도: 98.24% 23 검증 세트 손실: 0.063188 최선의 손실: 0.052990 정확도: 98.36% 24 검증 세트 손실: 0.064265 최선의 손실: 0.052990 정확도: 98.44% 25 검증 세트 손실: 0.097704 최선의 손실: 0.052990 정확도: 98.20% 26 검증 세트 손실: 0.081616 최선의 손실: 0.052990 정확도: 98.36% 27 검증 세트 손실: 0.088193 최선의 손실: 0.052990 정확도: 98.32% 28 검증 세트 손실: 0.095128 최선의 손실: 0.052990 정확도: 98.05% 29 검증 세트 손실: 0.072358 최선의 손실: 0.052990 정확도: 98.36% 30 검증 세트 손실: 0.073826 최선의 손실: 0.052990 정확도: 98.44% 31 검증 세트 손실: 0.070371 최선의 손실: 0.052990 정확도: 98.36% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation=<function relu at 0x123c8f598>, total= 4.5s [CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.150243 최선의 손실: 0.150243 정확도: 95.93% 1 검증 세트 손실: 0.074734 최선의 손실: 0.074734 정확도: 97.85% 2 검증 세트 손실: 0.064674 최선의 손실: 0.064674 정확도: 98.28% 3 검증 세트 손실: 0.059260 최선의 손실: 0.059260 정확도: 98.20% 4 검증 세트 손실: 0.070795 최선의 손실: 0.059260 정확도: 97.93% 5 검증 세트 손실: 0.064104 최선의 손실: 0.059260 정확도: 98.12% 6 검증 세트 손실: 0.058990 최선의 손실: 0.058990 정확도: 98.51% 7 검증 세트 손실: 0.074416 최선의 손실: 0.058990 정확도: 98.05% 8 검증 세트 손실: 0.063742 최선의 손실: 0.058990 정확도: 98.24% 9 검증 세트 손실: 0.061890 최선의 손실: 0.058990 정확도: 98.48% 10 검증 세트 손실: 0.065647 최선의 손실: 0.058990 정확도: 98.44% 11 검증 세트 손실: 0.081327 최선의 손실: 0.058990 정확도: 98.36% 12 검증 세트 손실: 0.064105 최선의 손실: 0.058990 정확도: 98.55% 13 검증 세트 손실: 0.061644 최선의 손실: 0.058990 정확도: 98.63% 14 검증 세트 손실: 0.061919 최선의 손실: 0.058990 정확도: 98.55% 15 검증 세트 손실: 0.069591 최선의 손실: 0.058990 정확도: 98.24% 16 검증 세트 손실: 0.098325 최선의 손실: 0.058990 정확도: 98.20% 17 검증 세트 손실: 0.060656 최선의 손실: 0.058990 정확도: 98.48% 18 검증 세트 손실: 0.074489 최선의 손실: 0.058990 정확도: 98.55% 19 검증 세트 손실: 0.072211 최선의 손실: 0.058990 정확도: 98.51% 20 검증 세트 손실: 0.072068 최선의 손실: 0.058990 정확도: 98.24% 21 검증 세트 손실: 0.083874 최선의 손실: 0.058990 정확도: 98.40% 22 검증 세트 손실: 0.070711 최선의 손실: 0.058990 정확도: 98.87% 23 검증 세트 손실: 0.074559 최선의 손실: 0.058990 정확도: 98.67% 24 검증 세트 손실: 0.071715 최선의 손실: 0.058990 정확도: 98.71% 25 검증 세트 손실: 0.077191 최선의 손실: 0.058990 정확도: 98.83% 26 검증 세트 손실: 0.084893 최선의 손실: 0.058990 정확도: 98.32% 27 검증 세트 손실: 0.068552 최선의 손실: 0.058990 정확도: 98.44% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation=<function relu at 0x123c8f598>, total= 3.5s [CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.101571 최선의 손실: 0.101571 정확도: 96.79% 1 검증 세트 손실: 0.077615 최선의 손실: 0.077615 정확도: 97.97% 2 검증 세트 손실: 0.060394 최선의 손실: 0.060394 정확도: 98.05% 3 검증 세트 손실: 0.069809 최선의 손실: 0.060394 정확도: 97.97% 4 검증 세트 손실: 0.047248 최선의 손실: 0.047248 정확도: 98.59% 5 검증 세트 손실: 0.063869 최선의 손실: 0.047248 정확도: 97.81% 6 검증 세트 손실: 0.056030 최선의 손실: 0.047248 정확도: 98.32% 7 검증 세트 손실: 0.063855 최선의 손실: 0.047248 정확도: 98.44% 8 검증 세트 손실: 0.072175 최선의 손실: 0.047248 정확도: 98.12% 9 검증 세트 손실: 0.057125 최선의 손실: 0.047248 정확도: 98.67% 10 검증 세트 손실: 0.059975 최선의 손실: 0.047248 정확도: 98.59% 11 검증 세트 손실: 0.059815 최선의 손실: 0.047248 정확도: 98.55% 12 검증 세트 손실: 0.066764 최선의 손실: 0.047248 정확도: 98.83% 13 검증 세트 손실: 0.065324 최선의 손실: 0.047248 정확도: 98.63% 14 검증 세트 손실: 0.068384 최선의 손실: 0.047248 정확도: 98.55% 15 검증 세트 손실: 0.082042 최선의 손실: 0.047248 정확도: 98.20% 16 검증 세트 손실: 0.074266 최선의 손실: 0.047248 정확도: 98.48% 17 검증 세트 손실: 0.058459 최선의 손실: 0.047248 정확도: 98.71% 18 검증 세트 손실: 0.060922 최선의 손실: 0.047248 정확도: 98.63% 19 검증 세트 손실: 0.075625 최선의 손실: 0.047248 정확도: 98.59% 20 검증 세트 손실: 0.100299 최선의 손실: 0.047248 정확도: 98.51% 21 검증 세트 손실: 0.075681 최선의 손실: 0.047248 정확도: 98.63% 22 검증 세트 손실: 0.088737 최선의 손실: 0.047248 정확도: 98.55% 23 검증 세트 손실: 0.078194 최선의 손실: 0.047248 정확도: 98.36% 24 검증 세트 손실: 0.082361 최선의 손실: 0.047248 정확도: 98.55% 25 검증 세트 손실: 0.089684 최선의 손실: 0.047248 정확도: 98.63% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation=<function relu at 0x123c8f598>, total= 3.6s [CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 8.797922 최선의 손실: 8.797922 정확도: 54.77% 1 검증 세트 손실: 1.139534 최선의 손실: 1.139534 정확도: 67.04% 2 검증 세트 손실: 0.614198 최선의 손실: 0.614198 정확도: 78.81% 3 검증 세트 손실: 0.777669 최선의 손실: 0.614198 정확도: 73.57% 4 검증 세트 손실: 0.398061 최선의 손실: 0.398061 정확도: 86.08% 5 검증 세트 손실: 0.546424 최선의 손실: 0.398061 정확도: 85.54% 6 검증 세트 손실: 487.564362 최선의 손실: 0.398061 정확도: 47.34% 7 검증 세트 손실: 87.818024 최선의 손실: 0.398061 정확도: 70.56% 8 검증 세트 손실: 13.291990 최선의 손실: 0.398061 정확도: 84.56% 9 검증 세트 손실: 11.191640 최선의 손실: 0.398061 정확도: 90.34% 10 검증 세트 손실: 6.596813 최선의 손실: 0.398061 정확도: 92.96% 11 검증 세트 손실: 7.233688 최선의 손실: 0.398061 정확도: 92.14% 12 검증 세트 손실: 12.754164 최선의 손실: 0.398061 정확도: 88.62% 13 검증 세트 손실: 8.422565 최선의 손실: 0.398061 정확도: 91.56% 14 검증 세트 손실: 2389.490723 최선의 손실: 0.398061 정확도: 72.99% 15 검증 세트 손실: 2170.817139 최선의 손실: 0.398061 정확도: 68.45% 16 검증 세트 손실: 1267.703491 최선의 손실: 0.398061 정확도: 79.01% 17 검증 세트 손실: 1388.036011 최선의 손실: 0.398061 정확도: 74.86% 18 검증 세트 손실: 970.986511 최선의 손실: 0.398061 정확도: 89.25% 19 검증 세트 손실: 581.495911 최선의 손실: 0.398061 정확도: 91.52% 20 검증 세트 손실: 610.376465 최선의 손실: 0.398061 정확도: 86.63% 21 검증 세트 손실: 1439.682617 최선의 손실: 0.398061 정확도: 91.95% 22 검증 세트 손실: 1438.855835 최선의 손실: 0.398061 정확도: 92.81% 23 검증 세트 손실: 453.842712 최선의 손실: 0.398061 정확도: 95.27% 24 검증 세트 손실: 382.240540 최선의 손실: 0.398061 정확도: 95.35% 25 검증 세트 손실: 403.416534 최선의 손실: 0.398061 정확도: 93.82% 조기 종료! [CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 17.7s [CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 12200.124023 최선의 손실: 12200.124023 정확도: 32.49% 1 검증 세트 손실: 137.964096 최선의 손실: 137.964096 정확도: 18.73% 2 검증 세트 손실: 4.579042 최선의 손실: 4.579042 정확도: 32.80% 3 검증 세트 손실: 17.062059 최선의 손실: 4.579042 정확도: 37.84% 4 검증 세트 손실: 37.019493 최선의 손실: 4.579042 정확도: 18.73% 5 검증 세트 손실: 3.521823 최선의 손실: 3.521823 정확도: 39.95% 6 검증 세트 손실: 1.619422 최선의 손실: 1.619422 정확도: 43.00% 7 검증 세트 손실: 8.243369 최선의 손실: 1.619422 정확도: 25.65% 8 검증 세트 손실: 4.945445 최선의 손실: 1.619422 정확도: 38.31% 9 검증 세트 손실: 84.247849 최선의 손실: 1.619422 정확도: 22.01% 10 검증 세트 손실: 22059.189453 최선의 손실: 1.619422 정확도: 21.46% 11 검증 세트 손실: 13836.705078 최선의 손실: 1.619422 정확도: 18.73% 12 검증 세트 손실: 6137.136719 최선의 손실: 1.619422 정확도: 26.11% 13 검증 세트 손실: 2101.965088 최선의 손실: 1.619422 정확도: 30.53% 14 검증 세트 손실: 1736.571899 최선의 손실: 1.619422 정확도: 35.46% 15 검증 세트 손실: 1166.278442 최선의 손실: 1.619422 정확도: 35.11% 16 검증 세트 손실: 439.100372 최선의 손실: 1.619422 정확도: 56.06% 17 검증 세트 손실: 666.204224 최선의 손실: 1.619422 정확도: 53.48% 18 검증 세트 손실: 936.736633 최선의 손실: 1.619422 정확도: 48.01% 19 검증 세트 손실: 222.106186 최선의 손실: 1.619422 정확도: 68.61% 20 검증 세트 손실: 85.277222 최선의 손실: 1.619422 정확도: 84.56% 21 검증 세트 손실: 969.334167 최선의 손실: 1.619422 정확도: 63.33% 22 검증 세트 손실: 464.279358 최선의 손실: 1.619422 정확도: 80.81% 23 검증 세트 손실: 415.656219 최선의 손실: 1.619422 정확도: 85.07% 24 검증 세트 손실: 274.214386 최선의 손실: 1.619422 정확도: 91.05% 25 검증 세트 손실: 563.773132 최선의 손실: 1.619422 정확도: 82.33% 26 검증 세트 손실: 2857.877930 최선의 손실: 1.619422 정확도: 66.50% 27 검증 세트 손실: 395.753998 최선의 손실: 1.619422 정확도: 93.08% 조기 종료! [CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 19.8s [CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 1.218936 최선의 손실: 1.218936 정확도: 81.78% 1 검증 세트 손실: 0.519456 최선의 손실: 0.519456 정확도: 87.92% 2 검증 세트 손실: 0.407380 최선의 손실: 0.407380 정확도: 88.74% 3 검증 세트 손실: 0.413522 최선의 손실: 0.407380 정확도: 90.19% 4 검증 세트 손실: 0.734522 최선의 손실: 0.407380 정확도: 87.84% 5 검증 세트 손실: 0.413680 최선의 손실: 0.407380 정확도: 89.52% 6 검증 세트 손실: 0.384232 최선의 손실: 0.384232 정확도: 91.56% 7 검증 세트 손실: 0.316092 최선의 손실: 0.316092 정확도: 93.32% 8 검증 세트 손실: 936.476257 최선의 손실: 0.316092 정확도: 35.26% 9 검증 세트 손실: 252.070023 최선의 손실: 0.316092 정확도: 50.90% 10 검증 세트 손실: 67.971581 최선의 손실: 0.316092 정확도: 64.54% 11 검증 세트 손실: 47.127556 최선의 손실: 0.316092 정확도: 63.45% 12 검증 세트 손실: 30.551239 최선의 손실: 0.316092 정확도: 75.29% 13 검증 세트 손실: 56.379787 최선의 손실: 0.316092 정확도: 69.82% 14 검증 세트 손실: 39.315800 최선의 손실: 0.316092 정확도: 76.51% 15 검증 세트 손실: 33.412125 최선의 손실: 0.316092 정확도: 77.99% 16 검증 세트 손실: 35.599487 최선의 손실: 0.316092 정확도: 68.45% 17 검증 세트 손실: 28.894014 최선의 손실: 0.316092 정확도: 75.10% 18 검증 세트 손실: 5632.177246 최선의 손실: 0.316092 정확도: 23.53% 19 검증 세트 손실: 40.687370 최선의 손실: 0.316092 정확도: 76.70% 20 검증 세트 손실: 114.103500 최선의 손실: 0.316092 정확도: 65.99% 21 검증 세트 손실: 203.177612 최선의 손실: 0.316092 정확도: 59.81% 22 검증 세트 손실: 45.415218 최선의 손실: 0.316092 정확도: 67.71% 23 검증 세트 손실: 28.727356 최선의 손실: 0.316092 정확도: 83.35% 24 검증 세트 손실: 18.767534 최선의 손실: 0.316092 정확도: 87.29% 25 검증 세트 손실: 28.314516 최선의 손실: 0.316092 정확도: 87.14% 26 검증 세트 손실: 23.662621 최선의 손실: 0.316092 정확도: 92.53% 27 검증 세트 손실: 531.542297 최선의 손실: 0.316092 정확도: 58.13% 28 검증 세트 손실: 251.157150 최선의 손실: 0.316092 정확도: 88.94% 조기 종료! [CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 19.6s [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 1117.146484 최선의 손실: 1117.146484 정확도: 81.94% 1 검증 세트 손실: 94.383789 최선의 손실: 94.383789 정확도: 88.51% 2 검증 세트 손실: 52.086052 최선의 손실: 52.086052 정확도: 92.46% 3 검증 세트 손실: 54.979038 최선의 손실: 52.086052 정확도: 90.85% 4 검증 세트 손실: 66.715454 최선의 손실: 52.086052 정확도: 89.09% 5 검증 세트 손실: 29.868336 최선의 손실: 29.868336 정확도: 92.42% 6 검증 세트 손실: 971012.687500 최선의 손실: 29.868336 정확도: 51.13% 7 검증 세트 손실: 84115.101562 최선의 손실: 29.868336 정확도: 85.38% 8 검증 세트 손실: 44456.976562 최선의 손실: 29.868336 정확도: 88.19% 9 검증 세트 손실: 25535.236328 최선의 손실: 29.868336 정확도: 91.13% 10 검증 세트 손실: 36894.437500 최선의 손실: 29.868336 정확도: 90.42% 11 검증 세트 손실: 15279.958008 최선의 손실: 29.868336 정확도: 91.20% 12 검증 세트 손실: 13861.757812 최선의 손실: 29.868336 정확도: 93.12% 13 검증 세트 손실: 13607.406250 최선의 손실: 29.868336 정확도: 91.63% 14 검증 세트 손실: 12828.125000 최선의 손실: 29.868336 정확도: 94.02% 15 검증 세트 손실: 635681.000000 최선의 손실: 29.868336 정확도: 75.22% 16 검증 세트 손실: 17148.916016 최선의 손실: 29.868336 정확도: 95.62% 17 검증 세트 손실: 102797.046875 최선의 손실: 29.868336 정확도: 76.82% 18 검증 세트 손실: 20364.419922 최선의 손실: 29.868336 정확도: 89.91% 19 검증 세트 손실: 8062.286133 최선의 손실: 29.868336 정확도: 93.63% 20 검증 세트 손실: 9283.248047 최선의 손실: 29.868336 정확도: 93.63% 21 검증 세트 손실: 5528.033203 최선의 손실: 29.868336 정확도: 96.21% 22 검증 세트 손실: 4271.716309 최선의 손실: 29.868336 정확도: 95.93% 23 검증 세트 손실: 8248.801758 최선의 손실: 29.868336 정확도: 96.09% 24 검증 세트 손실: 37564.742188 최선의 손실: 29.868336 정확도: 89.91% 25 검증 세트 손실: 1838174.125000 최선의 손실: 29.868336 정확도: 94.64% 26 검증 세트 손실: 1765659.000000 최선의 손실: 29.868336 정확도: 94.57% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 14.6s [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 2.003106 최선의 손실: 2.003106 정확도: 77.60% 1 검증 세트 손실: 0.461614 최선의 손실: 0.461614 정확도: 94.76% 2 검증 세트 손실: 0.396446 최선의 손실: 0.396446 정확도: 91.99% 3 검증 세트 손실: 0.157473 최선의 손실: 0.157473 정확도: 95.97% 4 검증 세트 손실: 6996.307129 최선의 손실: 0.157473 정확도: 87.33% 5 검증 세트 손실: 6731.063477 최선의 손실: 0.157473 정확도: 78.85% 6 검증 세트 손실: 2633.390869 최선의 손실: 0.157473 정확도: 91.67% 7 검증 세트 손실: 3759.903809 최선의 손실: 0.157473 정확도: 89.25% 8 검증 세트 손실: 1465.069580 최선의 손실: 0.157473 정확도: 93.47% 9 검증 세트 손실: 3577.617188 최선의 손실: 0.157473 정확도: 87.57% 10 검증 세트 손실: 1115.016968 최선의 손실: 0.157473 정확도: 94.96% 11 검증 세트 손실: 1144.049561 최선의 손실: 0.157473 정확도: 94.57% 12 검증 세트 손실: 989.557495 최선의 손실: 0.157473 정확도: 94.41% 13 검증 세트 손실: 2985.196777 최선의 손실: 0.157473 정확도: 79.98% 14 검증 세트 손실: 1797.316895 최선의 손실: 0.157473 정확도: 93.00% 15 검증 세트 손실: 849.517761 최선의 손실: 0.157473 정확도: 93.28% 16 검증 세트 손실: 659.853149 최선의 손실: 0.157473 정확도: 94.10% 17 검증 세트 손실: 1450.292358 최선의 손실: 0.157473 정확도: 91.87% 18 검증 세트 손실: 73113.898438 최선의 손실: 0.157473 정확도: 96.25% 19 검증 세트 손실: 90080.992188 최선의 손실: 0.157473 정확도: 95.35% 20 검증 세트 손실: 39001.289062 최선의 손실: 0.157473 정확도: 96.17% 21 검증 세트 손실: 23125.882812 최선의 손실: 0.157473 정확도: 96.83% 22 검증 세트 손실: 14859.990234 최선의 손실: 0.157473 정확도: 96.48% 23 검증 세트 손실: 11311.605469 최선의 손실: 0.157473 정확도: 96.68% 24 검증 세트 손실: 16918.662109 최선의 손실: 0.157473 정확도: 93.28% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 13.6s [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.999701 최선의 손실: 0.999701 정확도: 88.47% 1 검증 세트 손실: 0.490869 최선의 손실: 0.490869 정확도: 90.30% 2 검증 세트 손실: 0.532329 최선의 손실: 0.490869 정확도: 94.18% 3 검증 세트 손실: 0.951398 최선의 손실: 0.490869 정확도: 95.58% 4 검증 세트 손실: 1.241709 최선의 손실: 0.490869 정확도: 95.11% 5 검증 세트 손실: 2.929740 최선의 손실: 0.490869 정확도: 74.28% 6 검증 세트 손실: 46699.937500 최선의 손실: 0.490869 정확도: 89.44% 7 검증 세트 손실: 43877.464844 최선의 손실: 0.490869 정확도: 90.85% 8 검증 세트 손실: 14163.290039 최선의 손실: 0.490869 정확도: 94.06% 9 검증 세트 손실: 9481.925781 최선의 손실: 0.490869 정확도: 94.64% 10 검증 세트 손실: 6379.310547 최선의 손실: 0.490869 정확도: 95.04% 11 검증 세트 손실: 8678.830078 최선의 손실: 0.490869 정확도: 93.82% 12 검증 세트 손실: 14738.033203 최선의 손실: 0.490869 정확도: 92.22% 13 검증 세트 손실: 10862.588867 최선의 손실: 0.490869 정확도: 94.41% 14 검증 세트 손실: 9619.924805 최선의 손실: 0.490869 정확도: 93.39% 15 검증 세트 손실: 8077.954590 최선의 손실: 0.490869 정확도: 94.57% 16 검증 세트 손실: 4092.303711 최선의 손실: 0.490869 정확도: 95.27% 17 검증 세트 손실: 6169.334473 최선의 손실: 0.490869 정확도: 90.38% 18 검증 세트 손실: 3910.434326 최선의 손실: 0.490869 정확도: 94.37% 19 검증 세트 손실: 4863.699219 최선의 손실: 0.490869 정확도: 93.75% 20 검증 세트 손실: 374075.718750 최선의 손실: 0.490869 정확도: 78.23% 21 검증 세트 손실: 30161.701172 최선의 손실: 0.490869 정확도: 91.44% 22 검증 세트 손실: 22831.265625 최선의 손실: 0.490869 정확도: 95.19% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 12.0s [CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 0.116430 최선의 손실: 0.116430 정확도: 96.52% 1 검증 세트 손실: 0.058835 최선의 손실: 0.058835 정확도: 98.20% 2 검증 세트 손실: 0.057257 최선의 손실: 0.057257 정확도: 98.36% 3 검증 세트 손실: 0.049646 최선의 손실: 0.049646 정확도: 98.48% 4 검증 세트 손실: 0.051641 최선의 손실: 0.049646 정확도: 98.51% 5 검증 세트 손실: 0.050911 최선의 손실: 0.049646 정확도: 98.55% 6 검증 세트 손실: 0.049108 최선의 손실: 0.049108 정확도: 98.79% 7 검증 세트 손실: 0.057979 최선의 손실: 0.049108 정확도: 98.67% 8 검증 세트 손실: 0.051821 최선의 손실: 0.049108 정확도: 98.79% 9 검증 세트 손실: 0.068138 최선의 손실: 0.049108 정확도: 98.36% 10 검증 세트 손실: 0.057821 최선의 손실: 0.049108 정확도: 98.48% 11 검증 세트 손실: 0.067977 최선의 손실: 0.049108 정확도: 98.51% 12 검증 세트 손실: 0.064649 최선의 손실: 0.049108 정확도: 98.59% 13 검증 세트 손실: 0.068162 최선의 손실: 0.049108 정확도: 98.83% 14 검증 세트 손실: 0.065207 최선의 손실: 0.049108 정확도: 98.59% 15 검증 세트 손실: 0.092371 최선의 손실: 0.049108 정확도: 98.36% 16 검증 세트 손실: 0.062036 최선의 손실: 0.049108 정확도: 98.83% 17 검증 세트 손실: 0.060014 최선의 손실: 0.049108 정확도: 98.67% 18 검증 세트 손실: 0.063264 최선의 손실: 0.049108 정확도: 98.75% 19 검증 세트 손실: 0.064414 최선의 손실: 0.049108 정확도: 98.51% 20 검증 세트 손실: 0.062218 최선의 손실: 0.049108 정확도: 98.83% 21 검증 세트 손실: 0.087241 최선의 손실: 0.049108 정확도: 98.55% 22 검증 세트 손실: 0.069837 최선의 손실: 0.049108 정확도: 98.71% 23 검증 세트 손실: 0.081481 최선의 손실: 0.049108 정확도: 98.87% 24 검증 세트 손실: 0.059960 최선의 손실: 0.049108 정확도: 98.87% 25 검증 세트 손실: 0.057054 최선의 손실: 0.049108 정확도: 98.75% 26 검증 세트 손실: 0.054151 최선의 손실: 0.049108 정확도: 99.10% 27 검증 세트 손실: 0.084022 최선의 손실: 0.049108 정확도: 98.51% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 8.6s [CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 0.099178 최선의 손실: 0.099178 정확도: 97.15% 1 검증 세트 손실: 0.068436 최선의 손실: 0.068436 정확도: 98.05% 2 검증 세트 손실: 0.058424 최선의 손실: 0.058424 정확도: 98.24% 3 검증 세트 손실: 0.056601 최선의 손실: 0.056601 정확도: 98.51% 4 검증 세트 손실: 0.072510 최선의 손실: 0.056601 정확도: 98.20% 5 검증 세트 손실: 0.048268 최선의 손실: 0.048268 정확도: 98.67% 6 검증 세트 손실: 0.055025 최선의 손실: 0.048268 정확도: 98.24% 7 검증 세트 손실: 0.059230 최선의 손실: 0.048268 정확도: 98.48% 8 검증 세트 손실: 0.055420 최선의 손실: 0.048268 정확도: 98.55% 9 검증 세트 손실: 0.063677 최선의 손실: 0.048268 정확도: 98.67% 10 검증 세트 손실: 0.060752 최선의 손실: 0.048268 정확도: 98.51% 11 검증 세트 손실: 0.069324 최선의 손실: 0.048268 정확도: 98.63% 12 검증 세트 손실: 0.068122 최선의 손실: 0.048268 정확도: 98.32% 13 검증 세트 손실: 0.074313 최선의 손실: 0.048268 정확도: 98.40% 14 검증 세트 손실: 0.072509 최선의 손실: 0.048268 정확도: 98.67% 15 검증 세트 손실: 0.051386 최선의 손실: 0.048268 정확도: 98.55% 16 검증 세트 손실: 0.064050 최선의 손실: 0.048268 정확도: 98.75% 17 검증 세트 손실: 0.085943 최선의 손실: 0.048268 정확도: 98.51% 18 검증 세트 손실: 0.074846 최선의 손실: 0.048268 정확도: 98.63% 19 검증 세트 손실: 0.079712 최선의 손실: 0.048268 정확도: 98.79% 20 검증 세트 손실: 0.104756 최선의 손실: 0.048268 정확도: 98.36% 21 검증 세트 손실: 0.078609 최선의 손실: 0.048268 정확도: 98.63% 22 검증 세트 손실: 0.076926 최선의 손실: 0.048268 정확도: 98.44% 23 검증 세트 손실: 0.065128 최선의 손실: 0.048268 정확도: 98.55% 24 검증 세트 손실: 0.114213 최선의 손실: 0.048268 정확도: 98.44% 25 검증 세트 손실: 0.053017 최선의 손실: 0.048268 정확도: 98.59% 26 검증 세트 손실: 0.091203 최선의 손실: 0.048268 정확도: 98.51% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 8.5s [CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 0.102935 최선의 손실: 0.102935 정확도: 97.38% 1 검증 세트 손실: 0.070595 최선의 손실: 0.070595 정확도: 98.08% 2 검증 세트 손실: 0.055720 최선의 손실: 0.055720 정확도: 98.55% 3 검증 세트 손실: 0.049335 최선의 손실: 0.049335 정확도: 98.67% 4 검증 세트 손실: 0.057392 최선의 손실: 0.049335 정확도: 98.59% 5 검증 세트 손실: 0.067760 최선의 손실: 0.049335 정확도: 98.40% 6 검증 세트 손실: 0.051818 최선의 손실: 0.049335 정확도: 98.71% 7 검증 세트 손실: 0.053598 최선의 손실: 0.049335 정확도: 98.67% 8 검증 세트 손실: 0.057920 최선의 손실: 0.049335 정확도: 98.59% 9 검증 세트 손실: 0.068705 최선의 손실: 0.049335 정확도: 98.28% 10 검증 세트 손실: 0.081534 최선의 손실: 0.049335 정확도: 98.28% 11 검증 세트 손실: 0.052567 최선의 손실: 0.049335 정확도: 98.63% 12 검증 세트 손실: 0.057723 최선의 손실: 0.049335 정확도: 98.71% 13 검증 세트 손실: 0.072062 최선의 손실: 0.049335 정확도: 98.63% 14 검증 세트 손실: 0.056931 최선의 손실: 0.049335 정확도: 98.94% 15 검증 세트 손실: 0.057421 최선의 손실: 0.049335 정확도: 98.83% 16 검증 세트 손실: 0.065942 최선의 손실: 0.049335 정확도: 98.87% 17 검증 세트 손실: 0.070976 최선의 손실: 0.049335 정확도: 98.75% 18 검증 세트 손실: 0.101270 최선의 손실: 0.049335 정확도: 98.67% 19 검증 세트 손실: 0.052278 최선의 손실: 0.049335 정확도: 98.67% 20 검증 세트 손실: 0.068157 최선의 손실: 0.049335 정확도: 99.02% 21 검증 세트 손실: 0.072480 최선의 손실: 0.049335 정확도: 99.06% 22 검증 세트 손실: 0.064573 최선의 손실: 0.049335 정확도: 99.02% 23 검증 세트 손실: 0.094412 최선의 손실: 0.049335 정확도: 98.79% 24 검증 세트 손실: 0.087762 최선의 손실: 0.049335 정확도: 99.02% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 7.8s [CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 0.125495 최선의 손실: 0.125495 정확도: 96.95% 1 검증 세트 손실: 0.060935 최선의 손실: 0.060935 정확도: 98.20% 2 검증 세트 손실: 0.073680 최선의 손실: 0.060935 정확도: 97.69% 3 검증 세트 손실: 0.054751 최선의 손실: 0.054751 정확도: 98.20% 4 검증 세트 손실: 0.041497 최선의 손실: 0.041497 정확도: 98.63% 5 검증 세트 손실: 0.052328 최선의 손실: 0.041497 정확도: 98.40% 6 검증 세트 손실: 0.052977 최선의 손실: 0.041497 정확도: 98.59% 7 검증 세트 손실: 0.039415 최선의 손실: 0.039415 정확도: 98.91% 8 검증 세트 손실: 0.054168 최선의 손실: 0.039415 정확도: 98.91% 9 검증 세트 손실: 0.055157 최선의 손실: 0.039415 정확도: 98.91% 10 검증 세트 손실: 0.033721 최선의 손실: 0.033721 정확도: 99.14% 11 검증 세트 손실: 0.040513 최선의 손실: 0.033721 정확도: 98.79% 12 검증 세트 손실: 0.044312 최선의 손실: 0.033721 정확도: 98.75% 13 검증 세트 손실: 0.050113 최선의 손실: 0.033721 정확도: 98.79% 14 검증 세트 손실: 0.044387 최선의 손실: 0.033721 정확도: 98.94% 15 검증 세트 손실: 0.053862 최선의 손실: 0.033721 정확도: 98.59% 16 검증 세트 손실: 0.047572 최선의 손실: 0.033721 정확도: 99.02% 17 검증 세트 손실: 0.043281 최선의 손실: 0.033721 정확도: 99.10% 18 검증 세트 손실: 0.077870 최선의 손실: 0.033721 정확도: 98.79% 19 검증 세트 손실: 0.044054 최선의 손실: 0.033721 정확도: 98.83% 20 검증 세트 손실: 0.052595 최선의 손실: 0.033721 정확도: 98.83% 21 검증 세트 손실: 0.077662 최선의 손실: 0.033721 정확도: 98.67% 22 검증 세트 손실: 0.048793 최선의 손실: 0.033721 정확도: 99.06% 23 검증 세트 손실: 0.045862 최선의 손실: 0.033721 정확도: 99.02% 24 검증 세트 손실: 0.059875 최선의 손실: 0.033721 정확도: 99.06% 25 검증 세트 손실: 0.065478 최선의 손실: 0.033721 정확도: 98.87% 26 검증 세트 손실: 0.043203 최선의 손실: 0.033721 정확도: 99.06% 27 검증 세트 손실: 0.068037 최선의 손실: 0.033721 정확도: 98.48% 28 검증 세트 손실: 0.060159 최선의 손실: 0.033721 정확도: 98.83% 29 검증 세트 손실: 0.066435 최선의 손실: 0.033721 정확도: 98.87% 30 검증 세트 손실: 0.057649 최선의 손실: 0.033721 정확도: 99.02% 31 검증 세트 손실: 0.058400 최선의 손실: 0.033721 정확도: 99.26% 조기 종료! [CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 8.2s [CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 0.086824 최선의 손실: 0.086824 정확도: 97.42% 1 검증 세트 손실: 0.062750 최선의 손실: 0.062750 정확도: 98.01% 2 검증 세트 손실: 0.058109 최선의 손실: 0.058109 정확도: 98.12% 3 검증 세트 손실: 0.068417 최선의 손실: 0.058109 정확도: 98.05% 4 검증 세트 손실: 0.055424 최선의 손실: 0.055424 정확도: 98.12% 5 검증 세트 손실: 0.051816 최선의 손실: 0.051816 정확도: 98.24% 6 검증 세트 손실: 0.044551 최선의 손실: 0.044551 정확도: 98.59% 7 검증 세트 손실: 0.038076 최선의 손실: 0.038076 정확도: 99.02% 8 검증 세트 손실: 0.059807 최선의 손실: 0.038076 정확도: 98.40% 9 검증 세트 손실: 0.059831 최선의 손실: 0.038076 정확도: 98.51% 10 검증 세트 손실: 0.036320 최선의 손실: 0.036320 정확도: 99.02% 11 검증 세트 손실: 0.065152 최선의 손실: 0.036320 정확도: 98.48% 12 검증 세트 손실: 0.043556 최선의 손실: 0.036320 정확도: 98.87% 13 검증 세트 손실: 0.041657 최선의 손실: 0.036320 정확도: 98.98% 14 검증 세트 손실: 0.047105 최선의 손실: 0.036320 정확도: 99.06% 15 검증 세트 손실: 0.039503 최선의 손실: 0.036320 정확도: 98.79% 16 검증 세트 손실: 0.060645 최선의 손실: 0.036320 정확도: 98.75% 17 검증 세트 손실: 0.039748 최선의 손실: 0.036320 정확도: 98.94% 18 검증 세트 손실: 0.060150 최선의 손실: 0.036320 정확도: 98.63% 19 검증 세트 손실: 0.034137 최선의 손실: 0.034137 정확도: 98.94% 20 검증 세트 손실: 0.039956 최선의 손실: 0.034137 정확도: 99.02% 21 검증 세트 손실: 0.046456 최선의 손실: 0.034137 정확도: 98.98% 22 검증 세트 손실: 0.050945 최선의 손실: 0.034137 정확도: 99.06% 23 검증 세트 손실: 0.053340 최선의 손실: 0.034137 정확도: 98.71% 24 검증 세트 손실: 0.049818 최선의 손실: 0.034137 정확도: 98.91% 25 검증 세트 손실: 0.064910 최선의 손실: 0.034137 정확도: 99.02% 26 검증 세트 손실: 0.042247 최선의 손실: 0.034137 정확도: 98.98% 27 검증 세트 손실: 0.054640 최선의 손실: 0.034137 정확도: 98.94% 28 검증 세트 손실: 0.054556 최선의 손실: 0.034137 정확도: 98.87% 29 검증 세트 손실: 0.038837 최선의 손실: 0.034137 정확도: 99.22% 30 검증 세트 손실: 0.064293 최선의 손실: 0.034137 정확도: 98.75% 31 검증 세트 손실: 0.060236 최선의 손실: 0.034137 정확도: 98.75% 32 검증 세트 손실: 0.061160 최선의 손실: 0.034137 정확도: 99.10% 33 검증 세트 손실: 0.116801 최선의 손실: 0.034137 정확도: 98.20% 34 검증 세트 손실: 0.078643 최선의 손실: 0.034137 정확도: 98.59% 35 검증 세트 손실: 0.181980 최선의 손실: 0.034137 정확도: 97.81% 36 검증 세트 손실: 0.092094 최선의 손실: 0.034137 정확도: 98.16% 37 검증 세트 손실: 0.061625 최선의 손실: 0.034137 정확도: 98.36% 38 검증 세트 손실: 0.060262 최선의 손실: 0.034137 정확도: 98.40% 39 검증 세트 손실: 0.065972 최선의 손실: 0.034137 정확도: 98.63% 40 검증 세트 손실: 0.060400 최선의 손실: 0.034137 정확도: 98.79% 조기 종료! [CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 10.8s [CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 0.093040 최선의 손실: 0.093040 정확도: 97.42% 1 검증 세트 손실: 0.064382 최선의 손실: 0.064382 정확도: 98.20% 2 검증 세트 손실: 0.052044 최선의 손실: 0.052044 정확도: 98.28% 3 검증 세트 손실: 0.047397 최선의 손실: 0.047397 정확도: 98.51% 4 검증 세트 손실: 0.048421 최선의 손실: 0.047397 정확도: 98.44% 5 검증 세트 손실: 0.055521 최선의 손실: 0.047397 정확도: 98.44% 6 검증 세트 손실: 0.053650 최선의 손실: 0.047397 정확도: 98.36% 7 검증 세트 손실: 0.066591 최선의 손실: 0.047397 정확도: 98.40% 8 검증 세트 손실: 0.063945 최선의 손실: 0.047397 정확도: 98.44% 9 검증 세트 손실: 0.051473 최선의 손실: 0.047397 정확도: 98.55% 10 검증 세트 손실: 0.053951 최선의 손실: 0.047397 정확도: 98.55% 11 검증 세트 손실: 0.044544 최선의 손실: 0.044544 정확도: 98.63% 12 검증 세트 손실: 0.042608 최선의 손실: 0.042608 정확도: 99.06% 13 검증 세트 손실: 0.064542 최선의 손실: 0.042608 정확도: 98.48% 14 검증 세트 손실: 0.058555 최선의 손실: 0.042608 정확도: 98.67% 15 검증 세트 손실: 0.045449 최선의 손실: 0.042608 정확도: 98.91% 16 검증 세트 손실: 0.069404 최선의 손실: 0.042608 정확도: 98.87% 17 검증 세트 손실: 0.059162 최선의 손실: 0.042608 정확도: 98.87% 18 검증 세트 손실: 0.047450 최선의 손실: 0.042608 정확도: 98.87% 19 검증 세트 손실: 0.048837 최선의 손실: 0.042608 정확도: 98.71% 20 검증 세트 손실: 0.048018 최선의 손실: 0.042608 정확도: 98.71% 21 검증 세트 손실: 0.056516 최선의 손실: 0.042608 정확도: 98.83% 22 검증 세트 손실: 0.057953 최선의 손실: 0.042608 정확도: 98.63% 23 검증 세트 손실: 0.061584 최선의 손실: 0.042608 정확도: 98.91% 24 검증 세트 손실: 0.092973 최선의 손실: 0.042608 정확도: 98.28% 25 검증 세트 손실: 0.048294 최선의 손실: 0.042608 정확도: 99.06% 26 검증 세트 손실: 0.038567 최선의 손실: 0.038567 정확도: 99.22% 27 검증 세트 손실: 0.043752 최선의 손실: 0.038567 정확도: 98.98% 28 검증 세트 손실: 0.049908 최선의 손실: 0.038567 정확도: 98.87% 29 검증 세트 손실: 0.069758 최선의 손실: 0.038567 정확도: 98.44% 30 검증 세트 손실: 0.044335 최선의 손실: 0.038567 정확도: 98.94% 31 검증 세트 손실: 0.052614 최선의 손실: 0.038567 정확도: 99.06% 32 검증 세트 손실: 0.042242 최선의 손실: 0.038567 정확도: 98.87% 33 검증 세트 손실: 0.063168 최선의 손실: 0.038567 정확도: 98.94% 34 검증 세트 손실: 0.049568 최선의 손실: 0.038567 정확도: 99.02% 35 검증 세트 손실: 0.057631 최선의 손실: 0.038567 정확도: 98.87% 36 검증 세트 손실: 0.048094 최선의 손실: 0.038567 정확도: 99.14% 37 검증 세트 손실: 0.056050 최선의 손실: 0.038567 정확도: 99.02% 38 검증 세트 손실: 0.049825 최선의 손실: 0.038567 정확도: 99.02% 39 검증 세트 손실: 0.049523 최선의 손실: 0.038567 정확도: 99.14% 40 검증 세트 손실: 0.054970 최선의 손실: 0.038567 정확도: 99.18% 41 검증 세트 손실: 0.071276 최선의 손실: 0.038567 정확도: 98.91% 42 검증 세트 손실: 0.057275 최선의 손실: 0.038567 정확도: 98.98% 43 검증 세트 손실: 0.053848 최선의 손실: 0.038567 정확도: 99.02% 44 검증 세트 손실: 0.055237 최선의 손실: 0.038567 정확도: 99.06% 45 검증 세트 손실: 0.056389 최선의 손실: 0.038567 정확도: 99.02% 46 검증 세트 손실: 0.057598 최선의 손실: 0.038567 정확도: 99.02% 47 검증 세트 손실: 0.058772 최선의 손실: 0.038567 정확도: 99.06% 조기 종료! [CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 12.1s [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.131317 최선의 손실: 0.131317 정확도: 95.70% 1 검증 세트 손실: 0.076757 최선의 손실: 0.076757 정확도: 97.58% 2 검증 세트 손실: 0.071406 최선의 손실: 0.071406 정확도: 97.69% 3 검증 세트 손실: 0.085052 최선의 손실: 0.071406 정확도: 97.50% 4 검증 세트 손실: 0.065436 최선의 손실: 0.065436 정확도: 97.89% 5 검증 세트 손실: 0.070238 최선의 손실: 0.065436 정확도: 98.16% 6 검증 세트 손실: 0.058229 최선의 손실: 0.058229 정확도: 98.40% 7 검증 세트 손실: 0.043609 최선의 손실: 0.043609 정확도: 98.67% 8 검증 세트 손실: 0.047669 최선의 손실: 0.043609 정확도: 98.63% 9 검증 세트 손실: 0.050012 최선의 손실: 0.043609 정확도: 98.75% 10 검증 세트 손실: 0.045474 최선의 손실: 0.043609 정확도: 98.94% 11 검증 세트 손실: 0.064527 최선의 손실: 0.043609 정확도: 98.51% 12 검증 세트 손실: 0.053504 최선의 손실: 0.043609 정확도: 98.63% 13 검증 세트 손실: 0.047683 최선의 손실: 0.043609 정확도: 98.79% 14 검증 세트 손실: 0.065702 최선의 손실: 0.043609 정확도: 98.87% 15 검증 세트 손실: 0.053640 최선의 손실: 0.043609 정확도: 98.91% 16 검증 세트 손실: 0.056132 최선의 손실: 0.043609 정확도: 98.87% 17 검증 세트 손실: 0.077632 최선의 손실: 0.043609 정확도: 98.67% 18 검증 세트 손실: 0.052529 최선의 손실: 0.043609 정확도: 98.91% 19 검증 세트 손실: 0.086516 최선의 손실: 0.043609 정확도: 98.28% 20 검증 세트 손실: 0.080614 최선의 손실: 0.043609 정확도: 98.44% 21 검증 세트 손실: 0.057187 최선의 손실: 0.043609 정확도: 98.94% 22 검증 세트 손실: 0.083204 최선의 손실: 0.043609 정확도: 98.59% 23 검증 세트 손실: 0.071736 최선의 손실: 0.043609 정확도: 98.67% 24 검증 세트 손실: 0.043099 최선의 손실: 0.043099 정확도: 98.98% 25 검증 세트 손실: 0.062542 최선의 손실: 0.043099 정확도: 98.67% 26 검증 세트 손실: 0.055152 최선의 손실: 0.043099 정확도: 98.87% 27 검증 세트 손실: 0.082913 최선의 손실: 0.043099 정확도: 98.32% 28 검증 세트 손실: 0.049175 최선의 손실: 0.043099 정확도: 98.98% 29 검증 세트 손실: 0.053682 최선의 손실: 0.043099 정확도: 98.87% 30 검증 세트 손실: 0.071169 최선의 손실: 0.043099 정확도: 98.79% 31 검증 세트 손실: 0.070397 최선의 손실: 0.043099 정확도: 98.83% 32 검증 세트 손실: 0.050818 최선의 손실: 0.043099 정확도: 99.02% 33 검증 세트 손실: 0.105283 최선의 손실: 0.043099 정확도: 98.01% 34 검증 세트 손실: 0.096263 최선의 손실: 0.043099 정확도: 98.44% 35 검증 세트 손실: 0.087159 최선의 손실: 0.043099 정확도: 98.71% 36 검증 세트 손실: 0.096972 최선의 손실: 0.043099 정확도: 98.48% 37 검증 세트 손실: 0.075306 최선의 손실: 0.043099 정확도: 98.44% 38 검증 세트 손실: 0.068012 최선의 손실: 0.043099 정확도: 98.67% 39 검증 세트 손실: 0.085959 최선의 손실: 0.043099 정확도: 98.67% 40 검증 세트 손실: 0.052439 최선의 손실: 0.043099 정확도: 98.94% 41 검증 세트 손실: 0.072537 최선의 손실: 0.043099 정확도: 98.79% 42 검증 세트 손실: 0.062965 최선의 손실: 0.043099 정확도: 99.02% 43 검증 세트 손실: 0.086953 최선의 손실: 0.043099 정확도: 99.06% 44 검증 세트 손실: 0.076824 최선의 손실: 0.043099 정확도: 98.75% 45 검증 세트 손실: 0.059668 최선의 손실: 0.043099 정확도: 99.18% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function elu at 0x123d02048>, total= 15.1s [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.123218 최선의 손실: 0.123218 정확도: 95.93% 1 검증 세트 손실: 0.083363 최선의 손실: 0.083363 정확도: 97.30% 2 검증 세트 손실: 0.065928 최선의 손실: 0.065928 정확도: 97.77% 3 검증 세트 손실: 0.059005 최선의 손실: 0.059005 정확도: 97.89% 4 검증 세트 손실: 0.071271 최선의 손실: 0.059005 정확도: 97.58% 5 검증 세트 손실: 0.065771 최선의 손실: 0.059005 정확도: 97.93% 6 검증 세트 손실: 0.048410 최선의 손실: 0.048410 정확도: 98.51% 7 검증 세트 손실: 0.057415 최선의 손실: 0.048410 정확도: 98.28% 8 검증 세트 손실: 0.052814 최선의 손실: 0.048410 정확도: 98.44% 9 검증 세트 손실: 0.054517 최선의 손실: 0.048410 정확도: 98.67% 10 검증 세트 손실: 0.055778 최선의 손실: 0.048410 정확도: 98.44% 11 검증 세트 손실: 0.058410 최선의 손실: 0.048410 정확도: 98.51% 12 검증 세트 손실: 0.069016 최선의 손실: 0.048410 정확도: 98.59% 13 검증 세트 손실: 0.052507 최선의 손실: 0.048410 정확도: 98.59% 14 검증 세트 손실: 0.051369 최선의 손실: 0.048410 정확도: 98.75% 15 검증 세트 손실: 0.064607 최선의 손실: 0.048410 정확도: 98.59% 16 검증 세트 손실: 0.073137 최선의 손실: 0.048410 정확도: 98.24% 17 검증 세트 손실: 0.050640 최선의 손실: 0.048410 정확도: 98.79% 18 검증 세트 손실: 0.074025 최선의 손실: 0.048410 정확도: 98.63% 19 검증 세트 손실: 0.065982 최선의 손실: 0.048410 정확도: 99.02% 20 검증 세트 손실: 0.058824 최선의 손실: 0.048410 정확도: 98.94% 21 검증 세트 손실: 0.056109 최선의 손실: 0.048410 정확도: 98.87% 22 검증 세트 손실: 0.064721 최선의 손실: 0.048410 정확도: 98.55% 23 검증 세트 손실: 0.067203 최선의 손실: 0.048410 정확도: 99.14% 24 검증 세트 손실: 0.058126 최선의 손실: 0.048410 정확도: 98.94% 25 검증 세트 손실: 0.066609 최선의 손실: 0.048410 정확도: 98.79% 26 검증 세트 손실: 0.066461 최선의 손실: 0.048410 정확도: 98.63% 27 검증 세트 손실: 0.069652 최선의 손실: 0.048410 정확도: 98.40% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function elu at 0x123d02048>, total= 9.8s [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.108754 최선의 손실: 0.108754 정확도: 96.68% 1 검증 세트 손실: 0.076621 최선의 손실: 0.076621 정확도: 97.54% 2 검증 세트 손실: 0.066869 최선의 손실: 0.066869 정확도: 98.08% 3 검증 세트 손실: 0.059805 최선의 손실: 0.059805 정확도: 98.20% 4 검증 세트 손실: 0.050830 최선의 손실: 0.050830 정확도: 98.36% 5 검증 세트 손실: 0.050915 최선의 손실: 0.050830 정확도: 98.32% 6 검증 세트 손실: 0.054090 최선의 손실: 0.050830 정확도: 98.44% 7 검증 세트 손실: 0.041230 최선의 손실: 0.041230 정확도: 98.71% 8 검증 세트 손실: 0.048992 최선의 손실: 0.041230 정확도: 98.51% 9 검증 세트 손실: 0.056131 최선의 손실: 0.041230 정확도: 98.79% 10 검증 세트 손실: 0.074033 최선의 손실: 0.041230 정확도: 98.32% 11 검증 세트 손실: 0.060522 최선의 손실: 0.041230 정확도: 98.63% 12 검증 세트 손실: 0.072185 최선의 손실: 0.041230 정확도: 98.44% 13 검증 세트 손실: 0.053285 최선의 손실: 0.041230 정확도: 98.71% 14 검증 세트 손실: 0.058319 최선의 손실: 0.041230 정확도: 98.63% 15 검증 세트 손실: 0.068915 최선의 손실: 0.041230 정확도: 98.83% 16 검증 세트 손실: 0.079098 최선의 손실: 0.041230 정확도: 98.44% 17 검증 세트 손실: 0.085609 최선의 손실: 0.041230 정확도: 98.59% 18 검증 세트 손실: 0.058686 최선의 손실: 0.041230 정확도: 98.67% 19 검증 세트 손실: 0.083419 최선의 손실: 0.041230 정확도: 98.48% 20 검증 세트 손실: 0.061755 최선의 손실: 0.041230 정확도: 98.75% 21 검증 세트 손실: 0.042731 최선의 손실: 0.041230 정확도: 99.10% 22 검증 세트 손실: 0.058605 최선의 손실: 0.041230 정확도: 98.91% 23 검증 세트 손실: 0.065643 최선의 손실: 0.041230 정확도: 98.83% 24 검증 세트 손실: 0.049800 최선의 손실: 0.041230 정확도: 98.91% 25 검증 세트 손실: 0.066036 최선의 손실: 0.041230 정확도: 98.87% 26 검증 세트 손실: 0.059492 최선의 손실: 0.041230 정확도: 98.94% 27 검증 세트 손실: 0.055711 최선의 손실: 0.041230 정확도: 99.14% 28 검증 세트 손실: 0.071119 최선의 손실: 0.041230 정확도: 99.02% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function elu at 0x123d02048>, total= 9.6s [CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 1.637792 최선의 손실: 1.637792 정확도: 19.27% 1 검증 세트 손실: 1.621893 최선의 손실: 1.621893 정확도: 19.27% 2 검증 세트 손실: 1.619831 최선의 손실: 1.619831 정확도: 19.27% 3 검증 세트 손실: 1.616521 최선의 손실: 1.616521 정확도: 19.27% 4 검증 세트 손실: 1.654961 최선의 손실: 1.616521 정확도: 22.01% 5 검증 세트 손실: 1.621475 최선의 손실: 1.616521 정확도: 22.01% 6 검증 세트 손실: 1.632695 최선의 손실: 1.616521 정확도: 19.27% 7 검증 세트 손실: 1.614866 최선의 손실: 1.614866 정확도: 19.27% 8 검증 세트 손실: 1.642610 최선의 손실: 1.614866 정확도: 19.27% 9 검증 세트 손실: 1.639823 최선의 손실: 1.614866 정확도: 19.27% 10 검증 세트 손실: 1.615378 최선의 손실: 1.614866 정확도: 22.01% 11 검증 세트 손실: 1.630569 최선의 손실: 1.614866 정확도: 22.01% 12 검증 세트 손실: 1.636738 최선의 손실: 1.614866 정확도: 19.08% 13 검증 세트 손실: 1.613106 최선의 손실: 1.613106 정확도: 19.27% 14 검증 세트 손실: 1.629267 최선의 손실: 1.613106 정확도: 19.08% 15 검증 세트 손실: 1.617142 최선의 손실: 1.613106 정확도: 22.01% 16 검증 세트 손실: 1.626923 최선의 손실: 1.613106 정확도: 18.73% 17 검증 세트 손실: 1.608595 최선의 손실: 1.608595 정확도: 22.01% 18 검증 세트 손실: 1.624731 최선의 손실: 1.608595 정확도: 19.27% 19 검증 세트 손실: 1.624030 최선의 손실: 1.608595 정확도: 20.91% 20 검증 세트 손실: 1.615449 최선의 손실: 1.608595 정확도: 19.27% 21 검증 세트 손실: 1.629645 최선의 손실: 1.608595 정확도: 19.27% 22 검증 세트 손실: 1.619090 최선의 손실: 1.608595 정확도: 19.27% 23 검증 세트 손실: 1.621075 최선의 손실: 1.608595 정확도: 22.01% 24 검증 세트 손실: 1.633985 최선의 손실: 1.608595 정확도: 22.01% 25 검증 세트 손실: 1.647179 최선의 손실: 1.608595 정확도: 22.01% 26 검증 세트 손실: 1.614125 최선의 손실: 1.608595 정확도: 19.08% 27 검증 세트 손실: 1.638547 최선의 손실: 1.608595 정확도: 19.27% 28 검증 세트 손실: 1.656266 최선의 손실: 1.608595 정확도: 22.01% 29 검증 세트 손실: 1.617742 최선의 손실: 1.608595 정확도: 18.73% 30 검증 세트 손실: 1.641872 최선의 손실: 1.608595 정확도: 19.27% 31 검증 세트 손실: 1.631484 최선의 손실: 1.608595 정확도: 18.73% 32 검증 세트 손실: 1.641180 최선의 손실: 1.608595 정확도: 18.73% 33 검증 세트 손실: 1.647449 최선의 손실: 1.608595 정확도: 19.08% 34 검증 세트 손실: 1.610285 최선의 손실: 1.608595 정확도: 22.01% 35 검증 세트 손실: 1.624693 최선의 손실: 1.608595 정확도: 19.08% 36 검증 세트 손실: 1.630855 최선의 손실: 1.608595 정확도: 18.73% 37 검증 세트 손실: 1.632279 최선의 손실: 1.608595 정확도: 18.73% 38 검증 세트 손실: 1.631024 최선의 손실: 1.608595 정확도: 22.01% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation=<function relu at 0x123c8f598>, total= 49.7s [CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 1.631946 최선의 손실: 1.631946 정확도: 22.01% 1 검증 세트 손실: 1.644833 최선의 손실: 1.631946 정확도: 19.08% 2 검증 세트 손실: 1.611661 최선의 손실: 1.611661 정확도: 22.01% 3 검증 세트 손실: 1.614180 최선의 손실: 1.611661 정확도: 22.01% 4 검증 세트 손실: 1.617815 최선의 손실: 1.611661 정확도: 22.01% 5 검증 세트 손실: 1.624095 최선의 손실: 1.611661 정확도: 22.01% 6 검증 세트 손실: 1.635101 최선의 손실: 1.611661 정확도: 19.27% 7 검증 세트 손실: 1.630914 최선의 손실: 1.611661 정확도: 18.73% 8 검증 세트 손실: 1.639863 최선의 손실: 1.611661 정확도: 22.01% 9 검증 세트 손실: 1.611894 최선의 손실: 1.611661 정확도: 20.91% 10 검증 세트 손실: 1.613292 최선의 손실: 1.611661 정확도: 22.01% 11 검증 세트 손실: 1.614465 최선의 손실: 1.611661 정확도: 22.01% 12 검증 세트 손실: 1.615519 최선의 손실: 1.611661 정확도: 20.91% 13 검증 세트 손실: 1.609593 최선의 손실: 1.609593 정확도: 22.01% 14 검증 세트 손실: 1.628134 최선의 손실: 1.609593 정확도: 22.01% 15 검증 세트 손실: 1.613723 최선의 손실: 1.609593 정확도: 19.08% 16 검증 세트 손실: 1.621646 최선의 손실: 1.609593 정확도: 22.01% 17 검증 세트 손실: 1.612428 최선의 손실: 1.609593 정확도: 19.08% 18 검증 세트 손실: 1.622170 최선의 손실: 1.609593 정확도: 22.01% 19 검증 세트 손실: 1.611825 최선의 손실: 1.609593 정확도: 22.01% 20 검증 세트 손실: 1.612158 최선의 손실: 1.609593 정확도: 20.91% 21 검증 세트 손실: 1.657981 최선의 손실: 1.609593 정확도: 22.01% 22 검증 세트 손실: 1.643383 최선의 손실: 1.609593 정확도: 19.27% 23 검증 세트 손실: 1.647554 최선의 손실: 1.609593 정확도: 22.01% 24 검증 세트 손실: 1.652203 최선의 손실: 1.609593 정확도: 18.73% 25 검증 세트 손실: 1.610976 최선의 손실: 1.609593 정확도: 20.91% 26 검증 세트 손실: 1.614098 최선의 손실: 1.609593 정확도: 20.91% 27 검증 세트 손실: 1.614371 최선의 손실: 1.609593 정확도: 20.91% 28 검증 세트 손실: 1.642984 최선의 손실: 1.609593 정확도: 19.08% 29 검증 세트 손실: 1.614041 최선의 손실: 1.609593 정확도: 19.08% 30 검증 세트 손실: 1.609285 최선의 손실: 1.609285 정확도: 22.01% 31 검증 세트 손실: 1.634894 최선의 손실: 1.609285 정확도: 18.73% 32 검증 세트 손실: 1.614006 최선의 손실: 1.609285 정확도: 19.08% 33 검증 세트 손실: 1.619314 최선의 손실: 1.609285 정확도: 19.08% 34 검증 세트 손실: 1.611677 최선의 손실: 1.609285 정확도: 22.01% 35 검증 세트 손실: 1.638075 최선의 손실: 1.609285 정확도: 20.91% 36 검증 세트 손실: 1.621402 최선의 손실: 1.609285 정확도: 22.01% 37 검증 세트 손실: 1.617570 최선의 손실: 1.609285 정확도: 22.01% 38 검증 세트 손실: 1.620770 최선의 손실: 1.609285 정확도: 20.91% 39 검증 세트 손실: 1.627340 최선의 손실: 1.609285 정확도: 19.27% 40 검증 세트 손실: 1.607887 최선의 손실: 1.607887 정확도: 22.01% 41 검증 세트 손실: 1.634036 최선의 손실: 1.607887 정확도: 22.01% 42 검증 세트 손실: 1.618335 최선의 손실: 1.607887 정확도: 20.91% 43 검증 세트 손실: 1.618744 최선의 손실: 1.607887 정확도: 22.01% 44 검증 세트 손실: 1.621666 최선의 손실: 1.607887 정확도: 19.08% 45 검증 세트 손실: 1.629387 최선의 손실: 1.607887 정확도: 22.01% 46 검증 세트 손실: 1.637660 최선의 손실: 1.607887 정확도: 18.73% 47 검증 세트 손실: 1.609609 최선의 손실: 1.607887 정확도: 22.01% 48 검증 세트 손실: 1.612161 최선의 손실: 1.607887 정확도: 22.01% 49 검증 세트 손실: 1.643130 최선의 손실: 1.607887 정확도: 19.27% 50 검증 세트 손실: 1.611989 최선의 손실: 1.607887 정확도: 22.01% 51 검증 세트 손실: 1.619973 최선의 손실: 1.607887 정확도: 19.08% 52 검증 세트 손실: 1.627019 최선의 손실: 1.607887 정확도: 19.08% 53 검증 세트 손실: 1.618522 최선의 손실: 1.607887 정확도: 22.01% 54 검증 세트 손실: 1.654810 최선의 손실: 1.607887 정확도: 18.73% 55 검증 세트 손실: 1.645115 최선의 손실: 1.607887 정확도: 18.73% 56 검증 세트 손실: 1.669473 최선의 손실: 1.607887 정확도: 19.08% 57 검증 세트 손실: 1.619665 최선의 손실: 1.607887 정확도: 18.73% 58 검증 세트 손실: 1.612546 최선의 손실: 1.607887 정확도: 22.01% 59 검증 세트 손실: 1.619512 최선의 손실: 1.607887 정확도: 22.01% 60 검증 세트 손실: 1.635963 최선의 손실: 1.607887 정확도: 18.73% 61 검증 세트 손실: 1.627398 최선의 손실: 1.607887 정확도: 22.01% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation=<function relu at 0x123c8f598>, total= 1.3min [CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 1.644702 최선의 손실: 1.644702 정확도: 19.27% 1 검증 세트 손실: 1.624484 최선의 손실: 1.624484 정확도: 19.27% 2 검증 세트 손실: 1.614155 최선의 손실: 1.614155 정확도: 19.27% 3 검증 세트 손실: 1.616995 최선의 손실: 1.614155 정확도: 19.27% 4 검증 세트 손실: 1.614500 최선의 손실: 1.614155 정확도: 22.01% 5 검증 세트 손실: 1.627698 최선의 손실: 1.614155 정확도: 22.01% 6 검증 세트 손실: 1.648675 최선의 손실: 1.614155 정확도: 19.27% 7 검증 세트 손실: 1.627600 최선의 손실: 1.614155 정확도: 18.73% 8 검증 세트 손실: 1.625684 최선의 손실: 1.614155 정확도: 22.01% 9 검증 세트 손실: 1.615554 최선의 손실: 1.614155 정확도: 20.91% 10 검증 세트 손실: 1.619121 최선의 손실: 1.614155 정확도: 22.01% 11 검증 세트 손실: 1.639597 최선의 손실: 1.614155 정확도: 22.01% 12 검증 세트 손실: 1.627611 최선의 손실: 1.614155 정확도: 19.08% 13 검증 세트 손실: 1.615012 최선의 손실: 1.614155 정확도: 19.08% 14 검증 세트 손실: 1.624332 최선의 손실: 1.614155 정확도: 19.08% 15 검증 세트 손실: 1.612443 최선의 손실: 1.612443 정확도: 22.01% 16 검증 세트 손실: 1.627838 최선의 손실: 1.612443 정확도: 22.01% 17 검증 세트 손실: 1.613231 최선의 손실: 1.612443 정확도: 18.73% 18 검증 세트 손실: 1.615750 최선의 손실: 1.612443 정확도: 22.01% 19 검증 세트 손실: 1.619094 최선의 손실: 1.612443 정확도: 22.01% 20 검증 세트 손실: 1.609112 최선의 손실: 1.609112 정확도: 22.01% 21 검증 세트 손실: 1.689015 최선의 손실: 1.609112 정확도: 22.01% 22 검증 세트 손실: 1.618887 최선의 손실: 1.609112 정확도: 18.73% 23 검증 세트 손실: 1.638923 최선의 손실: 1.609112 정확도: 22.01% 24 검증 세트 손실: 1.660611 최선의 손실: 1.609112 정확도: 20.91% 25 검증 세트 손실: 1.619327 최선의 손실: 1.609112 정확도: 19.27% 26 검증 세트 손실: 1.611328 최선의 손실: 1.609112 정확도: 22.01% 27 검증 세트 손실: 1.614297 최선의 손실: 1.609112 정확도: 20.91% 28 검증 세트 손실: 1.628115 최선의 손실: 1.609112 정확도: 19.08% 29 검증 세트 손실: 1.610352 최선의 손실: 1.609112 정확도: 20.91% 30 검증 세트 손실: 1.626940 최선의 손실: 1.609112 정확도: 20.91% 31 검증 세트 손실: 1.633271 최선의 손실: 1.609112 정확도: 18.73% 32 검증 세트 손실: 1.609059 최선의 손실: 1.609059 정확도: 22.01% 33 검증 세트 손실: 1.610649 최선의 손실: 1.609059 정확도: 19.08% 34 검증 세트 손실: 1.616985 최선의 손실: 1.609059 정확도: 22.01% 35 검증 세트 손실: 1.627558 최선의 손실: 1.609059 정확도: 19.27% 36 검증 세트 손실: 1.609164 최선의 손실: 1.609059 정확도: 20.91% 37 검증 세트 손실: 1.626446 최선의 손실: 1.609059 정확도: 19.27% 38 검증 세트 손실: 1.614500 최선의 손실: 1.609059 정확도: 22.01% 39 검증 세트 손실: 1.617748 최선의 손실: 1.609059 정확도: 19.27% 40 검증 세트 손실: 1.623124 최선의 손실: 1.609059 정확도: 22.01% 41 검증 세트 손실: 1.615785 최선의 손실: 1.609059 정확도: 19.27% 42 검증 세트 손실: 1.617481 최선의 손실: 1.609059 정확도: 19.27% 43 검증 세트 손실: 1.617776 최선의 손실: 1.609059 정확도: 19.08% 44 검증 세트 손실: 1.626857 최선의 손실: 1.609059 정확도: 22.01% 45 검증 세트 손실: 1.613781 최선의 손실: 1.609059 정확도: 22.01% 46 검증 세트 손실: 1.618688 최선의 손실: 1.609059 정확도: 22.01% 47 검증 세트 손실: 1.610628 최선의 손실: 1.609059 정확도: 22.01% 48 검증 세트 손실: 1.614394 최선의 손실: 1.609059 정확도: 18.73% 49 검증 세트 손실: 1.612177 최선의 손실: 1.609059 정확도: 19.27% 50 검증 세트 손실: 1.623884 최선의 손실: 1.609059 정확도: 19.27% 51 검증 세트 손실: 1.616774 최선의 손실: 1.609059 정확도: 22.01% 52 검증 세트 손실: 1.620593 최선의 손실: 1.609059 정확도: 18.73% 53 검증 세트 손실: 1.617683 최선의 손실: 1.609059 정확도: 22.01% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation=<function relu at 0x123c8f598>, total= 1.1min [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.078570 최선의 손실: 0.078570 정확도: 97.73% 1 검증 세트 손실: 0.090214 최선의 손실: 0.078570 정확도: 97.69% 2 검증 세트 손실: 0.075094 최선의 손실: 0.075094 정확도: 98.16% 3 검증 세트 손실: 0.075673 최선의 손실: 0.075094 정확도: 98.12% 4 검증 세트 손실: 0.079149 최선의 손실: 0.075094 정확도: 98.16% 5 검증 세트 손실: 0.120583 최선의 손실: 0.075094 정확도: 97.81% 6 검증 세트 손실: 0.081124 최선의 손실: 0.075094 정확도: 97.93% 7 검증 세트 손실: 0.081967 최선의 손실: 0.075094 정확도: 98.16% 8 검증 세트 손실: 0.086626 최선의 손실: 0.075094 정확도: 97.97% 9 검증 세트 손실: 0.089330 최선의 손실: 0.075094 정확도: 97.69% 10 검증 세트 손실: 0.128339 최선의 손실: 0.075094 정확도: 98.01% 11 검증 세트 손실: 0.086318 최선의 손실: 0.075094 정확도: 98.28% 12 검증 세트 손실: 0.105809 최선의 손실: 0.075094 정확도: 98.24% 13 검증 세트 손실: 0.083423 최선의 손실: 0.075094 정확도: 98.32% 14 검증 세트 손실: 0.080559 최선의 손실: 0.075094 정확도: 97.85% 15 검증 세트 손실: 0.075596 최선의 손실: 0.075094 정확도: 98.01% 16 검증 세트 손실: 0.083049 최선의 손실: 0.075094 정확도: 98.40% 17 검증 세트 손실: 0.091151 최선의 손실: 0.075094 정확도: 98.48% 18 검증 세트 손실: 0.244865 최선의 손실: 0.075094 정확도: 94.96% 19 검증 세트 손실: 0.106419 최선의 손실: 0.075094 정확도: 98.28% 20 검증 세트 손실: 0.091545 최선의 손실: 0.075094 정확도: 98.20% 21 검증 세트 손실: 0.098875 최선의 손실: 0.075094 정확도: 98.24% 22 검증 세트 손실: 0.075095 최선의 손실: 0.075094 정확도: 98.67% 23 검증 세트 손실: 0.105641 최선의 손실: 0.075094 정확도: 98.51% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function relu at 0x123c8f598>, total= 6.3s [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.129492 최선의 손실: 0.129492 정확도: 96.33% 1 검증 세트 손실: 0.081980 최선의 손실: 0.081980 정확도: 97.85% 2 검증 세트 손실: 0.086213 최선의 손실: 0.081980 정확도: 97.58% 3 검증 세트 손실: 0.068848 최선의 손실: 0.068848 정확도: 98.01% 4 검증 세트 손실: 0.098357 최선의 손실: 0.068848 정확도: 97.62% 5 검증 세트 손실: 0.088663 최선의 손실: 0.068848 정확도: 97.54% 6 검증 세트 손실: 0.081738 최선의 손실: 0.068848 정확도: 97.62% 7 검증 세트 손실: 0.097323 최선의 손실: 0.068848 정확도: 97.69% 8 검증 세트 손실: 0.180248 최선의 손실: 0.068848 정확도: 97.38% 9 검증 세트 손실: 0.093328 최선의 손실: 0.068848 정확도: 97.97% 10 검증 세트 손실: 0.091999 최선의 손실: 0.068848 정확도: 97.85% 11 검증 세트 손실: 0.080405 최선의 손실: 0.068848 정확도: 98.44% 12 검증 세트 손실: 0.103070 최선의 손실: 0.068848 정확도: 98.05% 13 검증 세트 손실: 0.092775 최선의 손실: 0.068848 정확도: 98.36% 14 검증 세트 손실: 0.082998 최선의 손실: 0.068848 정확도: 98.01% 15 검증 세트 손실: 0.074622 최선의 손실: 0.068848 정확도: 98.48% 16 검증 세트 손실: 0.223001 최선의 손실: 0.068848 정확도: 95.27% 17 검증 세트 손실: 0.557717 최선의 손실: 0.068848 정확도: 86.59% 18 검증 세트 손실: 0.307376 최선의 손실: 0.068848 정확도: 96.48% 19 검증 세트 손실: 0.173463 최선의 손실: 0.068848 정확도: 96.83% 20 검증 세트 손실: 0.330664 최선의 손실: 0.068848 정확도: 96.44% 21 검증 세트 손실: 0.226743 최선의 손실: 0.068848 정확도: 95.54% 22 검증 세트 손실: 0.193634 최선의 손실: 0.068848 정확도: 94.80% 23 검증 세트 손실: 0.137590 최선의 손실: 0.068848 정확도: 96.29% 24 검증 세트 손실: 0.224071 최선의 손실: 0.068848 정확도: 93.78% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function relu at 0x123c8f598>, total= 5.6s [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.097946 최선의 손실: 0.097946 정확도: 97.73% 1 검증 세트 손실: 0.087322 최선의 손실: 0.087322 정확도: 97.81% 2 검증 세트 손실: 0.079753 최선의 손실: 0.079753 정확도: 97.89% 3 검증 세트 손실: 0.101510 최선의 손실: 0.079753 정확도: 97.89% 4 검증 세트 손실: 0.100699 최선의 손실: 0.079753 정확도: 97.58% 5 검증 세트 손실: 0.080646 최선의 손실: 0.079753 정확도: 98.20% 6 검증 세트 손실: 0.078956 최선의 손실: 0.078956 정확도: 98.24% 7 검증 세트 손실: 0.108237 최선의 손실: 0.078956 정확도: 97.73% 8 검증 세트 손실: 0.118291 최선의 손실: 0.078956 정확도: 98.16% 9 검증 세트 손실: 0.062286 최선의 손실: 0.062286 정확도: 98.59% 10 검증 세트 손실: 0.064681 최선의 손실: 0.062286 정확도: 98.63% 11 검증 세트 손실: 0.081172 최선의 손실: 0.062286 정확도: 98.20% 12 검증 세트 손실: 0.077397 최선의 손실: 0.062286 정확도: 98.28% 13 검증 세트 손실: 0.063635 최선의 손실: 0.062286 정확도: 98.71% 14 검증 세트 손실: 0.065459 최선의 손실: 0.062286 정확도: 98.67% 15 검증 세트 손실: 0.086147 최선의 손실: 0.062286 정확도: 98.08% 16 검증 세트 손실: 0.202604 최선의 손실: 0.062286 정확도: 96.40% 17 검증 세트 손실: 0.093628 최선의 손실: 0.062286 정확도: 97.73% 18 검증 세트 손실: 0.091621 최선의 손실: 0.062286 정확도: 97.46% 19 검증 세트 손실: 0.095241 최선의 손실: 0.062286 정확도: 97.81% 20 검증 세트 손실: 0.106719 최선의 손실: 0.062286 정확도: 97.38% 21 검증 세트 손실: 0.074859 최선의 손실: 0.062286 정확도: 98.28% 22 검증 세트 손실: 0.073180 최선의 손실: 0.062286 정확도: 98.36% 23 검증 세트 손실: 0.095504 최선의 손실: 0.062286 정확도: 97.85% 24 검증 세트 손실: 0.071487 최선의 손실: 0.062286 정확도: 98.36% 25 검증 세트 손실: 0.067689 최선의 손실: 0.062286 정확도: 98.59% 26 검증 세트 손실: 0.067167 최선의 손실: 0.062286 정확도: 98.55% 27 검증 세트 손실: 0.070388 최선의 손실: 0.062286 정확도: 98.59% 28 검증 세트 손실: 0.072329 최선의 손실: 0.062286 정확도: 98.48% 29 검증 세트 손실: 0.078894 최선의 손실: 0.062286 정확도: 98.55% 30 검증 세트 손실: 0.104279 최선의 손실: 0.062286 정확도: 97.93% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function relu at 0x123c8f598>, total= 6.0s [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 0.242434 최선의 손실: 0.242434 정확도: 93.20% 1 검증 세트 손실: 0.190081 최선의 손실: 0.190081 정확도: 95.50% 2 검증 세트 손실: 0.793046 최선의 손실: 0.190081 정확도: 70.02% 3 검증 세트 손실: 0.331011 최선의 손실: 0.190081 정확도: 89.52% 4 검증 세트 손실: 0.690381 최선의 손실: 0.190081 정확도: 67.40% 5 검증 세트 손실: 0.447420 최선의 손실: 0.190081 정확도: 76.78% 6 검증 세트 손실: 0.589434 최선의 손실: 0.190081 정확도: 73.77% 7 검증 세트 손실: 0.729933 최선의 손실: 0.190081 정확도: 74.90% 8 검증 세트 손실: 17.788738 최선의 손실: 0.190081 정확도: 23.10% 9 검증 세트 손실: 0.569734 최선의 손실: 0.190081 정확도: 72.17% 10 검증 세트 손실: 0.461680 최선의 손실: 0.190081 정확도: 75.49% 11 검증 세트 손실: 0.579540 최선의 손실: 0.190081 정확도: 74.78% 12 검증 세트 손실: 0.393067 최선의 손실: 0.190081 정확도: 86.32% 13 검증 세트 손실: 0.369655 최선의 손실: 0.190081 정확도: 87.96% 14 검증 세트 손실: 2.905377 최선의 손실: 0.190081 정확도: 89.91% 15 검증 세트 손실: 1.083670 최선의 손실: 0.190081 정확도: 65.56% 16 검증 세트 손실: 0.417340 최선의 손실: 0.190081 정확도: 88.58% 17 검증 세트 손실: 0.346426 최선의 손실: 0.190081 정확도: 90.85% 18 검증 세트 손실: 0.312047 최선의 손실: 0.190081 정확도: 91.56% 19 검증 세트 손실: 0.299082 최선의 손실: 0.190081 정확도: 92.73% 20 검증 세트 손실: 9.943906 최선의 손실: 0.190081 정확도: 31.08% 21 검증 세트 손실: 33.078552 최선의 손실: 0.190081 정확도: 38.00% 22 검증 세트 손실: 10.537510 최선의 손실: 0.190081 정확도: 56.29% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 7.1s [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 0.160506 최선의 손실: 0.160506 정확도: 95.78% 1 검증 세트 손실: 0.125696 최선의 손실: 0.125696 정확도: 96.17% 2 검증 세트 손실: 0.358200 최선의 손실: 0.125696 정확도: 95.07% 3 검증 세트 손실: 14.702783 최선의 손실: 0.125696 정확도: 29.28% 4 검증 세트 손실: 1.068716 최선의 손실: 0.125696 정확도: 56.72% 5 검증 세트 손실: 0.811520 최선의 손실: 0.125696 정확도: 68.37% 6 검증 세트 손실: 0.668276 최선의 손실: 0.125696 정확도: 73.65% 7 검증 세트 손실: 0.685424 최선의 손실: 0.125696 정확도: 83.78% 8 검증 세트 손실: 0.409313 최선의 손실: 0.125696 정확도: 86.75% 9 검증 세트 손실: 0.375611 최선의 손실: 0.125696 정확도: 87.37% 10 검증 세트 손실: 207.339935 최선의 손실: 0.125696 정확도: 35.93% 11 검증 세트 손실: 3.211388 최선의 손실: 0.125696 정확도: 57.08% 12 검증 세트 손실: 1.405156 최선의 손실: 0.125696 정확도: 73.49% 13 검증 세트 손실: 0.983712 최선의 손실: 0.125696 정확도: 75.14% 14 검증 세트 손실: 1.500962 최선의 손실: 0.125696 정확도: 67.55% 15 검증 세트 손실: 1.188423 최선의 손실: 0.125696 정확도: 68.84% 16 검증 세트 손실: 1.483777 최선의 손실: 0.125696 정확도: 64.19% 17 검증 세트 손실: 0.668540 최선의 손실: 0.125696 정확도: 80.92% 18 검증 세트 손실: 0.813982 최선의 손실: 0.125696 정확도: 81.08% 19 검증 세트 손실: 0.649522 최선의 손실: 0.125696 정확도: 80.26% 20 검증 세트 손실: 0.751132 최선의 손실: 0.125696 정확도: 78.85% 21 검증 세트 손실: 0.569444 최선의 손실: 0.125696 정확도: 86.16% 22 검증 세트 손실: 0.536345 최선의 손실: 0.125696 정확도: 85.89% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 7.8s [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 0.132719 최선의 손실: 0.132719 정확도: 96.33% 1 검증 세트 손실: 1.266059 최선의 손실: 0.132719 정확도: 61.69% 2 검증 세트 손실: 0.325120 최선의 손실: 0.132719 정확도: 89.99% 3 검증 세트 손실: 0.234543 최선의 손실: 0.132719 정확도: 93.86% 4 검증 세트 손실: 0.149924 최선의 손실: 0.132719 정확도: 95.50% 5 검증 세트 손실: 0.136558 최선의 손실: 0.132719 정확도: 96.01% 6 검증 세트 손실: 0.153259 최선의 손실: 0.132719 정확도: 95.97% 7 검증 세트 손실: 0.116219 최선의 손실: 0.116219 정확도: 96.76% 8 검증 세트 손실: 0.131746 최선의 손실: 0.116219 정확도: 96.29% 9 검증 세트 손실: 0.110908 최선의 손실: 0.110908 정확도: 97.03% 10 검증 세트 손실: 0.131837 최선의 손실: 0.110908 정확도: 96.25% 11 검증 세트 손실: 0.101667 최선의 손실: 0.101667 정확도: 97.30% 12 검증 세트 손실: 0.113930 최선의 손실: 0.101667 정확도: 96.91% 13 검증 세트 손실: 0.092504 최선의 손실: 0.092504 정확도: 97.69% 14 검증 세트 손실: 3694.409668 최선의 손실: 0.092504 정확도: 30.88% 15 검증 세트 손실: 22.737896 최선의 손실: 0.092504 정확도: 54.89% 16 검증 세트 손실: 6.939852 최선의 손실: 0.092504 정확도: 51.80% 17 검증 세트 손실: 3.080750 최선의 손실: 0.092504 정확도: 67.47% 18 검증 세트 손실: 1.993183 최선의 손실: 0.092504 정확도: 72.24% 19 검증 세트 손실: 2.025052 최선의 손실: 0.092504 정확도: 71.93% 20 검증 세트 손실: 1.313936 최선의 손실: 0.092504 정확도: 78.97% 21 검증 세트 손실: 1.118565 최선의 손실: 0.092504 정확도: 78.46% 22 검증 세트 손실: 1.119973 최선의 손실: 0.092504 정확도: 78.66% 23 검증 세트 손실: 2.024097 최선의 손실: 0.092504 정확도: 72.56% 24 검증 세트 손실: 2.461485 최선의 손실: 0.092504 정확도: 74.24% 25 검증 세트 손실: 0.776247 최선의 손실: 0.092504 정확도: 83.62% 26 검증 세트 손실: 1.512222 최선의 손실: 0.092504 정확도: 69.98% 27 검증 세트 손실: 1.171596 최선의 손실: 0.092504 정확도: 79.01% 28 검증 세트 손실: 1.432602 최선의 손실: 0.092504 정확도: 69.12% 29 검증 세트 손실: 1.062781 최선의 손실: 0.092504 정확도: 80.38% 30 검증 세트 손실: 1.483335 최선의 손실: 0.092504 정확도: 74.94% 31 검증 세트 손실: 1.098715 최선의 손실: 0.092504 정확도: 78.46% 32 검증 세트 손실: 1.052221 최선의 손실: 0.092504 정확도: 75.76% 33 검증 세트 손실: 1.100852 최선의 손실: 0.092504 정확도: 77.44% 34 검증 세트 손실: 0.845705 최선의 손실: 0.092504 정확도: 76.43% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 11.3s [CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.111626 최선의 손실: 0.111626 정확도: 96.76% 1 검증 세트 손실: 0.092553 최선의 손실: 0.092553 정확도: 98.01% 2 검증 세트 손실: 0.090560 최선의 손실: 0.090560 정확도: 97.85% 3 검증 세트 손실: 0.081372 최선의 손실: 0.081372 정확도: 97.62% 4 검증 세트 손실: 0.873324 최선의 손실: 0.081372 정확도: 94.84% 5 검증 세트 손실: 0.129243 최선의 손실: 0.081372 정확도: 97.30% 6 검증 세트 손실: 0.093880 최선의 손실: 0.081372 정확도: 97.85% 7 검증 세트 손실: 0.081353 최선의 손실: 0.081353 정확도: 98.08% 8 검증 세트 손실: 0.092171 최선의 손실: 0.081353 정확도: 97.62% 9 검증 세트 손실: 0.112355 최선의 손실: 0.081353 정확도: 97.77% 10 검증 세트 손실: 0.087873 최선의 손실: 0.081353 정확도: 98.12% 11 검증 세트 손실: 0.121890 최선의 손실: 0.081353 정확도: 97.54% 12 검증 세트 손실: 0.121503 최선의 손실: 0.081353 정확도: 97.97% 13 검증 세트 손실: 0.080383 최선의 손실: 0.080383 정확도: 98.32% 14 검증 세트 손실: 0.112015 최선의 손실: 0.080383 정확도: 97.85% 15 검증 세트 손실: 0.105247 최선의 손실: 0.080383 정확도: 97.73% 16 검증 세트 손실: 0.098864 최선의 손실: 0.080383 정확도: 97.89% 17 검증 세트 손실: 0.147075 최선의 손실: 0.080383 정확도: 98.20% 18 검증 세트 손실: 0.364091 최선의 손실: 0.080383 정확도: 93.67% 19 검증 세트 손실: 0.259405 최선의 손실: 0.080383 정확도: 97.22% 20 검증 세트 손실: 0.218525 최선의 손실: 0.080383 정확도: 97.54% 21 검증 세트 손실: 0.224541 최선의 손실: 0.080383 정확도: 97.62% 22 검증 세트 손실: 0.251593 최선의 손실: 0.080383 정확도: 97.65% 23 검증 세트 손실: 0.320691 최선의 손실: 0.080383 정확도: 97.89% 24 검증 세트 손실: 0.382610 최선의 손실: 0.080383 정확도: 97.85% 25 검증 세트 손실: 0.379453 최선의 손실: 0.080383 정확도: 97.42% 26 검증 세트 손실: 0.383373 최선의 손실: 0.080383 정확도: 97.85% 27 검증 세트 손실: 0.413475 최선의 손실: 0.080383 정확도: 97.85% 28 검증 세트 손실: 0.609405 최선의 손실: 0.080383 정확도: 97.69% 29 검증 세트 손실: 0.385701 최선의 손실: 0.080383 정확도: 97.46% 30 검증 세트 손실: 0.127292 최선의 손실: 0.080383 정확도: 97.46% 31 검증 세트 손실: 0.120212 최선의 손실: 0.080383 정확도: 98.01% 32 검증 세트 손실: 0.141826 최선의 손실: 0.080383 정확도: 97.89% 33 검증 세트 손실: 0.167287 최선의 손실: 0.080383 정확도: 97.77% 34 검증 세트 손실: 0.168912 최선의 손실: 0.080383 정확도: 97.89% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 16.0s [CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.084106 최선의 손실: 0.084106 정확도: 97.69% 1 검증 세트 손실: 0.073064 최선의 손실: 0.073064 정확도: 98.28% 2 검증 세트 손실: 0.072482 최선의 손실: 0.072482 정확도: 97.89% 3 검증 세트 손실: 0.081980 최선의 손실: 0.072482 정확도: 97.62% 4 검증 세트 손실: 0.085538 최선의 손실: 0.072482 정확도: 98.05% 5 검증 세트 손실: 0.133610 최선의 손실: 0.072482 정확도: 96.87% 6 검증 세트 손실: 0.086306 최선의 손실: 0.072482 정확도: 97.69% 7 검증 세트 손실: 0.063889 최선의 손실: 0.063889 정확도: 98.40% 8 검증 세트 손실: 0.082578 최선의 손실: 0.063889 정확도: 97.97% 9 검증 세트 손실: 0.103237 최선의 손실: 0.063889 정확도: 97.93% 10 검증 세트 손실: 0.070464 최선의 손실: 0.063889 정확도: 97.97% 11 검증 세트 손실: 0.049776 최선의 손실: 0.049776 정확도: 98.36% 12 검증 세트 손실: 0.129761 최선의 손실: 0.049776 정확도: 98.20% 13 검증 세트 손실: 0.650060 최선의 손실: 0.049776 정확도: 96.56% 14 검증 세트 손실: 0.112221 최선의 손실: 0.049776 정확도: 98.08% 15 검증 세트 손실: 0.123345 최선의 손실: 0.049776 정확도: 98.16% 16 검증 세트 손실: 0.116401 최선의 손실: 0.049776 정확도: 98.20% 17 검증 세트 손실: 0.134520 최선의 손실: 0.049776 정확도: 98.28% 18 검증 세트 손실: 0.100782 최선의 손실: 0.049776 정확도: 98.20% 19 검증 세트 손실: 0.141413 최선의 손실: 0.049776 정확도: 98.63% 20 검증 세트 손실: 0.085532 최선의 손실: 0.049776 정확도: 98.67% 21 검증 세트 손실: 0.140524 최선의 손실: 0.049776 정확도: 98.36% 22 검증 세트 손실: 0.103672 최선의 손실: 0.049776 정확도: 98.51% 23 검증 세트 손실: 0.200302 최선의 손실: 0.049776 정확도: 98.48% 24 검증 세트 손실: 0.530382 최선의 손실: 0.049776 정확도: 97.07% 25 검증 세트 손실: 0.285834 최선의 손실: 0.049776 정확도: 97.65% 26 검증 세트 손실: 0.164449 최선의 손실: 0.049776 정확도: 98.08% 27 검증 세트 손실: 0.249465 최선의 손실: 0.049776 정확도: 97.62% 28 검증 세트 손실: 0.206663 최선의 손실: 0.049776 정확도: 97.81% 29 검증 세트 손실: 0.145789 최선의 손실: 0.049776 정확도: 98.20% 30 검증 세트 손실: 0.230601 최선의 손실: 0.049776 정확도: 97.97% 31 검증 세트 손실: 0.466158 최선의 손실: 0.049776 정확도: 97.42% 32 검증 세트 손실: 0.406880 최선의 손실: 0.049776 정확도: 96.68% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 16.6s [CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.115242 최선의 손실: 0.115242 정확도: 96.87% 1 검증 세트 손실: 0.097315 최선의 손실: 0.097315 정확도: 97.69% 2 검증 세트 손실: 0.087770 최선의 손실: 0.087770 정확도: 97.77% 3 검증 세트 손실: 0.074886 최선의 손실: 0.074886 정확도: 98.08% 4 검증 세트 손실: 0.143986 최선의 손실: 0.074886 정확도: 97.19% 5 검증 세트 손실: 0.075590 최선의 손실: 0.074886 정확도: 98.40% 6 검증 세트 손실: 0.083945 최선의 손실: 0.074886 정확도: 98.32% 7 검증 세트 손실: 3.299131 최선의 손실: 0.074886 정확도: 93.59% 8 검증 세트 손실: 0.255833 최선의 손실: 0.074886 정확도: 97.69% 9 검증 세트 손실: 0.258941 최선의 손실: 0.074886 정확도: 97.65% 10 검증 세트 손실: 0.363407 최선의 손실: 0.074886 정확도: 97.89% 11 검증 세트 손실: 0.174521 최선의 손실: 0.074886 정확도: 98.12% 12 검증 세트 손실: 0.224074 최선의 손실: 0.074886 정확도: 98.20% 13 검증 세트 손실: 0.110820 최선의 손실: 0.074886 정확도: 97.85% 14 검증 세트 손실: 0.646401 최선의 손실: 0.074886 정확도: 97.54% 15 검증 세트 손실: 0.135429 최선의 손실: 0.074886 정확도: 98.28% 16 검증 세트 손실: 0.220419 최선의 손실: 0.074886 정확도: 98.20% 17 검증 세트 손실: 0.191770 최선의 손실: 0.074886 정확도: 97.93% 18 검증 세트 손실: 0.196005 최선의 손실: 0.074886 정확도: 98.51% 19 검증 세트 손실: 0.154971 최선의 손실: 0.074886 정확도: 97.46% 20 검증 세트 손실: 1.037671 최선의 손실: 0.074886 정확도: 97.58% 21 검증 세트 손실: 0.987460 최선의 손실: 0.074886 정확도: 97.42% 22 검증 세트 손실: 0.658095 최선의 손실: 0.074886 정확도: 97.93% 23 검증 세트 손실: 0.837319 최선의 손실: 0.074886 정확도: 97.89% 24 검증 세트 손실: 1.008945 최선의 손실: 0.074886 정확도: 98.05% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 12.0s [CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 166.770432 최선의 손실: 166.770432 정확도: 89.17% 1 검증 세트 손실: 31.976400 최선의 손실: 31.976400 정확도: 93.78% 2 검증 세트 손실: 265.423706 최선의 손실: 31.976400 정확도: 95.19% 3 검증 세트 손실: 75.716469 최선의 손실: 31.976400 정확도: 95.19% 4 검증 세트 손실: 278.106262 최선의 손실: 31.976400 정확도: 95.58% 5 검증 세트 손실: 856.673645 최선의 손실: 31.976400 정확도: 95.82% 6 검증 세트 손실: 169.768158 최선의 손실: 31.976400 정확도: 97.34% 7 검증 세트 손실: 176.255249 최선의 손실: 31.976400 정확도: 95.50% 8 검증 세트 손실: 1701.317383 최선의 손실: 31.976400 정확도: 95.97% 9 검증 세트 손실: 463.623138 최선의 손실: 31.976400 정확도: 96.52% 10 검증 세트 손실: 9821.067383 최선의 손실: 31.976400 정확도: 90.70% 11 검증 세트 손실: 1016.887207 최선의 손실: 31.976400 정확도: 96.68% 12 검증 세트 손실: 603.203369 최선의 손실: 31.976400 정확도: 96.91% 13 검증 세트 손실: 479.192871 최선의 손실: 31.976400 정확도: 96.83% 14 검증 세트 손실: 1511.251221 최선의 손실: 31.976400 정확도: 96.95% 15 검증 세트 손실: 1265.220459 최선의 손실: 31.976400 정확도: 96.05% 16 검증 세트 손실: 26413.847656 최선의 손실: 31.976400 정확도: 93.51% 17 검증 세트 손실: 2615.856201 최선의 손실: 31.976400 정확도: 97.46% 18 검증 세트 손실: 2012.938965 최선의 손실: 31.976400 정확도: 96.64% 19 검증 세트 손실: 3044.717285 최선의 손실: 31.976400 정확도: 96.99% 20 검증 세트 손실: 3336.948486 최선의 손실: 31.976400 정확도: 95.90% 21 검증 세트 손실: 2280.367188 최선의 손실: 31.976400 정확도: 97.65% 22 검증 세트 손실: 3118.303467 최선의 손실: 31.976400 정확도: 97.46% 조기 종료! [CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 53.8s [CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 1.994662 최선의 손실: 1.994662 정확도: 93.75% 1 검증 세트 손실: 572.252380 최선의 손실: 1.994662 정확도: 94.64% 2 검증 세트 손실: 1846.236938 최선의 손실: 1.994662 정확도: 76.35% 3 검증 세트 손실: 3453.453369 최선의 손실: 1.994662 정확도: 92.06% 4 검증 세트 손실: 239.006744 최선의 손실: 1.994662 정확도: 96.29% 5 검증 세트 손실: 889.241577 최선의 손실: 1.994662 정확도: 91.67% 6 검증 세트 손실: 397.991455 최선의 손실: 1.994662 정확도: 95.97% 7 검증 세트 손실: 181.524353 최선의 손실: 1.994662 정확도: 94.92% 8 검증 세트 손실: 10959.621094 최선의 손실: 1.994662 정확도: 92.77% 9 검증 세트 손실: 2004.684937 최선의 손실: 1.994662 정확도: 94.06% 10 검증 세트 손실: 314.304108 최선의 손실: 1.994662 정확도: 95.86% 11 검증 세트 손실: 1704.285767 최선의 손실: 1.994662 정확도: 96.21% 12 검증 세트 손실: 1457.024780 최선의 손실: 1.994662 정확도: 94.68% 13 검증 세트 손실: 25551.941406 최선의 손실: 1.994662 정확도: 92.73% 14 검증 세트 손실: 3831.615234 최선의 손실: 1.994662 정확도: 94.96% 15 검증 세트 손실: 2305.385010 최선의 손실: 1.994662 정확도: 95.86% 16 검증 세트 손실: 934.358459 최선의 손실: 1.994662 정확도: 95.54% 17 검증 세트 손실: 880.101624 최선의 손실: 1.994662 정확도: 95.90% 18 검증 세트 손실: 646.190918 최선의 손실: 1.994662 정확도: 96.72% 19 검증 세트 손실: 9892.883789 최선의 손실: 1.994662 정확도: 97.30% 20 검증 세트 손실: 3754.327637 최선의 손실: 1.994662 정확도: 97.15% 21 검증 세트 손실: 4108.412598 최선의 손실: 1.994662 정확도: 96.64% 조기 종료! [CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 51.6s [CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 1.293153 최선의 손실: 1.293153 정확도: 84.95% 1 검증 세트 손실: 414.300720 최선의 손실: 1.293153 정확도: 89.33% 2 검증 세트 손실: 45.587242 최선의 손실: 1.293153 정확도: 94.10% 3 검증 세트 손실: 15.352512 최선의 손실: 1.293153 정확도: 94.41% 4 검증 세트 손실: 203.069000 최선의 손실: 1.293153 정확도: 93.94% 5 검증 세트 손실: 90.162590 최선의 손실: 1.293153 정확도: 96.33% 6 검증 세트 손실: 2208.192139 최선의 손실: 1.293153 정확도: 91.63% 7 검증 세트 손실: 305.596008 최선의 손실: 1.293153 정확도: 95.19% 8 검증 세트 손실: 148489.828125 최선의 손실: 1.293153 정확도: 91.24% 9 검증 세트 손실: 496.114746 최선의 손실: 1.293153 정확도: 96.40% 10 검증 세트 손실: 795.122375 최선의 손실: 1.293153 정확도: 95.74% 11 검증 세트 손실: 2828.555420 최선의 손실: 1.293153 정확도: 96.60% 12 검증 세트 손실: 1338.745117 최선의 손실: 1.293153 정확도: 96.13% 13 검증 세트 손실: 1339.096191 최선의 손실: 1.293153 정확도: 96.64% 14 검증 세트 손실: 790.453735 최선의 손실: 1.293153 정확도: 97.42% 15 검증 세트 손실: 3287.715820 최선의 손실: 1.293153 정확도: 88.23% 16 검증 세트 손실: 8492.714844 최선의 손실: 1.293153 정확도: 93.51% 17 검증 세트 손실: 3934.430908 최선의 손실: 1.293153 정확도: 97.26% 18 검증 세트 손실: 7433.437012 최선의 손실: 1.293153 정확도: 96.87% 19 검증 세트 손실: 1578.483032 최선의 손실: 1.293153 정확도: 96.95% 20 검증 세트 손실: 15746.597656 최선의 손실: 1.293153 정확도: 97.19% 21 검증 세트 손실: 7902.829590 최선의 손실: 1.293153 정확도: 97.65% 조기 종료! [CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 48.1s [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 1.248383 최선의 손실: 1.248383 정확도: 38.47% 1 검증 세트 손실: 0.957884 최선의 손실: 0.957884 정확도: 54.96% 2 검증 세트 손실: 0.650360 최선의 손실: 0.650360 정확도: 74.04% 3 검증 세트 손실: 0.611082 최선의 손실: 0.611082 정확도: 74.90% 4 검증 세트 손실: 0.564825 최선의 손실: 0.564825 정확도: 76.27% 5 검증 세트 손실: 0.534614 최선의 손실: 0.534614 정확도: 81.20% 6 검증 세트 손실: 2.009787 최선의 손실: 0.534614 정확도: 42.26% 7 검증 세트 손실: 1.638779 최선의 손실: 0.534614 정확도: 19.27% 8 검증 세트 손실: 1.642248 최선의 손실: 0.534614 정확도: 19.27% 9 검증 세트 손실: 1.614108 최선의 손실: 0.534614 정확도: 19.08% 10 검증 세트 손실: 1.611272 최선의 손실: 0.534614 정확도: 22.01% 11 검증 세트 손실: 1.611794 최선의 손실: 0.534614 정확도: 19.27% 12 검증 세트 손실: 1.609829 최선의 손실: 0.534614 정확도: 18.73% 13 검증 세트 손실: 1.611527 최선의 손실: 0.534614 정확도: 22.01% 14 검증 세트 손실: 1.611256 최선의 손실: 0.534614 정확도: 22.01% 15 검증 세트 손실: 1.616654 최선의 손실: 0.534614 정확도: 22.01% 16 검증 세트 손실: 1.615577 최선의 손실: 0.534614 정확도: 19.08% 17 검증 세트 손실: 1.615330 최선의 손실: 0.534614 정확도: 22.01% 18 검증 세트 손실: 1.625297 최선의 손실: 0.534614 정확도: 19.27% 19 검증 세트 손실: 1.621212 최선의 손실: 0.534614 정확도: 19.08% 20 검증 세트 손실: 1.622847 최선의 손실: 0.534614 정확도: 19.08% 21 검증 세트 손실: 1.612911 최선의 손실: 0.534614 정확도: 22.01% 22 검증 세트 손실: 1.612948 최선의 손실: 0.534614 정확도: 20.91% 23 검증 세트 손실: 1.610622 최선의 손실: 0.534614 정확도: 19.27% 24 검증 세트 손실: 1.623160 최선의 손실: 0.534614 정확도: 22.01% 25 검증 세트 손실: 1.617488 최선의 손실: 0.534614 정확도: 19.27% 26 검증 세트 손실: 1.614785 최선의 손실: 0.534614 정확도: 22.01% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function elu at 0x123d02048>, total= 4.2s [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 1.085347 최선의 손실: 1.085347 정확도: 63.06% 1 검증 세트 손실: 0.553478 최선의 손실: 0.553478 정확도: 74.82% 2 검증 세트 손실: 0.421896 최선의 손실: 0.421896 정확도: 77.21% 3 검증 세트 손실: 0.381601 최선의 손실: 0.381601 정확도: 83.54% 4 검증 세트 손실: 0.338028 최선의 손실: 0.338028 정확도: 88.19% 5 검증 세트 손실: 0.243365 최선의 손실: 0.243365 정확도: 92.53% 6 검증 세트 손실: 0.202669 최선의 손실: 0.202669 정확도: 94.10% 7 검증 세트 손실: 0.187003 최선의 손실: 0.187003 정확도: 94.49% 8 검증 세트 손실: 0.166144 최선의 손실: 0.166144 정확도: 95.19% 9 검증 세트 손실: 0.268274 최선의 손실: 0.166144 정확도: 92.73% 10 검증 세트 손실: 0.225981 최선의 손실: 0.166144 정확도: 93.82% 11 검증 세트 손실: 0.194154 최선의 손실: 0.166144 정확도: 94.84% 12 검증 세트 손실: 0.151390 최선의 손실: 0.151390 정확도: 95.43% 13 검증 세트 손실: 0.163848 최선의 손실: 0.151390 정확도: 95.66% 14 검증 세트 손실: 0.129515 최선의 손실: 0.129515 정확도: 96.52% 15 검증 세트 손실: 0.126690 최선의 손실: 0.126690 정확도: 96.60% 16 검증 세트 손실: 0.152666 최선의 손실: 0.126690 정확도: 95.82% 17 검증 세트 손실: 0.125921 최선의 손실: 0.125921 정확도: 96.68% 18 검증 세트 손실: 0.127509 최선의 손실: 0.125921 정확도: 96.64% 19 검증 세트 손실: 0.133177 최선의 손실: 0.125921 정확도: 96.64% 20 검증 세트 손실: 0.152562 최선의 손실: 0.125921 정확도: 96.33% 21 검증 세트 손실: 0.141175 최선의 손실: 0.125921 정확도: 96.17% 22 검증 세트 손실: 0.191513 최선의 손실: 0.125921 정확도: 94.57% 23 검증 세트 손실: 0.292438 최선의 손실: 0.125921 정확도: 91.71% 24 검증 세트 손실: 0.175072 최선의 손실: 0.125921 정확도: 95.86% 25 검증 세트 손실: 0.167338 최선의 손실: 0.125921 정확도: 95.93% 26 검증 세트 손실: 0.140648 최선의 손실: 0.125921 정확도: 96.52% 27 검증 세트 손실: 0.147620 최선의 손실: 0.125921 정확도: 96.33% 28 검증 세트 손실: 0.157901 최선의 손실: 0.125921 정확도: 96.36% 29 검증 세트 손실: 0.141338 최선의 손실: 0.125921 정확도: 96.60% 30 검증 세트 손실: 0.169014 최선의 손실: 0.125921 정확도: 96.17% 31 검증 세트 손실: 0.166193 최선의 손실: 0.125921 정확도: 96.48% 32 검증 세트 손실: 0.155854 최선의 손실: 0.125921 정확도: 96.40% 33 검증 세트 손실: 0.146352 최선의 손실: 0.125921 정확도: 96.60% 34 검증 세트 손실: 0.145979 최선의 손실: 0.125921 정확도: 96.52% 35 검증 세트 손실: 0.155749 최선의 손실: 0.125921 정확도: 96.40% 36 검증 세트 손실: 0.151594 최선의 손실: 0.125921 정확도: 96.25% 37 검증 세트 손실: 0.176866 최선의 손실: 0.125921 정확도: 95.93% 38 검증 세트 손실: 0.168113 최선의 손실: 0.125921 정확도: 96.29% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function elu at 0x123d02048>, total= 5.6s [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 1.719824 최선의 손실: 1.719824 정확도: 22.01% 1 검증 세트 손실: 1.623662 최선의 손실: 1.623662 정확도: 19.08% 2 검증 세트 손실: 1.617378 최선의 손실: 1.617378 정확도: 19.08% 3 검증 세트 손실: 1.626066 최선의 손실: 1.617378 정확도: 19.27% 4 검증 세트 손실: 1.616273 최선의 손실: 1.616273 정확도: 22.01% 5 검증 세트 손실: 1.613684 최선의 손실: 1.613684 정확도: 19.27% 6 검증 세트 손실: 1.615641 최선의 손실: 1.613684 정확도: 19.27% 7 검증 세트 손실: 1.631297 최선의 손실: 1.613684 정확도: 22.01% 8 검증 세트 손실: 1.612280 최선의 손실: 1.612280 정확도: 19.27% 9 검증 세트 손실: 1.613438 최선의 손실: 1.612280 정확도: 18.73% 10 검증 세트 손실: 1.617715 최선의 손실: 1.612280 정확도: 19.27% 11 검증 세트 손실: 1.646669 최선의 손실: 1.612280 정확도: 18.73% 12 검증 세트 손실: 1.614812 최선의 손실: 1.612280 정확도: 20.91% 13 검증 세트 손실: 1.610553 최선의 손실: 1.610553 정확도: 22.01% 14 검증 세트 손실: 1.619379 최선의 손실: 1.610553 정확도: 18.73% 15 검증 세트 손실: 1.635472 최선의 손실: 1.610553 정확도: 19.08% 16 검증 세트 손실: 1.629789 최선의 손실: 1.610553 정확도: 18.73% 17 검증 세트 손실: 1.612352 최선의 손실: 1.610553 정확도: 22.01% 18 검증 세트 손실: 1.614925 최선의 손실: 1.610553 정확도: 22.01% 19 검증 세트 손실: 1.615353 최선의 손실: 1.610553 정확도: 19.08% 20 검증 세트 손실: 1.638471 최선의 손실: 1.610553 정확도: 19.27% 21 검증 세트 손실: 1.638182 최선의 손실: 1.610553 정확도: 19.27% 22 검증 세트 손실: 1.645102 최선의 손실: 1.610553 정확도: 18.73% 23 검증 세트 손실: 1.621161 최선의 손실: 1.610553 정확도: 18.73% 24 검증 세트 손실: 1.644718 최선의 손실: 1.610553 정확도: 19.27% 25 검증 세트 손실: 1.623364 최선의 손실: 1.610553 정확도: 22.01% 26 검증 세트 손실: 1.613382 최선의 손실: 1.610553 정확도: 22.01% 27 검증 세트 손실: 1.636158 최선의 손실: 1.610553 정확도: 19.27% 28 검증 세트 손실: 1.647453 최선의 손실: 1.610553 정확도: 22.01% 29 검증 세트 손실: 1.622682 최선의 손실: 1.610553 정확도: 18.73% 30 검증 세트 손실: 1.634940 최선의 손실: 1.610553 정확도: 19.08% 31 검증 세트 손실: 1.627925 최선의 손실: 1.610553 정확도: 18.73% 32 검증 세트 손실: 1.639017 최선의 손실: 1.610553 정확도: 18.73% 33 검증 세트 손실: 1.621583 최선의 손실: 1.610553 정확도: 19.08% 34 검증 세트 손실: 1.624100 최선의 손실: 1.610553 정확도: 22.01% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function elu at 0x123d02048>, total= 5.8s [CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 10968.774414 최선의 손실: 10968.774414 정확도: 19.94% 1 검증 세트 손실: 3284.601562 최선의 손실: 3284.601562 정확도: 31.98% 2 검증 세트 손실: 683.200867 최선의 손실: 683.200867 정확도: 62.82% 3 검증 세트 손실: 715.294983 최선의 손실: 683.200867 정확도: 51.56% 4 검증 세트 손실: 654.704041 최선의 손실: 654.704041 정확도: 60.13% 5 검증 세트 손실: 101.046600 최선의 손실: 101.046600 정확도: 73.34% 6 검증 세트 손실: 19685.312500 최선의 손실: 101.046600 정확도: 19.08% 7 검증 세트 손실: 9925.426758 최선의 손실: 101.046600 정확도: 30.26% 8 검증 세트 손실: 9731.416016 최선의 손실: 101.046600 정확도: 31.70% 9 검증 세트 손실: 13353.829102 최선의 손실: 101.046600 정확도: 37.49% 10 검증 세트 손실: 92031.421875 최선의 손실: 101.046600 정확도: 33.23% 11 검증 세트 손실: 1163327.000000 최선의 손실: 101.046600 정확도: 19.27% 12 검증 세트 손실: 68277.765625 최선의 손실: 101.046600 정확도: 20.88% 13 검증 세트 손실: 24727.083984 최선의 손실: 101.046600 정확도: 32.41% 14 검증 세트 손실: 8319.025391 최선의 손실: 101.046600 정확도: 39.95% 15 검증 세트 손실: 37600.566406 최선의 손실: 101.046600 정확도: 34.44% 16 검증 세트 손실: 40902.343750 최선의 손실: 101.046600 정확도: 26.74% 17 검증 세트 손실: 7780.244141 최선의 손실: 101.046600 정확도: 54.57% 18 검증 세트 손실: 5433.413574 최선의 손실: 101.046600 정확도: 60.95% 19 검증 세트 손실: 1771.161499 최선의 손실: 101.046600 정확도: 71.70% 20 검증 세트 손실: 13833.815430 최선의 손실: 101.046600 정확도: 51.06% 21 검증 세트 손실: 7754.483398 최선의 손실: 101.046600 정확도: 68.84% 22 검증 세트 손실: 4004.703369 최선의 손실: 101.046600 정확도: 62.63% 23 검증 세트 손실: 3989.610352 최선의 손실: 101.046600 정확도: 61.53% 24 검증 세트 손실: 80029.445312 최선의 손실: 101.046600 정확도: 42.34% 25 검증 세트 손실: 16751.394531 최선의 손실: 101.046600 정확도: 69.90% 26 검증 세트 손실: 11080276.000000 최선의 손실: 101.046600 정확도: 18.84% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 18.1s [CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 0.791879 최선의 손실: 0.791879 정확도: 69.90% 1 검증 세트 손실: 0.208485 최선의 손실: 0.208485 정확도: 94.25% 2 검증 세트 손실: 591437.687500 최선의 손실: 0.208485 정확도: 32.68% 3 검증 세트 손실: 5302.340332 최선의 손실: 0.208485 정확도: 70.09% 4 검증 세트 손실: 1621.817383 최선의 손실: 0.208485 정확도: 84.95% 5 검증 세트 손실: 1474.228516 최선의 손실: 0.208485 정확도: 89.91% 6 검증 세트 손실: 693.288696 최선의 손실: 0.208485 정확도: 93.08% 7 검증 세트 손실: 2591.647461 최선의 손실: 0.208485 정확도: 76.70% 8 검증 세트 손실: 1414.701416 최선의 손실: 0.208485 정확도: 88.23% 9 검증 세트 손실: 2311.581787 최선의 손실: 0.208485 정확도: 79.36% 10 검증 세트 손실: 4341.938965 최선의 손실: 0.208485 정확도: 86.59% 11 검증 세트 손실: 31329.107422 최선의 손실: 0.208485 정확도: 61.96% 12 검증 세트 손실: 1907.365479 최선의 손실: 0.208485 정확도: 88.66% 13 검증 세트 손실: 2899.513428 최선의 손실: 0.208485 정확도: 70.48% 14 검증 세트 손실: 1204.598511 최선의 손실: 0.208485 정확도: 91.83% 15 검증 세트 손실: 1248.733765 최선의 손실: 0.208485 정확도: 92.85% 16 검증 세트 손실: 2162.683350 최선의 손실: 0.208485 정확도: 91.87% 17 검증 세트 손실: 1626.269775 최선의 손실: 0.208485 정확도: 92.18% 18 검증 세트 손실: 3956.997314 최선의 손실: 0.208485 정확도: 85.54% 19 검증 세트 손실: 14710.611328 최선의 손실: 0.208485 정확도: 73.81% 20 검증 세트 손실: 4291.390625 최선의 손실: 0.208485 정확도: 90.30% 21 검증 세트 손실: 1964.957642 최선의 손실: 0.208485 정확도: 90.97% 22 검증 세트 손실: 2726.591064 최선의 손실: 0.208485 정확도: 91.87% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 15.4s [CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 17904.414062 최선의 손실: 17904.414062 정확도: 22.01% 1 검증 세트 손실: 263.024323 최선의 손실: 263.024323 정확도: 72.36% 2 검증 세트 손실: 99.573830 최선의 손실: 99.573830 정확도: 81.82% 3 검증 세트 손실: 53.254593 최선의 손실: 53.254593 정확도: 87.33% 4 검증 세트 손실: 38.547970 최선의 손실: 38.547970 정확도: 88.90% 5 검증 세트 손실: 52.193241 최선의 손실: 38.547970 정확도: 84.99% 6 검증 세트 손실: 82.859924 최선의 손실: 38.547970 정확도: 71.03% 7 검증 세트 손실: 25.974773 최선의 손실: 25.974773 정확도: 87.53% 8 검증 세트 손실: 33.888897 최선의 손실: 25.974773 정확도: 88.94% 9 검증 세트 손실: 28.020998 최선의 손실: 25.974773 정확도: 88.94% 10 검증 세트 손실: 292556.000000 최선의 손실: 25.974773 정확도: 55.86% 11 검증 세트 손실: 55910.792969 최선의 손실: 25.974773 정확도: 66.03% 12 검증 세트 손실: 88170.210938 최선의 손실: 25.974773 정확도: 51.17% 13 검증 세트 손실: 25193.876953 최선의 손실: 25.974773 정확도: 74.78% 14 검증 세트 손실: 62249.652344 최선의 손실: 25.974773 정확도: 72.52% 15 검증 세트 손실: 24121.878906 최선의 손실: 25.974773 정확도: 76.23% 16 검증 세트 손실: 18233.072266 최선의 손실: 25.974773 정확도: 82.68% 17 검증 세트 손실: 36651.390625 최선의 손실: 25.974773 정확도: 72.13% 18 검증 세트 손실: 30409.400391 최선의 손실: 25.974773 정확도: 81.08% 19 검증 세트 손실: 19104.851562 최선의 손실: 25.974773 정확도: 83.54% 20 검증 세트 손실: 38330.820312 최선의 손실: 25.974773 정확도: 84.83% 21 검증 세트 손실: 33992.511719 최선의 손실: 25.974773 정확도: 78.23% 22 검증 세트 손실: 10510.561523 최선의 손실: 25.974773 정확도: 92.06% 23 검증 세트 손실: 12132.446289 최선의 손실: 25.974773 정확도: 90.07% 24 검증 세트 손실: 18443.792969 최선의 손실: 25.974773 정확도: 91.40% 25 검증 세트 손실: 11772.454102 최선의 손실: 25.974773 정확도: 92.46% 26 검증 세트 손실: 30668.294922 최선의 손실: 25.974773 정확도: 92.26% 27 검증 세트 손실: 19474.906250 최선의 손실: 25.974773 정확도: 93.71% 28 검증 세트 손실: 24348.349609 최선의 손실: 25.974773 정확도: 94.33% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 17.3s [CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 81.386871 최선의 손실: 81.386871 정확도: 72.52% 1 검증 세트 손실: 20.117390 최선의 손실: 20.117390 정확도: 84.01% 2 검증 세트 손실: 6.548172 최선의 손실: 6.548172 정확도: 93.86% 3 검증 세트 손실: 8.825389 최선의 손실: 6.548172 정확도: 91.52% 4 검증 세트 손실: 60.545322 최선의 손실: 6.548172 정확도: 76.19% 5 검증 세트 손실: 9.154696 최선의 손실: 6.548172 정확도: 92.53% 6 검증 세트 손실: 7.139373 최선의 손실: 6.548172 정확도: 93.47% 7 검증 세트 손실: 3.030411 최선의 손실: 3.030411 정확도: 95.54% 8 검증 세트 손실: 2.992172 최선의 손실: 2.992172 정확도: 96.21% 9 검증 세트 손실: 2.376545 최선의 손실: 2.376545 정확도: 95.23% 10 검증 세트 손실: 2.408668 최선의 손실: 2.376545 정확도: 95.35% 11 검증 세트 손실: 2.233752 최선의 손실: 2.233752 정확도: 94.92% 12 검증 세트 손실: 1.766872 최선의 손실: 1.766872 정확도: 95.66% 13 검증 세트 손실: 1.693833 최선의 손실: 1.693833 정확도: 94.64% 14 검증 세트 손실: 1.767151 최선의 손실: 1.693833 정확도: 95.00% 15 검증 세트 손실: 3.743323 최선의 손실: 1.693833 정확도: 93.78% 16 검증 세트 손실: 2.016059 최선의 손실: 1.693833 정확도: 95.50% 17 검증 세트 손실: 1.635800 최선의 손실: 1.635800 정확도: 95.43% 18 검증 세트 손실: 1.091928 최선의 손실: 1.091928 정확도: 96.64% 19 검증 세트 손실: 0.905753 최선의 손실: 0.905753 정확도: 97.30% 20 검증 세트 손실: 0.886773 최선의 손실: 0.886773 정확도: 96.76% 21 검증 세트 손실: 2.040097 최선의 손실: 0.886773 정확도: 94.61% 22 검증 세트 손실: 0.875488 최선의 손실: 0.875488 정확도: 97.34% 23 검증 세트 손실: 0.815593 최선의 손실: 0.815593 정확도: 96.60% 24 검증 세트 손실: 0.933544 최선의 손실: 0.815593 정확도: 97.03% 25 검증 세트 손실: 0.552946 최선의 손실: 0.552946 정확도: 97.50% 26 검증 세트 손실: 31797180.000000 최선의 손실: 0.552946 정확도: 20.91% 27 검증 세트 손실: 44047.449219 최선의 손실: 0.552946 정확도: 81.31% 28 검증 세트 손실: 13289.864258 최선의 손실: 0.552946 정확도: 87.80% 29 검증 세트 손실: 16697.810547 최선의 손실: 0.552946 정확도: 85.65% 30 검증 세트 손실: 7548.149902 최선의 손실: 0.552946 정확도: 91.87% 31 검증 세트 손실: 11404.387695 최선의 손실: 0.552946 정확도: 88.23% 32 검증 세트 손실: 12783.588867 최선의 손실: 0.552946 정확도: 88.51% 33 검증 세트 손실: 13697.084961 최선의 손실: 0.552946 정확도: 88.62% 34 검증 세트 손실: 11198.210938 최선의 손실: 0.552946 정확도: 89.21% 35 검증 세트 손실: 10402.406250 최선의 손실: 0.552946 정확도: 88.27% 36 검증 세트 손실: 6332.910156 최선의 손실: 0.552946 정확도: 93.20% 37 검증 세트 손실: 14892.119141 최선의 손실: 0.552946 정확도: 85.26% 38 검증 세트 손실: 4382.771484 최선의 손실: 0.552946 정확도: 93.16% 39 검증 세트 손실: 6365.196289 최선의 손실: 0.552946 정확도: 92.26% 40 검증 세트 손실: 5854.009277 최선의 손실: 0.552946 정확도: 92.57% 41 검증 세트 손실: 10751.311523 최선의 손실: 0.552946 정확도: 88.51% 42 검증 세트 손실: 5514.769043 최선의 손실: 0.552946 정확도: 93.43% 43 검증 세트 손실: 4716.079590 최선의 손실: 0.552946 정확도: 94.53% 44 검증 세트 손실: 3036.363037 최선의 손실: 0.552946 정확도: 95.47% 45 검증 세트 손실: 3098.434326 최선의 손실: 0.552946 정확도: 95.11% 46 검증 세트 손실: 3990.640625 최선의 손실: 0.552946 정확도: 94.64% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 16.4s [CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.870321 최선의 손실: 0.870321 정확도: 94.68% 1 검증 세트 손실: 0.593573 최선의 손실: 0.593573 정확도: 89.84% 2 검증 세트 손실: 0.335543 최선의 손실: 0.335543 정확도: 94.29% 3 검증 세트 손실: 0.223844 최선의 손실: 0.223844 정확도: 95.07% 4 검증 세트 손실: 0.142448 최선의 손실: 0.142448 정확도: 96.91% 5 검증 세트 손실: 0.261251 최선의 손실: 0.142448 정확도: 95.62% 6 검증 세트 손실: 0.166126 최선의 손실: 0.142448 정확도: 96.25% 7 검증 세트 손실: 13422940.000000 최선의 손실: 0.142448 정확도: 49.45% 8 검증 세트 손실: 29664.160156 최선의 손실: 0.142448 정확도: 89.80% 9 검증 세트 손실: 23977.839844 최선의 손실: 0.142448 정확도: 87.92% 10 검증 세트 손실: 10979.877930 최선의 손실: 0.142448 정확도: 94.25% 11 검증 세트 손실: 8665.774414 최선의 손실: 0.142448 정확도: 93.39% 12 검증 세트 손실: 11596.949219 최선의 손실: 0.142448 정확도: 91.63% 13 검증 세트 손실: 12996.458008 최선의 손실: 0.142448 정확도: 88.90% 14 검증 세트 손실: 15115.318359 최선의 손실: 0.142448 정확도: 83.11% 15 검증 세트 손실: 5433.454590 최선의 손실: 0.142448 정확도: 93.71% 16 검증 세트 손실: 7685.220703 최선의 손실: 0.142448 정확도: 91.16% 17 검증 세트 손실: 6697.035156 최선의 손실: 0.142448 정확도: 93.47% 18 검증 세트 손실: 3690.342529 최선의 손실: 0.142448 정확도: 96.17% 19 검증 세트 손실: 3717.645020 최선의 손실: 0.142448 정확도: 95.47% 20 검증 세트 손실: 5326.400391 최선의 손실: 0.142448 정확도: 88.23% 21 검증 세트 손실: 4232.145508 최선의 손실: 0.142448 정확도: 93.51% 22 검증 세트 손실: 2835.686768 최선의 손실: 0.142448 정확도: 96.56% 23 검증 세트 손실: 3160.844971 최선의 손실: 0.142448 정확도: 96.56% 24 검증 세트 손실: 2611.159912 최선의 손실: 0.142448 정확도: 95.82% 25 검증 세트 손실: 2062.670166 최선의 손실: 0.142448 정확도: 95.00% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 9.1s [CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 5.538798 최선의 손실: 5.538798 정확도: 87.61% 1 검증 세트 손실: 0.402490 최선의 손실: 0.402490 정확도: 93.82% 2 검증 세트 손실: 0.557033 최선의 손실: 0.402490 정확도: 93.98% 3 검증 세트 손실: 0.347415 최선의 손실: 0.347415 정확도: 93.67% 4 검증 세트 손실: 0.240980 최선의 손실: 0.240980 정확도: 95.93% 5 검증 세트 손실: 0.576542 최선의 손실: 0.240980 정확도: 94.57% 6 검증 세트 손실: 0.369008 최선의 손실: 0.240980 정확도: 92.89% 7 검증 세트 손실: 0.152780 최선의 손실: 0.152780 정확도: 96.95% 8 검증 세트 손실: 0.158053 최선의 손실: 0.152780 정확도: 97.03% 9 검증 세트 손실: 0.143877 최선의 손실: 0.143877 정확도: 97.46% 10 검증 세트 손실: 0.187240 최선의 손실: 0.143877 정확도: 97.69% 11 검증 세트 손실: 0.195706 최선의 손실: 0.143877 정확도: 97.42% 12 검증 세트 손실: 0.191328 최선의 손실: 0.143877 정확도: 97.07% 13 검증 세트 손실: 0.194957 최선의 손실: 0.143877 정확도: 98.01% 14 검증 세트 손실: 70212.343750 최선의 손실: 0.143877 정확도: 82.68% 15 검증 세트 손실: 21331.900391 최선의 손실: 0.143877 정확도: 82.64% 16 검증 세트 손실: 12599.081055 최선의 손실: 0.143877 정확도: 89.87% 17 검증 세트 손실: 6367.849609 최선의 손실: 0.143877 정확도: 93.35% 18 검증 세트 손실: 8577.859375 최선의 손실: 0.143877 정확도: 90.50% 19 검증 세트 손실: 6416.514648 최선의 손실: 0.143877 정확도: 92.69% 20 검증 세트 손실: 9962.333984 최선의 손실: 0.143877 정확도: 88.66% 21 검증 세트 손실: 3923.861328 최선의 손실: 0.143877 정확도: 95.50% 22 검증 세트 손실: 7221.534180 최선의 손실: 0.143877 정확도: 90.11% 23 검증 세트 손실: 5576.715332 최선의 손실: 0.143877 정확도: 95.31% 24 검증 세트 손실: 4231.028320 최선의 손실: 0.143877 정확도: 95.54% 25 검증 세트 손실: 4093.128906 최선의 손실: 0.143877 정확도: 93.94% 26 검증 세트 손실: 3465.563232 최선의 손실: 0.143877 정확도: 96.17% 27 검증 세트 손실: 4566.436035 최선의 손실: 0.143877 정확도: 95.54% 28 검증 세트 손실: 3352.057129 최선의 손실: 0.143877 정확도: 95.62% 29 검증 세트 손실: 3216.670898 최선의 손실: 0.143877 정확도: 94.80% 30 검증 세트 손실: 2924.448486 최선의 손실: 0.143877 정확도: 93.67% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 11.1s [CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 2.071124 최선의 손실: 2.071124 정확도: 18.73% 1 검증 세트 손실: 2.404204 최선의 손실: 2.071124 정확도: 18.73% 2 검증 세트 손실: 2.114024 최선의 손실: 2.071124 정확도: 19.27% 3 검증 세트 손실: 2.245188 최선의 손실: 2.071124 정확도: 19.27% 4 검증 세트 손실: 2.072465 최선의 손실: 2.071124 정확도: 19.27% 5 검증 세트 손실: 1.700317 최선의 손실: 1.700317 정확도: 20.91% 6 검증 세트 손실: 2.097901 최선의 손실: 1.700317 정확도: 18.73% 7 검증 세트 손실: 1.991349 최선의 손실: 1.700317 정확도: 19.08% 8 검증 세트 손실: 1.886116 최선의 손실: 1.700317 정확도: 19.08% 9 검증 세트 손실: 2.482889 최선의 손실: 1.700317 정확도: 19.27% 10 검증 세트 손실: 1.726872 최선의 손실: 1.700317 정확도: 20.91% 11 검증 세트 손실: 1.677544 최선의 손실: 1.677544 정확도: 22.01% 12 검증 세트 손실: 1.999842 최선의 손실: 1.677544 정확도: 19.08% 13 검증 세트 손실: 1.756564 최선의 손실: 1.677544 정확도: 19.08% 14 검증 세트 손실: 2.995762 최선의 손실: 1.677544 정확도: 20.91% 15 검증 세트 손실: 1.696041 최선의 손실: 1.677544 정확도: 19.27% 16 검증 세트 손실: 2.644183 최선의 손실: 1.677544 정확도: 20.91% 17 검증 세트 손실: 2.019507 최선의 손실: 1.677544 정확도: 20.91% 18 검증 세트 손실: 2.568144 최선의 손실: 1.677544 정확도: 22.01% 19 검증 세트 손실: 2.833767 최선의 손실: 1.677544 정확도: 22.01% 20 검증 세트 손실: 2.283540 최선의 손실: 1.677544 정확도: 22.01% 21 검증 세트 손실: 2.377195 최선의 손실: 1.677544 정확도: 20.91% 22 검증 세트 손실: 1.983328 최선의 손실: 1.677544 정확도: 18.73% 23 검증 세트 손실: 2.143944 최선의 손실: 1.677544 정확도: 19.27% 24 검증 세트 손실: 2.032362 최선의 손실: 1.677544 정확도: 20.91% 25 검증 세트 손실: 1.828000 최선의 손실: 1.677544 정확도: 20.91% 26 검증 세트 손실: 1.893209 최선의 손실: 1.677544 정확도: 19.08% 27 검증 세트 손실: 2.163732 최선의 손실: 1.677544 정확도: 22.01% 28 검증 세트 손실: 2.621584 최선의 손실: 1.677544 정확도: 19.08% 29 검증 세트 손실: 2.281030 최선의 손실: 1.677544 정확도: 20.91% 30 검증 세트 손실: 1.913919 최선의 손실: 1.677544 정확도: 19.27% 31 검증 세트 손실: 2.141626 최선의 손실: 1.677544 정확도: 19.27% 32 검증 세트 손실: 2.017684 최선의 손실: 1.677544 정확도: 19.27% 조기 종료! [CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation=<function elu at 0x123d02048>, total= 53.3s [CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 2.066243 최선의 손실: 2.066243 정확도: 19.27% 1 검증 세트 손실: 2.041188 최선의 손실: 2.041188 정확도: 20.91% 2 검증 세트 손실: 2.136921 최선의 손실: 2.041188 정확도: 22.01% 3 검증 세트 손실: 2.180804 최선의 손실: 2.041188 정확도: 22.01% 4 검증 세트 손실: 2.010303 최선의 손실: 2.010303 정확도: 20.91% 5 검증 세트 손실: 2.124347 최선의 손실: 2.010303 정확도: 19.27% 6 검증 세트 손실: 1.798514 최선의 손실: 1.798514 정확도: 19.27% 7 검증 세트 손실: 2.029060 최선의 손실: 1.798514 정확도: 19.08% 8 검증 세트 손실: 2.358260 최선의 손실: 1.798514 정확도: 18.73% 9 검증 세트 손실: 1.772398 최선의 손실: 1.772398 정확도: 19.27% 10 검증 세트 손실: 2.146646 최선의 손실: 1.772398 정확도: 19.08% 11 검증 세트 손실: 2.742053 최선의 손실: 1.772398 정확도: 22.01% 12 검증 세트 손실: 2.137963 최선의 손실: 1.772398 정확도: 19.27% 13 검증 세트 손실: 2.502737 최선의 손실: 1.772398 정확도: 19.27% 14 검증 세트 손실: 2.296682 최선의 손실: 1.772398 정확도: 19.27% 15 검증 세트 손실: 2.036037 최선의 손실: 1.772398 정확도: 18.73% 16 검증 세트 손실: 1.656375 최선의 손실: 1.656375 정확도: 19.08% 17 검증 세트 손실: 1.941306 최선의 손실: 1.656375 정확도: 18.73% 18 검증 세트 손실: 1.873836 최선의 손실: 1.656375 정확도: 19.08% 19 검증 세트 손실: 2.003687 최선의 손실: 1.656375 정확도: 18.73% 20 검증 세트 손실: 2.406522 최선의 손실: 1.656375 정확도: 19.27% 21 검증 세트 손실: 1.857481 최선의 손실: 1.656375 정확도: 19.27% 22 검증 세트 손실: 2.096717 최선의 손실: 1.656375 정확도: 19.27% 23 검증 세트 손실: 2.520992 최선의 손실: 1.656375 정확도: 22.01% 24 검증 세트 손실: 1.893647 최선의 손실: 1.656375 정확도: 19.08% 25 검증 세트 손실: 2.078129 최선의 손실: 1.656375 정확도: 22.01% 26 검증 세트 손실: 2.804221 최선의 손실: 1.656375 정확도: 19.08% 27 검증 세트 손실: 2.394255 최선의 손실: 1.656375 정확도: 20.91% 28 검증 세트 손실: 1.977026 최선의 손실: 1.656375 정확도: 20.91% 29 검증 세트 손실: 1.721667 최선의 손실: 1.656375 정확도: 19.27% 30 검증 세트 손실: 2.203493 최선의 손실: 1.656375 정확도: 19.08% 31 검증 세트 손실: 2.605230 최선의 손실: 1.656375 정확도: 22.01% 32 검증 세트 손실: 2.066092 최선의 손실: 1.656375 정확도: 18.73% 33 검증 세트 손실: 2.527796 최선의 손실: 1.656375 정확도: 19.08% 34 검증 세트 손실: 2.730628 최선의 손실: 1.656375 정확도: 18.73% 35 검증 세트 손실: 2.582781 최선의 손실: 1.656375 정확도: 22.01% 36 검증 세트 손실: 2.845665 최선의 손실: 1.656375 정확도: 19.27% 37 검증 세트 손실: 1.998367 최선의 손실: 1.656375 정확도: 19.27% 조기 종료! [CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation=<function elu at 0x123d02048>, total= 1.2min [CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 1.855145 최선의 손실: 1.855145 정확도: 18.73% 1 검증 세트 손실: 2.136686 최선의 손실: 1.855145 정확도: 22.01% 2 검증 세트 손실: 2.195396 최선의 손실: 1.855145 정확도: 19.08% 3 검증 세트 손실: 2.144047 최선의 손실: 1.855145 정확도: 19.27% 4 검증 세트 손실: 3.100753 최선의 손실: 1.855145 정확도: 20.91% 5 검증 세트 손실: 2.464194 최선의 손실: 1.855145 정확도: 20.91% 6 검증 세트 손실: 2.003239 최선의 손실: 1.855145 정확도: 22.01% 7 검증 세트 손실: 1.763756 최선의 손실: 1.763756 정확도: 22.01% 8 검증 세트 손실: 1.700599 최선의 손실: 1.700599 정확도: 19.27% 9 검증 세트 손실: 2.334465 최선의 손실: 1.700599 정확도: 22.01% 10 검증 세트 손실: 1.853949 최선의 손실: 1.700599 정확도: 18.73% 11 검증 세트 손실: 1.842175 최선의 손실: 1.700599 정확도: 19.27% 12 검증 세트 손실: 2.091022 최선의 손실: 1.700599 정확도: 20.91% 13 검증 세트 손실: 3.280356 최선의 손실: 1.700599 정확도: 19.08% 14 검증 세트 손실: 2.147487 최선의 손실: 1.700599 정확도: 19.08% 15 검증 세트 손실: 1.816309 최선의 손실: 1.700599 정확도: 19.27% 16 검증 세트 손실: 1.802175 최선의 손실: 1.700599 정확도: 18.73% 17 검증 세트 손실: 2.435387 최선의 손실: 1.700599 정확도: 20.91% 18 검증 세트 손실: 1.970498 최선의 손실: 1.700599 정확도: 19.27% 19 검증 세트 손실: 2.368726 최선의 손실: 1.700599 정확도: 22.01% 20 검증 세트 손실: 2.211056 최선의 손실: 1.700599 정확도: 19.27% 21 검증 세트 손실: 2.549935 최선의 손실: 1.700599 정확도: 22.01% 22 검증 세트 손실: 1.926970 최선의 손실: 1.700599 정확도: 19.27% 23 검증 세트 손실: 2.687271 최선의 손실: 1.700599 정확도: 19.08% 24 검증 세트 손실: 2.501517 최선의 손실: 1.700599 정확도: 19.27% 25 검증 세트 손실: 1.704099 최선의 손실: 1.700599 정확도: 22.01% 26 검증 세트 손실: 2.280988 최선의 손실: 1.700599 정확도: 18.73% 27 검증 세트 손실: 1.997113 최선의 손실: 1.700599 정확도: 18.73% 28 검증 세트 손실: 2.451523 최선의 손실: 1.700599 정확도: 19.08% 29 검증 세트 손실: 2.783396 최선의 손실: 1.700599 정확도: 20.91% 조기 종료! [CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation=<function elu at 0x123d02048>, total= 50.5s [CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.153380 최선의 손실: 0.153380 정확도: 94.80% 1 검증 세트 손실: 0.087585 최선의 손실: 0.087585 정확도: 97.50% 2 검증 세트 손실: 0.076680 최선의 손실: 0.076680 정확도: 97.77% 3 검증 세트 손실: 0.081571 최선의 손실: 0.076680 정확도: 97.69% 4 검증 세트 손실: 0.075921 최선의 손실: 0.075921 정확도: 97.93% 5 검증 세트 손실: 0.065014 최선의 손실: 0.065014 정확도: 98.44% 6 검증 세트 손실: 0.065707 최선의 손실: 0.065014 정확도: 98.36% 7 검증 세트 손실: 0.071045 최선의 손실: 0.065014 정확도: 98.32% 8 검증 세트 손실: 0.070486 최선의 손실: 0.065014 정확도: 98.32% 9 검증 세트 손실: 0.073646 최선의 손실: 0.065014 정확도: 98.28% 10 검증 세트 손실: 0.048541 최선의 손실: 0.048541 정확도: 98.94% 11 검증 세트 손실: 0.066789 최선의 손실: 0.048541 정확도: 98.36% 12 검증 세트 손실: 0.059691 최선의 손실: 0.048541 정확도: 98.63% 13 검증 세트 손실: 0.061265 최선의 손실: 0.048541 정확도: 98.44% 14 검증 세트 손실: 0.068100 최선의 손실: 0.048541 정확도: 98.32% 15 검증 세트 손실: 0.071218 최선의 손실: 0.048541 정확도: 98.40% 16 검증 세트 손실: 0.079767 최선의 손실: 0.048541 정확도: 98.71% 17 검증 세트 손실: 0.082241 최선의 손실: 0.048541 정확도: 98.75% 18 검증 세트 손실: 0.080931 최선의 손실: 0.048541 정확도: 98.51% 19 검증 세트 손실: 0.068859 최선의 손실: 0.048541 정확도: 98.55% 20 검증 세트 손실: 0.072178 최선의 손실: 0.048541 정확도: 98.71% 21 검증 세트 손실: 0.089576 최선의 손실: 0.048541 정확도: 98.79% 22 검증 세트 손실: 0.064495 최선의 손실: 0.048541 정확도: 98.79% 23 검증 세트 손실: 0.083692 최선의 손실: 0.048541 정확도: 98.51% 24 검증 세트 손실: 0.077430 최선의 손실: 0.048541 정확도: 98.71% 25 검증 세트 손실: 0.087058 최선의 손실: 0.048541 정확도: 98.55% 26 검증 세트 손실: 0.098764 최선의 손실: 0.048541 정확도: 98.55% 27 검증 세트 손실: 0.077014 최선의 손실: 0.048541 정확도: 98.48% 28 검증 세트 손실: 0.076765 최선의 손실: 0.048541 정확도: 98.63% 29 검증 세트 손실: 0.077433 최선의 손실: 0.048541 정확도: 98.91% 30 검증 세트 손실: 0.104381 최선의 손실: 0.048541 정확도: 98.32% 31 검증 세트 손실: 0.095313 최선의 손실: 0.048541 정확도: 98.67% 조기 종료! [CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation=<function elu at 0x123d02048>, total= 7.8s [CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.142727 최선의 손실: 0.142727 정확도: 96.09% 1 검증 세트 손실: 0.077563 최선의 손실: 0.077563 정확도: 97.54% 2 검증 세트 손실: 0.068067 최선의 손실: 0.068067 정확도: 97.81% 3 검증 세트 손실: 0.056791 최선의 손실: 0.056791 정확도: 98.24% 4 검증 세트 손실: 0.057220 최선의 손실: 0.056791 정확도: 98.32% 5 검증 세트 손실: 0.047567 최선의 손실: 0.047567 정확도: 98.51% 6 검증 세트 손실: 0.064594 최선의 손실: 0.047567 정확도: 97.93% 7 검증 세트 손실: 0.063672 최선의 손실: 0.047567 정확도: 98.08% 8 검증 세트 손실: 0.088677 최선의 손실: 0.047567 정확도: 97.54% 9 검증 세트 손실: 0.055997 최선의 손실: 0.047567 정확도: 98.40% 10 검증 세트 손실: 0.052855 최선의 손실: 0.047567 정확도: 98.67% 11 검증 세트 손실: 0.075109 최선의 손실: 0.047567 정확도: 98.32% 12 검증 세트 손실: 0.059818 최선의 손실: 0.047567 정확도: 98.59% 13 검증 세트 손실: 0.053962 최선의 손실: 0.047567 정확도: 98.87% 14 검증 세트 손실: 0.065028 최선의 손실: 0.047567 정확도: 98.63% 15 검증 세트 손실: 0.056340 최선의 손실: 0.047567 정확도: 98.94% 16 검증 세트 손실: 0.069475 최선의 손실: 0.047567 정확도: 98.79% 17 검증 세트 손실: 0.059453 최선의 손실: 0.047567 정확도: 98.87% 18 검증 세트 손실: 0.056153 최선의 손실: 0.047567 정확도: 98.59% 19 검증 세트 손실: 0.072286 최선의 손실: 0.047567 정확도: 98.55% 20 검증 세트 손실: 0.071480 최선의 손실: 0.047567 정확도: 98.67% 21 검증 세트 손실: 0.066642 최선의 손실: 0.047567 정확도: 98.79% 22 검증 세트 손실: 0.074040 최선의 손실: 0.047567 정확도: 98.48% 23 검증 세트 손실: 0.069105 최선의 손실: 0.047567 정확도: 98.83% 24 검증 세트 손실: 0.081750 최선의 손실: 0.047567 정확도: 98.63% 25 검증 세트 손실: 0.081299 최선의 손실: 0.047567 정확도: 98.91% 26 검증 세트 손실: 0.060161 최선의 손실: 0.047567 정확도: 98.71% 조기 종료! [CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation=<function elu at 0x123d02048>, total= 6.7s [CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.140270 최선의 손실: 0.140270 정확도: 95.35% 1 검증 세트 손실: 0.078177 최선의 손실: 0.078177 정확도: 97.30% 2 검증 세트 손실: 0.067004 최선의 손실: 0.067004 정확도: 97.77% 3 검증 세트 손실: 0.056291 최선의 손실: 0.056291 정확도: 98.24% 4 검증 세트 손실: 0.059295 최선의 손실: 0.056291 정확도: 98.28% 5 검증 세트 손실: 0.053592 최선의 손실: 0.053592 정확도: 98.28% 6 검증 세트 손실: 0.081467 최선의 손실: 0.053592 정확도: 97.93% 7 검증 세트 손실: 0.063723 최선의 손실: 0.053592 정확도: 98.12% 8 검증 세트 손실: 0.057309 최선의 손실: 0.053592 정확도: 98.32% 9 검증 세트 손실: 0.051112 최선의 손실: 0.051112 정확도: 98.67% 10 검증 세트 손실: 0.067010 최선의 손실: 0.051112 정확도: 98.32% 11 검증 세트 손실: 0.053866 최선의 손실: 0.051112 정확도: 98.51% 12 검증 세트 손실: 0.050428 최선의 손실: 0.050428 정확도: 98.67% 13 검증 세트 손실: 0.057997 최선의 손실: 0.050428 정확도: 98.48% 14 검증 세트 손실: 0.072631 최선의 손실: 0.050428 정확도: 98.63% 15 검증 세트 손실: 0.065850 최선의 손실: 0.050428 정확도: 98.44% 16 검증 세트 손실: 0.060702 최선의 손실: 0.050428 정확도: 98.63% 17 검증 세트 손실: 0.057193 최선의 손실: 0.050428 정확도: 98.79% 18 검증 세트 손실: 0.065611 최선의 손실: 0.050428 정확도: 98.44% 19 검증 세트 손실: 0.059128 최선의 손실: 0.050428 정확도: 98.24% 20 검증 세트 손실: 0.066545 최선의 손실: 0.050428 정확도: 98.83% 21 검증 세트 손실: 0.056663 최선의 손실: 0.050428 정확도: 98.67% 22 검증 세트 손실: 0.040055 최선의 손실: 0.040055 정확도: 99.06% 23 검증 세트 손실: 0.093387 최선의 손실: 0.040055 정확도: 98.67% 24 검증 세트 손실: 0.074976 최선의 손실: 0.040055 정확도: 98.55% 25 검증 세트 손실: 0.068153 최선의 손실: 0.040055 정확도: 98.91% 26 검증 세트 손실: 0.063237 최선의 손실: 0.040055 정확도: 98.44% 27 검증 세트 손실: 0.078036 최선의 손실: 0.040055 정확도: 98.63% 28 검증 세트 손실: 0.044914 최선의 손실: 0.040055 정확도: 99.10% 29 검증 세트 손실: 0.056018 최선의 손실: 0.040055 정확도: 99.06% 30 검증 세트 손실: 0.067705 최선의 손실: 0.040055 정확도: 98.83% 31 검증 세트 손실: 0.067235 최선의 손실: 0.040055 정확도: 98.75% 32 검증 세트 손실: 0.090487 최선의 손실: 0.040055 정확도: 98.32% 33 검증 세트 손실: 0.065594 최선의 손실: 0.040055 정확도: 98.71% 34 검증 세트 손실: 0.063839 최선의 손실: 0.040055 정확도: 98.63% 35 검증 세트 손실: 0.064051 최선의 손실: 0.040055 정확도: 98.83% 36 검증 세트 손실: 0.084762 최선의 손실: 0.040055 정확도: 98.71% 37 검증 세트 손실: 0.072833 최선의 손실: 0.040055 정확도: 99.10% 38 검증 세트 손실: 0.082489 최선의 손실: 0.040055 정확도: 98.87% 39 검증 세트 손실: 0.066192 최선의 손실: 0.040055 정확도: 99.06% 40 검증 세트 손실: 0.093123 최선의 손실: 0.040055 정확도: 98.55% 41 검증 세트 손실: 0.076098 최선의 손실: 0.040055 정확도: 98.71% 42 검증 세트 손실: 38.891045 최선의 손실: 0.040055 정확도: 62.39% 43 검증 세트 손실: 1.676203 최선의 손실: 0.040055 정확도: 18.73% 조기 종료! [CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation=<function elu at 0x123d02048>, total= 10.4s [CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.200554 최선의 손실: 0.200554 정확도: 93.86% 1 검증 세트 손실: 0.218584 최선의 손실: 0.200554 정확도: 93.71% 2 검증 세트 손실: 0.192415 최선의 손실: 0.192415 정확도: 94.96% 3 검증 세트 손실: 0.203456 최선의 손실: 0.192415 정확도: 94.10% 4 검증 세트 손실: 0.209714 최선의 손실: 0.192415 정확도: 95.39% 5 검증 세트 손실: 0.278371 최선의 손실: 0.192415 정확도: 90.50% 6 검증 세트 손실: 0.712097 최선의 손실: 0.192415 정확도: 72.32% 7 검증 세트 손실: 0.713223 최선의 손실: 0.192415 정확도: 71.74% 8 검증 세트 손실: 0.557870 최선의 손실: 0.192415 정확도: 78.30% 9 검증 세트 손실: 0.420996 최선의 손실: 0.192415 정확도: 87.49% 10 검증 세트 손실: 0.348598 최선의 손실: 0.192415 정확도: 91.67% 11 검증 세트 손실: 0.323916 최선의 손실: 0.192415 정확도: 92.26% 12 검증 세트 손실: 0.343070 최선의 손실: 0.192415 정확도: 92.26% 13 검증 세트 손실: 0.759882 최선의 손실: 0.192415 정확도: 77.83% 14 검증 세트 손실: 0.645400 최선의 손실: 0.192415 정확도: 85.38% 15 검증 세트 손실: 0.554684 최선의 손실: 0.192415 정확도: 88.90% 16 검증 세트 손실: 0.417492 최선의 손실: 0.192415 정확도: 91.83% 17 검증 세트 손실: 0.493359 최선의 손실: 0.192415 정확도: 87.53% 18 검증 세트 손실: 0.486210 최선의 손실: 0.192415 정확도: 90.34% 19 검증 세트 손실: 0.466701 최선의 손실: 0.192415 정확도: 84.71% 20 검증 세트 손실: 0.401676 최선의 손실: 0.192415 정확도: 89.91% 21 검증 세트 손실: 0.485233 최선의 손실: 0.192415 정확도: 86.59% 22 검증 세트 손실: 0.406532 최선의 손실: 0.192415 정확도: 89.87% 23 검증 세트 손실: 0.401122 최선의 손실: 0.192415 정확도: 89.91% 조기 종료! [CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation=<function relu at 0x123c8f598>, total= 8.1s [CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.154242 최선의 손실: 0.154242 정확도: 96.17% 1 검증 세트 손실: 0.399691 최선의 손실: 0.154242 정확도: 78.97% 2 검증 세트 손실: 0.383932 최선의 손실: 0.154242 정확도: 79.16% 3 검증 세트 손실: 1.129845 최선의 손실: 0.154242 정확도: 51.37% 4 검증 세트 손실: 0.618525 최선의 손실: 0.154242 정확도: 72.75% 5 검증 세트 손실: 0.549310 최선의 손실: 0.154242 정확도: 75.10% 6 검증 세트 손실: 0.530855 최선의 손실: 0.154242 정확도: 75.02% 7 검증 세트 손실: 0.556762 최선의 손실: 0.154242 정확도: 76.15% 8 검증 세트 손실: 0.617151 최선의 손실: 0.154242 정확도: 72.40% 9 검증 세트 손실: 0.560718 최선의 손실: 0.154242 정확도: 74.75% 10 검증 세트 손실: 0.600924 최선의 손실: 0.154242 정확도: 71.81% 11 검증 세트 손실: 0.476496 최선의 손실: 0.154242 정확도: 77.09% 12 검증 세트 손실: 0.492759 최선의 손실: 0.154242 정확도: 77.25% 13 검증 세트 손실: 0.599117 최선의 손실: 0.154242 정확도: 74.71% 14 검증 세트 손실: 0.535259 최선의 손실: 0.154242 정확도: 75.53% 15 검증 세트 손실: 0.531874 최선의 손실: 0.154242 정확도: 74.43% 16 검증 세트 손실: 0.657324 최선의 손실: 0.154242 정확도: 73.96% 17 검증 세트 손실: 0.598858 최선의 손실: 0.154242 정확도: 71.66% 18 검증 세트 손실: 0.585151 최선의 손실: 0.154242 정확도: 74.04% 19 검증 세트 손실: 0.572505 최선의 손실: 0.154242 정확도: 74.59% 20 검증 세트 손실: 0.613234 최선의 손실: 0.154242 정확도: 74.39% 21 검증 세트 손실: 0.612312 최선의 손실: 0.154242 정확도: 73.61% 조기 종료! [CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation=<function relu at 0x123c8f598>, total= 7.8s [CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.159664 최선의 손실: 0.159664 정확도: 96.29% 1 검증 세트 손실: 0.462448 최선의 손실: 0.159664 정확도: 74.47% 2 검증 세트 손실: 0.370598 최선의 손실: 0.159664 정확도: 91.48% 3 검증 세트 손실: 0.599051 최선의 손실: 0.159664 정확도: 80.30% 4 검증 세트 손실: 0.354325 최선의 손실: 0.159664 정확도: 85.50% 5 검증 세트 손실: 0.262894 최선의 손실: 0.159664 정확도: 94.02% 6 검증 세트 손실: 0.634888 최선의 손실: 0.159664 정확도: 75.76% 7 검증 세트 손실: 0.598708 최선의 손실: 0.159664 정확도: 75.68% 8 검증 세트 손실: 0.544202 최선의 손실: 0.159664 정확도: 76.31% 9 검증 세트 손실: 0.469329 최선의 손실: 0.159664 정확도: 80.41% 10 검증 세트 손실: 0.533249 최선의 손실: 0.159664 정확도: 77.95% 11 검증 세트 손실: 0.500703 최선의 손실: 0.159664 정확도: 78.26% 12 검증 세트 손실: 0.476966 최선의 손실: 0.159664 정확도: 75.49% 13 검증 세트 손실: 1.379220 최선의 손실: 0.159664 정확도: 34.60% 14 검증 세트 손실: 1.382668 최선의 손실: 0.159664 정확도: 35.03% 15 검증 세트 손실: 1.601645 최선의 손실: 0.159664 정확도: 23.73% 16 검증 세트 손실: 1.597950 최선의 손실: 0.159664 정확도: 23.73% 17 검증 세트 손실: 1.593353 최선의 손실: 0.159664 정확도: 20.68% 18 검증 세트 손실: 1.586295 최선의 손실: 0.159664 정확도: 22.56% 19 검증 세트 손실: 1.586528 최선의 손실: 0.159664 정확도: 23.73% 20 검증 세트 손실: 1.594149 최선의 손실: 0.159664 정확도: 20.99% 21 검증 세트 손실: 1.588012 최선의 손실: 0.159664 정확도: 23.73% 조기 종료! [CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation=<function relu at 0x123c8f598>, total= 7.4s [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.134300 최선의 손실: 0.134300 정확도: 96.25% 1 검증 세트 손실: 949.096863 최선의 손실: 0.134300 정확도: 39.17% 2 검증 세트 손실: 9.025887 최선의 손실: 0.134300 정확도: 93.43% 3 검증 세트 손실: 6.781122 최선의 손실: 0.134300 정확도: 93.20% 4 검증 세트 손실: 6.014170 최선의 손실: 0.134300 정확도: 92.73% 5 검증 세트 손실: 2.941140 최선의 손실: 0.134300 정확도: 96.17% 6 검증 세트 손실: 1.980469 최선의 손실: 0.134300 정확도: 96.13% 7 검증 세트 손실: 3.288012 최선의 손실: 0.134300 정확도: 94.10% 8 검증 세트 손실: 2.183446 최선의 손실: 0.134300 정확도: 95.43% 9 검증 세트 손실: 1.473357 최선의 손실: 0.134300 정확도: 96.44% 10 검증 세트 손실: 4.989549 최선의 손실: 0.134300 정확도: 93.86% 11 검증 세트 손실: 1.510287 최선의 손실: 0.134300 정확도: 96.56% 12 검증 세트 손실: 1.645135 최선의 손실: 0.134300 정확도: 96.29% 13 검증 세트 손실: 1.081630 최선의 손실: 0.134300 정확도: 96.44% 14 검증 세트 손실: 0.740801 최선의 손실: 0.134300 정확도: 96.83% 15 검증 세트 손실: 0.769083 최선의 손실: 0.134300 정확도: 96.99% 16 검증 세트 손실: 0.904702 최선의 손실: 0.134300 정확도: 96.95% 17 검증 세트 손실: 0.877132 최선의 손실: 0.134300 정확도: 96.99% 18 검증 세트 손실: 0.712324 최선의 손실: 0.134300 정확도: 96.68% 19 검증 세트 손실: 22.564920 최선의 손실: 0.134300 정확도: 82.25% 20 검증 세트 손실: 2.207299 최선의 손실: 0.134300 정확도: 93.35% 21 검증 세트 손실: 1.097020 최선의 손실: 0.134300 정확도: 95.97% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 7.1s [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.155512 최선의 손실: 0.155512 정확도: 95.47% 1 검증 세트 손실: 6000.382324 최선의 손실: 0.155512 정확도: 34.44% 2 검증 세트 손실: 21.358152 최선의 손실: 0.155512 정확도: 77.09% 3 검증 세트 손실: 9.092317 최선의 손실: 0.155512 정확도: 83.23% 4 검증 세트 손실: 10.990612 최선의 손실: 0.155512 정확도: 81.31% 5 검증 세트 손실: 6.621584 최선의 손실: 0.155512 정확도: 85.18% 6 검증 세트 손실: 4.393932 최선의 손실: 0.155512 정확도: 89.52% 7 검증 세트 손실: 3.028147 최선의 손실: 0.155512 정확도: 91.48% 8 검증 세트 손실: 2.143181 최선의 손실: 0.155512 정확도: 92.26% 9 검증 세트 손실: 2.144694 최선의 손실: 0.155512 정확도: 92.22% 10 검증 세트 손실: 1.664272 최선의 손실: 0.155512 정확도: 93.82% 11 검증 세트 손실: 3.416010 최선의 손실: 0.155512 정확도: 90.03% 12 검증 세트 손실: 3.487785 최선의 손실: 0.155512 정확도: 86.40% 13 검증 세트 손실: 1.491691 최선의 손실: 0.155512 정확도: 94.61% 14 검증 세트 손실: 1.291273 최선의 손실: 0.155512 정확도: 94.18% 15 검증 세트 손실: 1.464004 최선의 손실: 0.155512 정확도: 93.47% 16 검증 세트 손실: 3.409726 최선의 손실: 0.155512 정확도: 88.58% 17 검증 세트 손실: 0.983268 최선의 손실: 0.155512 정확도: 95.39% 18 검증 세트 손실: 3.463172 최선의 손실: 0.155512 정확도: 93.82% 19 검증 세트 손실: 1.269495 최선의 손실: 0.155512 정확도: 96.09% 20 검증 세트 손실: 1.718632 최선의 손실: 0.155512 정확도: 94.68% 21 검증 세트 손실: 2.649934 최선의 손실: 0.155512 정확도: 92.18% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 6.4s [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.138679 최선의 손실: 0.138679 정확도: 96.68% 1 검증 세트 손실: 0.130058 최선의 손실: 0.130058 정확도: 96.64% 2 검증 세트 손실: 118.323151 최선의 손실: 0.130058 정확도: 79.52% 3 검증 세트 손실: 8.703012 최선의 손실: 0.130058 정확도: 92.03% 4 검증 세트 손실: 3.089945 최선의 손실: 0.130058 정확도: 95.43% 5 검증 세트 손실: 1.809575 최선의 손실: 0.130058 정확도: 95.82% 6 검증 세트 손실: 1.324641 최선의 손실: 0.130058 정확도: 95.90% 7 검증 세트 손실: 1.040189 최선의 손실: 0.130058 정확도: 95.35% 8 검증 세트 손실: 1.129677 최선의 손실: 0.130058 정확도: 93.75% 9 검증 세트 손실: 1.117386 최선의 손실: 0.130058 정확도: 95.90% 10 검증 세트 손실: 0.873797 최선의 손실: 0.130058 정확도: 95.70% 11 검증 세트 손실: 0.478893 최선의 손실: 0.130058 정확도: 96.64% 12 검증 세트 손실: 0.614604 최선의 손실: 0.130058 정확도: 96.01% 13 검증 세트 손실: 0.447896 최선의 손실: 0.130058 정확도: 96.64% 14 검증 세트 손실: 0.666381 최선의 손실: 0.130058 정확도: 96.25% 15 검증 세트 손실: 0.463696 최선의 손실: 0.130058 정확도: 96.72% 16 검증 세트 손실: 0.551035 최선의 손실: 0.130058 정확도: 96.21% 17 검증 세트 손실: 0.319458 최선의 손실: 0.130058 정확도: 96.33% 18 검증 세트 손실: 0.811575 최선의 손실: 0.130058 정확도: 95.50% 19 검증 세트 손실: 0.823003 최선의 손실: 0.130058 정확도: 96.76% 20 검증 세트 손실: 0.718400 최선의 손실: 0.130058 정확도: 96.21% 21 검증 세트 손실: 0.842679 최선의 손실: 0.130058 정확도: 96.05% 22 검증 세트 손실: 1.426497 최선의 손실: 0.130058 정확도: 96.13% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 7.3s [CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.144902 최선의 손실: 0.144902 정확도: 96.29% 1 검증 세트 손실: 0.131653 최선의 손실: 0.131653 정확도: 96.29% 2 검증 세트 손실: 0.154200 최선의 손실: 0.131653 정확도: 96.87% 3 검증 세트 손실: 0.142432 최선의 손실: 0.131653 정확도: 96.56% 4 검증 세트 손실: 0.159027 최선의 손실: 0.131653 정확도: 96.64% 5 검증 세트 손실: 0.138174 최선의 손실: 0.131653 정확도: 96.83% 6 검증 세트 손실: 0.121776 최선의 손실: 0.121776 정확도: 96.64% 7 검증 세트 손실: 0.125475 최선의 손실: 0.121776 정확도: 97.03% 8 검증 세트 손실: 0.120621 최선의 손실: 0.120621 정확도: 96.79% 9 검증 세트 손실: 0.226500 최선의 손실: 0.120621 정확도: 95.54% 10 검증 세트 손실: 0.137463 최선의 손실: 0.120621 정확도: 97.38% 11 검증 세트 손실: 0.121649 최선의 손실: 0.120621 정확도: 96.56% 12 검증 세트 손실: 0.188763 최선의 손실: 0.120621 정확도: 95.27% 13 검증 세트 손실: 0.188236 최선의 손실: 0.120621 정확도: 96.36% 14 검증 세트 손실: 0.149172 최선의 손실: 0.120621 정확도: 95.90% 15 검증 세트 손실: 0.150271 최선의 손실: 0.120621 정확도: 95.50% 16 검증 세트 손실: 0.427380 최선의 손실: 0.120621 정확도: 82.33% 17 검증 세트 손실: 0.340075 최선의 손실: 0.120621 정확도: 93.47% 18 검증 세트 손실: 0.223958 최선의 손실: 0.120621 정확도: 95.62% 19 검증 세트 손실: 0.233504 최선의 손실: 0.120621 정확도: 94.68% 20 검증 세트 손실: 0.680162 최선의 손실: 0.120621 정확도: 68.06% 21 검증 세트 손실: 0.557050 최선의 손실: 0.120621 정확도: 75.96% 22 검증 세트 손실: 0.463099 최선의 손실: 0.120621 정확도: 78.26% 23 검증 세트 손실: 0.758424 최선의 손실: 0.120621 정확도: 61.30% 24 검증 세트 손실: 0.794183 최선의 손실: 0.120621 정확도: 60.67% 25 검증 세트 손실: 0.814316 최선의 손실: 0.120621 정확도: 60.24% 26 검증 세트 손실: 0.831592 최선의 손실: 0.120621 정확도: 57.04% 27 검증 세트 손실: 0.946534 최선의 손실: 0.120621 정확도: 51.52% 28 검증 세트 손실: 1.206762 최선의 손실: 0.120621 정확도: 36.98% 29 검증 세트 손실: 1.190929 최선의 손실: 0.120621 정확도: 39.87% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation=<function elu at 0x123d02048>, total= 33.4s [CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.221999 최선의 손실: 0.221999 정확도: 95.35% 1 검증 세트 손실: 0.237570 최선의 손실: 0.221999 정확도: 94.33% 2 검증 세트 손실: 0.139629 최선의 손실: 0.139629 정확도: 96.05% 3 검증 세트 손실: 0.176091 최선의 손실: 0.139629 정확도: 96.25% 4 검증 세트 손실: 0.152678 최선의 손실: 0.139629 정확도: 96.36% 5 검증 세트 손실: 0.203020 최선의 손실: 0.139629 정확도: 95.66% 6 검증 세트 손실: 0.412561 최선의 손실: 0.139629 정확도: 92.49% 7 검증 세트 손실: 0.144887 최선의 손실: 0.139629 정확도: 96.64% 8 검증 세트 손실: 0.188817 최선의 손실: 0.139629 정확도: 96.29% 9 검증 세트 손실: 0.216437 최선의 손실: 0.139629 정확도: 95.15% 10 검증 세트 손실: 0.189106 최선의 손실: 0.139629 정확도: 95.70% 11 검증 세트 손실: 0.196077 최선의 손실: 0.139629 정확도: 96.01% 12 검증 세트 손실: 0.191652 최선의 손실: 0.139629 정확도: 96.13% 13 검증 세트 손실: 0.164132 최선의 손실: 0.139629 정확도: 96.83% 14 검증 세트 손실: 0.235509 최선의 손실: 0.139629 정확도: 94.02% 15 검증 세트 손실: 0.302316 최선의 손실: 0.139629 정확도: 92.57% 16 검증 세트 손실: 1.185400 최선의 손실: 0.139629 정확도: 87.80% 17 검증 세트 손실: 0.576359 최선의 손실: 0.139629 정확도: 86.40% 18 검증 세트 손실: 0.482200 최선의 손실: 0.139629 정확도: 90.19% 19 검증 세트 손실: 1.054356 최선의 손실: 0.139629 정확도: 88.19% 20 검증 세트 손실: 0.300361 최선의 손실: 0.139629 정확도: 92.69% 21 검증 세트 손실: 0.316874 최선의 손실: 0.139629 정확도: 91.87% 22 검증 세트 손실: 0.674532 최선의 손실: 0.139629 정확도: 75.49% 23 검증 세트 손실: 0.637509 최선의 손실: 0.139629 정확도: 72.17% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation=<function elu at 0x123d02048>, total= 27.2s [CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.191992 최선의 손실: 0.191992 정확도: 96.17% 1 검증 세트 손실: 0.103421 최선의 손실: 0.103421 정확도: 97.58% 2 검증 세트 손실: 0.122633 최선의 손실: 0.103421 정확도: 96.72% 3 검증 세트 손실: 0.125662 최선의 손실: 0.103421 정확도: 97.62% 4 검증 세트 손실: 0.138406 최선의 손실: 0.103421 정확도: 96.87% 5 검증 세트 손실: 0.115858 최선의 손실: 0.103421 정확도: 97.54% 6 검증 세트 손실: 0.137230 최선의 손실: 0.103421 정확도: 96.40% 7 검증 세트 손실: 0.144700 최선의 손실: 0.103421 정확도: 96.52% 8 검증 세트 손실: 0.220431 최선의 손실: 0.103421 정확도: 94.41% 9 검증 세트 손실: 0.141624 최선의 손실: 0.103421 정확도: 96.91% 10 검증 세트 손실: 0.129128 최선의 손실: 0.103421 정확도: 97.38% 11 검증 세트 손실: 0.112736 최선의 손실: 0.103421 정확도: 97.58% 12 검증 세트 손실: 0.744384 최선의 손실: 0.103421 정확도: 59.23% 13 검증 세트 손실: 0.487659 최선의 손실: 0.103421 정확도: 78.07% 14 검증 세트 손실: 0.542895 최선의 손실: 0.103421 정확도: 78.15% 15 검증 세트 손실: 0.771481 최선의 손실: 0.103421 정확도: 60.67% 16 검증 세트 손실: 0.874804 최선의 손실: 0.103421 정확도: 55.82% 17 검증 세트 손실: 1.076601 최선의 손실: 0.103421 정확도: 50.90% 18 검증 세트 손실: 0.817101 최선의 손실: 0.103421 정확도: 60.99% 19 검증 세트 손실: 0.619341 최선의 손실: 0.103421 정확도: 77.13% 20 검증 세트 손실: 0.501391 최선의 손실: 0.103421 정확도: 77.56% 21 검증 세트 손실: 0.443815 최선의 손실: 0.103421 정확도: 78.62% 22 검증 세트 손실: 0.430901 최선의 손실: 0.103421 정확도: 78.50% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation=<function elu at 0x123d02048>, total= 26.4s [CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 122.211800 최선의 손실: 122.211800 정확도: 19.27% 1 검증 세트 손실: 2472.396973 최선의 손실: 122.211800 정확도: 21.38% 2 검증 세트 손실: 22732.484375 최선의 손실: 122.211800 정확도: 20.88% 3 검증 세트 손실: 445.520813 최선의 손실: 122.211800 정확도: 36.75% 4 검증 세트 손실: 41.236847 최선의 손실: 41.236847 정확도: 60.16% 5 검증 세트 손실: 5.559875 최선의 손실: 5.559875 정확도: 79.05% 6 검증 세트 손실: 3.277025 최선의 손실: 3.277025 정확도: 81.20% 7 검증 세트 손실: 4.663523 최선의 손실: 3.277025 정확도: 78.38% 8 검증 세트 손실: 2.425726 최선의 손실: 2.425726 정확도: 87.26% 9 검증 세트 손실: 3.270593 최선의 손실: 2.425726 정확도: 79.28% 10 검증 세트 손실: 1.996931 최선의 손실: 1.996931 정확도: 86.75% 11 검증 세트 손실: 1.673648 최선의 손실: 1.673648 정확도: 89.21% 12 검증 세트 손실: 2.664531 최선의 손실: 1.673648 정확도: 82.80% 13 검증 세트 손실: 1.708150 최선의 손실: 1.673648 정확도: 89.84% 14 검증 세트 손실: 2.801600 최선의 손실: 1.673648 정확도: 84.36% 15 검증 세트 손실: 1.703570 최선의 손실: 1.673648 정확도: 85.54% 16 검증 세트 손실: 2.485093 최선의 손실: 1.673648 정확도: 85.65% 17 검증 세트 손실: 1.104385 최선의 손실: 1.104385 정확도: 92.46% 18 검증 세트 손실: 0.966866 최선의 손실: 0.966866 정확도: 92.10% 19 검증 세트 손실: 0.886072 최선의 손실: 0.886072 정확도: 93.78% 20 검증 세트 손실: 1.893273 최선의 손실: 0.886072 정확도: 86.83% 21 검증 세트 손실: 1.145964 최선의 손실: 0.886072 정확도: 90.03% 22 검증 세트 손실: 1.669265 최선의 손실: 0.886072 정확도: 84.13% 23 검증 세트 손실: 1.078999 최선의 손실: 0.886072 정확도: 93.78% 24 검증 세트 손실: 0.963830 최선의 손실: 0.886072 정확도: 93.39% 25 검증 세트 손실: 3.483339 최선의 손실: 0.886072 정확도: 85.18% 26 검증 세트 손실: 2.187335 최선의 손실: 0.886072 정확도: 91.16% 27 검증 세트 손실: 1.216856 최선의 손실: 0.886072 정확도: 92.85% 28 검증 세트 손실: 1.240669 최선의 손실: 0.886072 정확도: 93.94% 29 검증 세트 손실: 1.061547 최선의 손실: 0.886072 정확도: 94.10% 30 검증 세트 손실: 0.919323 최선의 손실: 0.886072 정확도: 94.37% 31 검증 세트 손실: 1.888624 최선의 손실: 0.886072 정확도: 86.32% 32 검증 세트 손실: 1.541160 최선의 손실: 0.886072 정확도: 91.24% 33 검증 세트 손실: 0.877368 최선의 손실: 0.877368 정확도: 93.98% 34 검증 세트 손실: 0.920752 최선의 손실: 0.877368 정확도: 94.45% 35 검증 세트 손실: 5.768522 최선의 손실: 0.877368 정확도: 92.96% 36 검증 세트 손실: 1.488091 최선의 손실: 0.877368 정확도: 95.43% 37 검증 세트 손실: 1.497221 최선의 손실: 0.877368 정확도: 90.89% 38 검증 세트 손실: 1.004796 최선의 손실: 0.877368 정확도: 95.19% 39 검증 세트 손실: 0.926541 최선의 손실: 0.877368 정확도: 95.97% 40 검증 세트 손실: 1.046144 최선의 손실: 0.877368 정확도: 95.58% 41 검증 세트 손실: 1.005626 최선의 손실: 0.877368 정확도: 94.57% 42 검증 세트 손실: 1.030431 최선의 손실: 0.877368 정확도: 94.80% 43 검증 세트 손실: 0.893158 최선의 손실: 0.877368 정확도: 95.43% 44 검증 세트 손실: 1.360799 최선의 손실: 0.877368 정확도: 93.04% 45 검증 세트 손실: 0.855729 최선의 손실: 0.855729 정확도: 96.01% 46 검증 세트 손실: 0.829915 최선의 손실: 0.829915 정확도: 95.58% 47 검증 세트 손실: 1.066643 최선의 손실: 0.829915 정확도: 94.61% 48 검증 세트 손실: 0.834073 최선의 손실: 0.829915 정확도: 96.29% 49 검증 세트 손실: 2.290410 최선의 손실: 0.829915 정확도: 95.70% 50 검증 세트 손실: 2.988216 최선의 손실: 0.829915 정확도: 94.96% 51 검증 세트 손실: 5.053517 최선의 손실: 0.829915 정확도: 90.07% 52 검증 세트 손실: 0.830937 최선의 손실: 0.829915 정확도: 94.49% 53 검증 세트 손실: 0.707324 최선의 손실: 0.707324 정확도: 94.92% 54 검증 세트 손실: 0.668643 최선의 손실: 0.668643 정확도: 95.39% 55 검증 세트 손실: 0.559149 최선의 손실: 0.559149 정확도: 95.78% 56 검증 세트 손실: 2.152703 최선의 손실: 0.559149 정확도: 91.91% 57 검증 세트 손실: 0.958444 최선의 손실: 0.559149 정확도: 95.62% 58 검증 세트 손실: 0.815675 최선의 손실: 0.559149 정확도: 96.01% 59 검증 세트 손실: 0.864751 최선의 손실: 0.559149 정확도: 95.04% 60 검증 세트 손실: 0.640921 최선의 손실: 0.559149 정확도: 95.78% 61 검증 세트 손실: 0.490412 최선의 손실: 0.490412 정확도: 96.56% 62 검증 세트 손실: 0.814169 최선의 손실: 0.490412 정확도: 95.15% 63 검증 세트 손실: 1.063555 최선의 손실: 0.490412 정확도: 93.39% 64 검증 세트 손실: 0.695023 최선의 손실: 0.490412 정확도: 95.54% 65 검증 세트 손실: 1.374524 최선의 손실: 0.490412 정확도: 89.17% 66 검증 세트 손실: 1.696216 최선의 손실: 0.490412 정확도: 88.55% 67 검증 세트 손실: 0.966724 최선의 손실: 0.490412 정확도: 94.64% 68 검증 세트 손실: 0.675589 최선의 손실: 0.490412 정확도: 96.13% 69 검증 세트 손실: 0.717305 최선의 손실: 0.490412 정확도: 94.92% 70 검증 세트 손실: 0.621236 최선의 손실: 0.490412 정확도: 96.01% 71 검증 세트 손실: 0.694891 최선의 손실: 0.490412 정확도: 96.21% 72 검증 세트 손실: 0.451487 최선의 손실: 0.451487 정확도: 96.91% 73 검증 세트 손실: 0.776662 최선의 손실: 0.451487 정확도: 95.31% 74 검증 세트 손실: 0.592466 최선의 손실: 0.451487 정확도: 95.31% 75 검증 세트 손실: 0.599065 최선의 손실: 0.451487 정확도: 95.97% 76 검증 세트 손실: 0.744842 최선의 손실: 0.451487 정확도: 95.90% 77 검증 세트 손실: 1.000299 최선의 손실: 0.451487 정확도: 96.09% 78 검증 세트 손실: 0.834102 최선의 손실: 0.451487 정확도: 94.84% 79 검증 세트 손실: 1.118419 최선의 손실: 0.451487 정확도: 92.92% 80 검증 세트 손실: 0.574584 최선의 손실: 0.451487 정확도: 96.83% 81 검증 세트 손실: 0.508254 최선의 손실: 0.451487 정확도: 96.87% 82 검증 세트 손실: 0.594565 최선의 손실: 0.451487 정확도: 95.97% 83 검증 세트 손실: 0.970612 최선의 손실: 0.451487 정확도: 95.50% 84 검증 세트 손실: 0.542796 최선의 손실: 0.451487 정확도: 96.99% 85 검증 세트 손실: 0.547855 최선의 손실: 0.451487 정확도: 96.64% 86 검증 세트 손실: 0.584486 최선의 손실: 0.451487 정확도: 96.36% 87 검증 세트 손실: 2.149595 최선의 손실: 0.451487 정확도: 88.51% 88 검증 세트 손실: 28099246.000000 최선의 손실: 0.451487 정확도: 21.89% 89 검증 세트 손실: 29094452.000000 최선의 손실: 0.451487 정확도: 27.17% 90 검증 세트 손실: 719917.937500 최선의 손실: 0.451487 정확도: 57.62% 91 검증 세트 손실: 143938.828125 최선의 손실: 0.451487 정확도: 77.21% 92 검증 세트 손실: 58936.937500 최선의 손실: 0.451487 정확도: 82.25% 93 검증 세트 손실: 34408.902344 최선의 손실: 0.451487 정확도: 88.00% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 37.6s [CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 33.403214 최선의 손실: 33.403214 정확도: 78.23% 1 검증 세트 손실: 8.724554 최선의 손실: 8.724554 정확도: 75.96% 2 검증 세트 손실: 0.441837 최선의 손실: 0.441837 정확도: 93.75% 3 검증 세트 손실: 0.297844 최선의 손실: 0.297844 정확도: 93.28% 4 검증 세트 손실: 0.241988 최선의 손실: 0.241988 정확도: 94.02% 5 검증 세트 손실: 0.182099 최선의 손실: 0.182099 정확도: 95.00% 6 검증 세트 손실: 0.180036 최선의 손실: 0.180036 정확도: 94.61% 7 검증 세트 손실: 0.115228 최선의 손실: 0.115228 정확도: 96.83% 8 검증 세트 손실: 0.117251 최선의 손실: 0.115228 정확도: 96.48% 9 검증 세트 손실: 0.122307 최선의 손실: 0.115228 정확도: 96.48% 10 검증 세트 손실: 0.112640 최선의 손실: 0.112640 정확도: 96.76% 11 검증 세트 손실: 0.100738 최선의 손실: 0.100738 정확도: 96.83% 12 검증 세트 손실: 0.103866 최선의 손실: 0.100738 정확도: 97.15% 13 검증 세트 손실: 0.105485 최선의 손실: 0.100738 정확도: 97.19% 14 검증 세트 손실: 0.109203 최선의 손실: 0.100738 정확도: 97.07% 15 검증 세트 손실: 0.108395 최선의 손실: 0.100738 정확도: 96.83% 16 검증 세트 손실: 0.089529 최선의 손실: 0.089529 정확도: 97.26% 17 검증 세트 손실: 0.080467 최선의 손실: 0.080467 정확도: 97.65% 18 검증 세트 손실: 0.082799 최선의 손실: 0.080467 정확도: 97.50% 19 검증 세트 손실: 0.088654 최선의 손실: 0.080467 정확도: 97.58% 20 검증 세트 손실: 0.079939 최선의 손실: 0.079939 정확도: 97.69% 21 검증 세트 손실: 0.080418 최선의 손실: 0.079939 정확도: 97.73% 22 검증 세트 손실: 0.081090 최선의 손실: 0.079939 정확도: 98.08% 23 검증 세트 손실: 0.086829 최선의 손실: 0.079939 정확도: 97.58% 24 검증 세트 손실: 0.097294 최선의 손실: 0.079939 정확도: 97.42% 25 검증 세트 손실: 0.076772 최선의 손실: 0.076772 정확도: 97.69% 26 검증 세트 손실: 0.081653 최선의 손실: 0.076772 정확도: 97.65% 27 검증 세트 손실: 0.076933 최선의 손실: 0.076772 정확도: 97.81% 28 검증 세트 손실: 0.079808 최선의 손실: 0.076772 정확도: 98.12% 29 검증 세트 손실: 0.099118 최선의 손실: 0.076772 정확도: 97.65% 30 검증 세트 손실: 0.082892 최선의 손실: 0.076772 정확도: 97.93% 31 검증 세트 손실: 0.084889 최선의 손실: 0.076772 정확도: 97.85% 32 검증 세트 손실: 0.092884 최선의 손실: 0.076772 정확도: 97.73% 33 검증 세트 손실: 0.102648 최선의 손실: 0.076772 정확도: 97.54% 34 검증 세트 손실: 0.100162 최선의 손실: 0.076772 정확도: 97.85% 35 검증 세트 손실: 0.071587 최선의 손실: 0.071587 정확도: 98.32% 36 검증 세트 손실: 0.100248 최선의 손실: 0.071587 정확도: 97.89% 37 검증 세트 손실: 0.080175 최선의 손실: 0.071587 정확도: 97.85% 38 검증 세트 손실: 0.090171 최선의 손실: 0.071587 정확도: 98.12% 39 검증 세트 손실: 0.083688 최선의 손실: 0.071587 정확도: 97.85% 40 검증 세트 손실: 0.082745 최선의 손실: 0.071587 정확도: 98.12% 41 검증 세트 손실: 0.105729 최선의 손실: 0.071587 정확도: 98.05% 42 검증 세트 손실: 0.163420 최선의 손실: 0.071587 정확도: 97.58% 43 검증 세트 손실: 0.097138 최선의 손실: 0.071587 정확도: 98.28% 44 검증 세트 손실: 0.089196 최선의 손실: 0.071587 정확도: 97.97% 45 검증 세트 손실: 0.139567 최선의 손실: 0.071587 정확도: 97.34% 46 검증 세트 손실: 0.080400 최선의 손실: 0.071587 정확도: 98.16% 47 검증 세트 손실: 0.068457 최선의 손실: 0.068457 정확도: 98.48% 48 검증 세트 손실: 0.096746 최선의 손실: 0.068457 정확도: 98.24% 49 검증 세트 손실: 0.084685 최선의 손실: 0.068457 정확도: 98.16% 50 검증 세트 손실: 0.103044 최선의 손실: 0.068457 정확도: 98.36% 51 검증 세트 손실: 0.099276 최선의 손실: 0.068457 정확도: 98.32% 52 검증 세트 손실: 0.104528 최선의 손실: 0.068457 정확도: 98.24% 53 검증 세트 손실: 0.112723 최선의 손실: 0.068457 정확도: 98.40% 54 검증 세트 손실: 0.113186 최선의 손실: 0.068457 정확도: 98.44% 55 검증 세트 손실: 0.135580 최선의 손실: 0.068457 정확도: 97.89% 56 검증 세트 손실: 0.099361 최선의 손실: 0.068457 정확도: 98.24% 57 검증 세트 손실: 0.104829 최선의 손실: 0.068457 정확도: 98.32% 58 검증 세트 손실: 0.101890 최선의 손실: 0.068457 정확도: 98.28% 59 검증 세트 손실: 0.101287 최선의 손실: 0.068457 정확도: 98.32% 60 검증 세트 손실: 0.120021 최선의 손실: 0.068457 정확도: 98.20% 61 검증 세트 손실: 0.125137 최선의 손실: 0.068457 정확도: 98.36% 62 검증 세트 손실: 0.116160 최선의 손실: 0.068457 정확도: 97.93% 63 검증 세트 손실: 0.109451 최선의 손실: 0.068457 정확도: 98.36% 64 검증 세트 손실: 0.107338 최선의 손실: 0.068457 정확도: 98.24% 65 검증 세트 손실: 0.136423 최선의 손실: 0.068457 정확도: 98.20% 66 검증 세트 손실: 0.127160 최선의 손실: 0.068457 정확도: 98.48% 67 검증 세트 손실: 0.115940 최선의 손실: 0.068457 정확도: 98.12% 68 검증 세트 손실: 0.321183 최선의 손실: 0.068457 정확도: 97.54% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 27.4s [CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 4.009212 최선의 손실: 4.009212 정확도: 67.94% 1 검증 세트 손실: 0.775527 최선의 손실: 0.775527 정확도: 93.47% 2 검증 세트 손실: 0.265168 최선의 손실: 0.265168 정확도: 93.78% 3 검증 세트 손실: 0.206394 최선의 손실: 0.206394 정확도: 95.07% 4 검증 세트 손실: 0.176791 최선의 손실: 0.176791 정확도: 95.86% 5 검증 세트 손실: 0.191679 최선의 손실: 0.176791 정확도: 95.23% 6 검증 세트 손실: 0.164194 최선의 손실: 0.164194 정확도: 95.54% 7 검증 세트 손실: 0.138996 최선의 손실: 0.138996 정확도: 96.44% 8 검증 세트 손실: 0.152303 최선의 손실: 0.138996 정확도: 96.01% 9 검증 세트 손실: 0.142198 최선의 손실: 0.138996 정확도: 95.50% 10 검증 세트 손실: 0.117655 최선의 손실: 0.117655 정확도: 97.19% 11 검증 세트 손실: 0.127691 최선의 손실: 0.117655 정확도: 96.76% 12 검증 세트 손실: 0.111912 최선의 손실: 0.111912 정확도: 97.07% 13 검증 세트 손실: 0.121790 최선의 손실: 0.111912 정확도: 96.79% 14 검증 세트 손실: 0.096682 최선의 손실: 0.096682 정확도: 97.38% 15 검증 세트 손실: 0.139873 최선의 손실: 0.096682 정확도: 96.48% 16 검증 세트 손실: 0.108615 최선의 손실: 0.096682 정확도: 97.42% 17 검증 세트 손실: 0.097852 최선의 손실: 0.096682 정확도: 97.46% 18 검증 세트 손실: 0.117119 최선의 손실: 0.096682 정확도: 97.62% 19 검증 세트 손실: 0.095492 최선의 손실: 0.095492 정확도: 97.85% 20 검증 세트 손실: 0.080707 최선의 손실: 0.080707 정확도: 97.89% 21 검증 세트 손실: 0.095240 최선의 손실: 0.080707 정확도: 97.93% 22 검증 세트 손실: 0.089729 최선의 손실: 0.080707 정확도: 98.08% 23 검증 세트 손실: 0.077225 최선의 손실: 0.077225 정확도: 97.97% 24 검증 세트 손실: 0.089614 최선의 손실: 0.077225 정확도: 97.97% 25 검증 세트 손실: 0.115422 최선의 손실: 0.077225 정확도: 98.16% 26 검증 세트 손실: 0.091627 최선의 손실: 0.077225 정확도: 97.73% 27 검증 세트 손실: 0.084922 최선의 손실: 0.077225 정확도: 97.97% 28 검증 세트 손실: 0.089323 최선의 손실: 0.077225 정확도: 98.12% 29 검증 세트 손실: 0.085718 최선의 손실: 0.077225 정확도: 98.16% 30 검증 세트 손실: 0.104215 최선의 손실: 0.077225 정확도: 97.89% 31 검증 세트 손실: 0.131769 최선의 손실: 0.077225 정확도: 98.01% 32 검증 세트 손실: 0.120052 최선의 손실: 0.077225 정확도: 97.69% 33 검증 세트 손실: 0.112090 최선의 손실: 0.077225 정확도: 97.93% 34 검증 세트 손실: 0.091285 최선의 손실: 0.077225 정확도: 97.93% 35 검증 세트 손실: 0.104729 최선의 손실: 0.077225 정확도: 97.85% 36 검증 세트 손실: 0.089006 최선의 손실: 0.077225 정확도: 98.36% 37 검증 세트 손실: 0.148487 최선의 손실: 0.077225 정확도: 97.97% 38 검증 세트 손실: 0.136155 최선의 손실: 0.077225 정확도: 97.97% 39 검증 세트 손실: 0.103117 최선의 손실: 0.077225 정확도: 98.32% 40 검증 세트 손실: 0.110621 최선의 손실: 0.077225 정확도: 98.08% 41 검증 세트 손실: 0.107704 최선의 손실: 0.077225 정확도: 97.77% 42 검증 세트 손실: 0.121100 최선의 손실: 0.077225 정확도: 98.28% 43 검증 세트 손실: 0.108719 최선의 손실: 0.077225 정확도: 98.28% 44 검증 세트 손실: 0.116894 최선의 손실: 0.077225 정확도: 98.28% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 19.5s [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.183571 최선의 손실: 0.183571 정확도: 95.78% 1 검증 세트 손실: 0.176451 최선의 손실: 0.176451 정확도: 95.70% 2 검증 세트 손실: 0.153380 최선의 손실: 0.153380 정확도: 96.40% 3 검증 세트 손실: 0.241052 최선의 손실: 0.153380 정확도: 94.92% 4 검증 세트 손실: 0.189551 최선의 손실: 0.153380 정확도: 95.15% 5 검증 세트 손실: 0.267873 최선의 손실: 0.153380 정확도: 94.53% 6 검증 세트 손실: 0.230861 최선의 손실: 0.153380 정확도: 95.04% 7 검증 세트 손실: 0.344233 최선의 손실: 0.153380 정확도: 89.05% 8 검증 세트 손실: 0.271326 최선의 손실: 0.153380 정확도: 93.35% 9 검증 세트 손실: 0.399936 최선의 손실: 0.153380 정확도: 89.48% 10 검증 세트 손실: 1.310731 최선의 손실: 0.153380 정확도: 59.42% 11 검증 세트 손실: 0.825017 최선의 손실: 0.153380 정확도: 58.56% 12 검증 세트 손실: 0.841174 최선의 손실: 0.153380 정확도: 59.54% 13 검증 세트 손실: 0.813212 최선의 손실: 0.153380 정확도: 60.44% 14 검증 세트 손실: 0.830884 최선의 손실: 0.153380 정확도: 60.20% 15 검증 세트 손실: 1.057028 최선의 손실: 0.153380 정확도: 59.77% 16 검증 세트 손실: 0.853526 최선의 손실: 0.153380 정확도: 60.36% 17 검증 세트 손실: 1.071175 최선의 손실: 0.153380 정확도: 44.61% 18 검증 세트 손실: 1.058986 최선의 손실: 0.153380 정확도: 43.43% 19 검증 세트 손실: 1.068170 최선의 손실: 0.153380 정확도: 36.75% 20 검증 세트 손실: 0.818439 최선의 손실: 0.153380 정확도: 55.00% 21 검증 세트 손실: 0.796522 최선의 손실: 0.153380 정확도: 55.55% 22 검증 세트 손실: 0.900946 최선의 손실: 0.153380 정확도: 51.68% 23 검증 세트 손실: 0.831177 최선의 손실: 0.153380 정확도: 55.75% 조기 종료! [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function relu at 0x123c8f598>, total= 4.0s [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.566325 최선의 손실: 0.566325 정확도: 74.59% 1 검증 세트 손실: 0.587631 최선의 손실: 0.566325 정확도: 77.56% 2 검증 세트 손실: 0.453086 최선의 손실: 0.453086 정확도: 84.60% 3 검증 세트 손실: 0.355502 최선의 손실: 0.355502 정확도: 88.90% 4 검증 세트 손실: 0.278831 최선의 손실: 0.278831 정확도: 92.34% 5 검증 세트 손실: 0.298464 최선의 손실: 0.278831 정확도: 92.26% 6 검증 세트 손실: 0.296656 최선의 손실: 0.278831 정확도: 92.03% 7 검증 세트 손실: 0.266143 최선의 손실: 0.266143 정확도: 93.47% 8 검증 세트 손실: 0.273924 최선의 손실: 0.266143 정확도: 91.95% 9 검증 세트 손실: 0.275927 최선의 손실: 0.266143 정확도: 92.38% 10 검증 세트 손실: 0.319191 최선의 손실: 0.266143 정확도: 92.49% 11 검증 세트 손실: 0.409426 최선의 손실: 0.266143 정확도: 89.09% 12 검증 세트 손실: 0.330755 최선의 손실: 0.266143 정확도: 90.50% 13 검증 세트 손실: 0.315650 최선의 손실: 0.266143 정확도: 91.28% 14 검증 세트 손실: 0.345711 최선의 손실: 0.266143 정확도: 90.62% 15 검증 세트 손실: 0.453082 최선의 손실: 0.266143 정확도: 87.65% 16 검증 세트 손실: 0.424207 최선의 손실: 0.266143 정확도: 87.76% 17 검증 세트 손실: 0.417630 최선의 손실: 0.266143 정확도: 88.27% 18 검증 세트 손실: 0.467580 최선의 손실: 0.266143 정확도: 86.94% 19 검증 세트 손실: 0.418217 최선의 손실: 0.266143 정확도: 88.51% 20 검증 세트 손실: 0.427723 최선의 손실: 0.266143 정확도: 87.96% 21 검증 세트 손실: 0.388875 최선의 손실: 0.266143 정확도: 89.29% 22 검증 세트 손실: 0.390533 최선의 손실: 0.266143 정확도: 88.51% 23 검증 세트 손실: 0.449119 최선의 손실: 0.266143 정확도: 87.33% 24 검증 세트 손실: 0.389883 최선의 손실: 0.266143 정확도: 88.94% 25 검증 세트 손실: 0.391491 최선의 손실: 0.266143 정확도: 88.86% 26 검증 세트 손실: 0.400100 최선의 손실: 0.266143 정확도: 87.88% 27 검증 세트 손실: 0.358672 최선의 손실: 0.266143 정확도: 91.52% 28 검증 세트 손실: 0.424300 최선의 손실: 0.266143 정확도: 86.20% 조기 종료! [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function relu at 0x123c8f598>, total= 4.7s [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.600439 최선의 손실: 0.600439 정확도: 69.94% 1 검증 세트 손실: 0.614097 최선의 손실: 0.600439 정확도: 71.11% 2 검증 세트 손실: 0.582422 최선의 손실: 0.582422 정확도: 70.48% 3 검증 세트 손실: 0.422425 최선의 손실: 0.422425 정확도: 85.54% 4 검증 세트 손실: 0.273723 최선의 손실: 0.273723 정확도: 92.89% 5 검증 세트 손실: 0.403187 최선의 손실: 0.273723 정확도: 94.06% 6 검증 세트 손실: 0.304074 최선의 손실: 0.273723 정확도: 91.32% 7 검증 세트 손실: 0.253115 최선의 손실: 0.253115 정확도: 93.67% 8 검증 세트 손실: 0.232670 최선의 손실: 0.232670 정확도: 94.57% 9 검증 세트 손실: 0.216890 최선의 손실: 0.216890 정확도: 94.49% 10 검증 세트 손실: 0.211134 최선의 손실: 0.211134 정확도: 95.00% 11 검증 세트 손실: 0.205498 최선의 손실: 0.205498 정확도: 95.31% 12 검증 세트 손실: 0.707892 최선의 손실: 0.205498 정확도: 75.96% 13 검증 세트 손실: 0.479679 최선의 손실: 0.205498 정확도: 74.51% 14 검증 세트 손실: 0.737103 최선의 손실: 0.205498 정확도: 58.44% 15 검증 세트 손실: 0.731754 최선의 손실: 0.205498 정확도: 57.35% 16 검증 세트 손실: 0.721806 최선의 손실: 0.205498 정확도: 59.81% 17 검증 세트 손실: 0.693395 최선의 손실: 0.205498 정확도: 59.58% 18 검증 세트 손실: 1.162829 최선의 손실: 0.205498 정확도: 38.82% 19 검증 세트 손실: 1.165390 최선의 손실: 0.205498 정확도: 39.84% 20 검증 세트 손실: 1.243958 최선의 손실: 0.205498 정확도: 38.31% 21 검증 세트 손실: 1.150354 최선의 손실: 0.205498 정확도: 40.23% 22 검증 세트 손실: 1.315971 최선의 손실: 0.205498 정확도: 37.76% 23 검증 세트 손실: 1.272953 최선의 손실: 0.205498 정확도: 39.09% 24 검증 세트 손실: 0.974198 최선의 손실: 0.205498 정확도: 48.01% 25 검증 세트 손실: 1.040996 최선의 손실: 0.205498 정확도: 44.80% 26 검증 세트 손실: 0.882292 최선의 손실: 0.205498 정확도: 53.09% 27 검증 세트 손실: 0.886063 최선의 손실: 0.205498 정확도: 52.35% 28 검증 세트 손실: 0.849593 최선의 손실: 0.205498 정확도: 58.13% 29 검증 세트 손실: 0.872566 최선의 손실: 0.205498 정확도: 51.92% 30 검증 세트 손실: 0.848844 최선의 손실: 0.205498 정확도: 56.49% 31 검증 세트 손실: 0.821499 최선의 손실: 0.205498 정확도: 57.08% 32 검증 세트 손실: 0.807188 최선의 손실: 0.205498 정확도: 54.61% 조기 종료! [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function relu at 0x123c8f598>, total= 5.1s [CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 0.207486 최선의 손실: 0.207486 정확도: 94.53% 1 검증 세트 손실: 0.130806 최선의 손실: 0.130806 정확도: 96.01% 2 검증 세트 손실: 0.109362 최선의 손실: 0.109362 정확도: 97.22% 3 검증 세트 손실: 0.094858 최선의 손실: 0.094858 정확도: 97.34% 4 검증 세트 손실: 0.107294 최선의 손실: 0.094858 정확도: 96.76% 5 검증 세트 손실: 0.088777 최선의 손실: 0.088777 정확도: 97.73% 6 검증 세트 손실: 0.080312 최선의 손실: 0.080312 정확도: 97.69% 7 검증 세트 손실: 0.074136 최선의 손실: 0.074136 정확도: 97.81% 8 검증 세트 손실: 0.090673 최선의 손실: 0.074136 정확도: 97.30% 9 검증 세트 손실: 0.095036 최선의 손실: 0.074136 정확도: 97.22% 10 검증 세트 손실: 0.086764 최선의 손실: 0.074136 정확도: 97.69% 11 검증 세트 손실: 0.097686 최선의 손실: 0.074136 정확도: 97.54% 12 검증 세트 손실: 0.083550 최선의 손실: 0.074136 정확도: 97.62% 13 검증 세트 손실: 0.105811 최선의 손실: 0.074136 정확도: 97.46% 14 검증 세트 손실: 0.102762 최선의 손실: 0.074136 정확도: 97.50% 15 검증 세트 손실: 0.094509 최선의 손실: 0.074136 정확도: 97.58% 16 검증 세트 손실: 0.097055 최선의 손실: 0.074136 정확도: 97.81% 17 검증 세트 손실: 0.111846 최선의 손실: 0.074136 정확도: 97.65% 18 검증 세트 손실: 0.118108 최선의 손실: 0.074136 정확도: 97.42% 19 검증 세트 손실: 0.108043 최선의 손실: 0.074136 정확도: 97.85% 20 검증 세트 손실: 0.102366 최선의 손실: 0.074136 정확도: 97.54% 21 검증 세트 손실: 0.117237 최선의 손실: 0.074136 정확도: 97.19% 22 검증 세트 손실: 0.093188 최선의 손실: 0.074136 정확도: 97.62% 23 검증 세트 손실: 0.097210 최선의 손실: 0.074136 정확도: 97.77% 24 검증 세트 손실: 0.091977 최선의 손실: 0.074136 정확도: 97.93% 25 검증 세트 손실: 0.109731 최선의 손실: 0.074136 정확도: 97.93% 26 검증 세트 손실: 0.110131 최선의 손실: 0.074136 정확도: 97.81% 27 검증 세트 손실: 0.126433 최선의 손실: 0.074136 정확도: 97.69% 28 검증 세트 손실: 0.131579 최선의 손실: 0.074136 정확도: 97.69% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 2.7s [CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 0.213791 최선의 손실: 0.213791 정확도: 93.98% 1 검증 세트 손실: 0.134713 최선의 손실: 0.134713 정확도: 96.36% 2 검증 세트 손실: 0.122060 최선의 손실: 0.122060 정확도: 96.44% 3 검증 세트 손실: 0.105862 최선의 손실: 0.105862 정확도: 97.34% 4 검증 세트 손실: 0.097588 최선의 손실: 0.097588 정확도: 97.34% 5 검증 세트 손실: 0.094758 최선의 손실: 0.094758 정확도: 97.26% 6 검증 세트 손실: 0.101506 최선의 손실: 0.094758 정확도: 96.99% 7 검증 세트 손실: 0.105163 최선의 손실: 0.094758 정확도: 96.95% 8 검증 세트 손실: 0.094037 최선의 손실: 0.094037 정확도: 97.65% 9 검증 세트 손실: 0.097605 최선의 손실: 0.094037 정확도: 97.11% 10 검증 세트 손실: 0.113062 최선의 손실: 0.094037 정확도: 97.22% 11 검증 세트 손실: 0.099314 최선의 손실: 0.094037 정확도: 97.30% 12 검증 세트 손실: 0.095674 최선의 손실: 0.094037 정확도: 97.30% 13 검증 세트 손실: 0.089621 최선의 손실: 0.089621 정확도: 97.69% 14 검증 세트 손실: 0.095261 최선의 손실: 0.089621 정확도: 97.38% 15 검증 세트 손실: 0.102301 최선의 손실: 0.089621 정확도: 97.22% 16 검증 세트 손실: 0.087539 최선의 손실: 0.087539 정확도: 97.69% 17 검증 세트 손실: 0.089470 최선의 손실: 0.087539 정확도: 97.15% 18 검증 세트 손실: 0.088253 최선의 손실: 0.087539 정확도: 97.58% 19 검증 세트 손실: 0.095076 최선의 손실: 0.087539 정확도: 97.58% 20 검증 세트 손실: 0.096066 최선의 손실: 0.087539 정확도: 97.65% 21 검증 세트 손실: 0.110568 최선의 손실: 0.087539 정확도: 97.03% 22 검증 세트 손실: 0.094705 최선의 손실: 0.087539 정확도: 97.69% 23 검증 세트 손실: 0.102029 최선의 손실: 0.087539 정확도: 97.58% 24 검증 세트 손실: 0.103936 최선의 손실: 0.087539 정확도: 97.58% 25 검증 세트 손실: 0.102803 최선의 손실: 0.087539 정확도: 97.58% 26 검증 세트 손실: 0.090505 최선의 손실: 0.087539 정확도: 97.58% 27 검증 세트 손실: 0.114715 최선의 손실: 0.087539 정확도: 97.30% 28 검증 세트 손실: 0.099569 최선의 손실: 0.087539 정확도: 97.62% 29 검증 세트 손실: 0.106752 최선의 손실: 0.087539 정확도: 97.69% 30 검증 세트 손실: 0.091336 최선의 손실: 0.087539 정확도: 97.81% 31 검증 세트 손실: 0.095283 최선의 손실: 0.087539 정확도: 98.12% 32 검증 세트 손실: 0.119307 최선의 손실: 0.087539 정확도: 97.46% 33 검증 세트 손실: 0.109789 최선의 손실: 0.087539 정확도: 97.65% 34 검증 세트 손실: 0.111349 최선의 손실: 0.087539 정확도: 97.58% 35 검증 세트 손실: 0.109337 최선의 손실: 0.087539 정확도: 97.58% 36 검증 세트 손실: 0.131328 최선의 손실: 0.087539 정확도: 97.11% 37 검증 세트 손실: 0.093220 최선의 손실: 0.087539 정확도: 97.89% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 3.3s [CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 0.394790 최선의 손실: 0.394790 정확도: 92.77% 1 검증 세트 손실: 0.149463 최선의 손실: 0.149463 정확도: 95.86% 2 검증 세트 손실: 0.117006 최선의 손실: 0.117006 정확도: 96.52% 3 검증 세트 손실: 0.110410 최선의 손실: 0.110410 정확도: 96.60% 4 검증 세트 손실: 0.101255 최선의 손실: 0.101255 정확도: 96.87% 5 검증 세트 손실: 0.093461 최선의 손실: 0.093461 정확도: 97.42% 6 검증 세트 손실: 0.092672 최선의 손실: 0.092672 정확도: 97.03% 7 검증 세트 손실: 0.085061 최선의 손실: 0.085061 정확도: 97.50% 8 검증 세트 손실: 0.092167 최선의 손실: 0.085061 정확도: 97.34% 9 검증 세트 손실: 0.103637 최선의 손실: 0.085061 정확도: 96.95% 10 검증 세트 손실: 0.089867 최선의 손실: 0.085061 정확도: 97.42% 11 검증 세트 손실: 0.085712 최선의 손실: 0.085061 정확도: 97.81% 12 검증 세트 손실: 0.086666 최선의 손실: 0.085061 정확도: 97.46% 13 검증 세트 손실: 0.087171 최선의 손실: 0.085061 정확도: 97.62% 14 검증 세트 손실: 0.106286 최선의 손실: 0.085061 정확도: 97.30% 15 검증 세트 손실: 0.097526 최선의 손실: 0.085061 정확도: 97.50% 16 검증 세트 손실: 0.091401 최선의 손실: 0.085061 정확도: 97.46% 17 검증 세트 손실: 0.095523 최선의 손실: 0.085061 정확도: 97.62% 18 검증 세트 손실: 0.112238 최선의 손실: 0.085061 정확도: 97.34% 19 검증 세트 손실: 0.099622 최선의 손실: 0.085061 정확도: 97.62% 20 검증 세트 손실: 0.100335 최선의 손실: 0.085061 정확도: 97.19% 21 검증 세트 손실: 0.103099 최선의 손실: 0.085061 정확도: 97.34% 22 검증 세트 손실: 0.100362 최선의 손실: 0.085061 정확도: 97.69% 23 검증 세트 손실: 0.124702 최선의 손실: 0.085061 정확도: 97.03% 24 검증 세트 손실: 0.093707 최선의 손실: 0.085061 정확도: 97.85% 25 검증 세트 손실: 0.101797 최선의 손실: 0.085061 정확도: 97.73% 26 검증 세트 손실: 0.112685 최선의 손실: 0.085061 정확도: 97.42% 27 검증 세트 손실: 0.108381 최선의 손실: 0.085061 정확도: 97.26% 28 검증 세트 손실: 0.107367 최선의 손실: 0.085061 정확도: 97.58% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 2.7s [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.098568 최선의 손실: 0.098568 정확도: 97.46% 1 검증 세트 손실: 0.069892 최선의 손실: 0.069892 정확도: 97.81% 2 검증 세트 손실: 0.075197 최선의 손실: 0.069892 정확도: 98.08% 3 검증 세트 손실: 0.677273 최선의 손실: 0.069892 정확도: 88.90% 4 검증 세트 손실: 1.729037 최선의 손실: 0.069892 정확도: 19.27% 5 검증 세트 손실: 1.620729 최선의 손실: 0.069892 정확도: 18.73% 6 검증 세트 손실: 1.638362 최선의 손실: 0.069892 정확도: 19.08% 7 검증 세트 손실: 1.630080 최선의 손실: 0.069892 정확도: 22.01% 8 검증 세트 손실: 1.687300 최선의 손실: 0.069892 정확도: 19.27% 9 검증 세트 손실: 1.688946 최선의 손실: 0.069892 정확도: 22.01% 10 검증 세트 손실: 1.635678 최선의 손실: 0.069892 정확도: 20.91% 11 검증 세트 손실: 1.619274 최선의 손실: 0.069892 정확도: 22.01% 12 검증 세트 손실: 1.636646 최선의 손실: 0.069892 정확도: 19.27% 13 검증 세트 손실: 1.609263 최선의 손실: 0.069892 정확도: 20.91% 14 검증 세트 손실: 1.637258 최선의 손실: 0.069892 정확도: 19.08% 15 검증 세트 손실: 1.621978 최선의 손실: 0.069892 정확도: 22.01% 16 검증 세트 손실: 1.619051 최선의 손실: 0.069892 정확도: 22.01% 17 검증 세트 손실: 1.629481 최선의 손실: 0.069892 정확도: 19.27% 18 검증 세트 손실: 1.686562 최선의 손실: 0.069892 정확도: 22.01% 19 검증 세트 손실: 1.623309 최선의 손실: 0.069892 정확도: 22.01% 20 검증 세트 손실: 1.648409 최선의 손실: 0.069892 정확도: 19.27% 21 검증 세트 손실: 1.649878 최선의 손실: 0.069892 정확도: 19.08% 22 검증 세트 손실: 1.638230 최선의 손실: 0.069892 정확도: 22.01% 조기 종료! [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function elu at 0x123d02048>, total= 7.0s [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.117737 최선의 손실: 0.117737 정확도: 97.22% 1 검증 세트 손실: 0.075517 최선의 손실: 0.075517 정확도: 97.89% 2 검증 세트 손실: 0.800513 최선의 손실: 0.075517 정확도: 92.96% 3 검증 세트 손실: 0.185670 최선의 손실: 0.075517 정확도: 95.70% 4 검증 세트 손실: 0.123946 최선의 손실: 0.075517 정확도: 96.56% 5 검증 세트 손실: 0.102301 최선의 손실: 0.075517 정확도: 97.77% 6 검증 세트 손실: 0.090308 최선의 손실: 0.075517 정확도: 98.01% 7 검증 세트 손실: 0.391421 최선의 손실: 0.075517 정확도: 98.24% 8 검증 세트 손실: 0.094917 최선의 손실: 0.075517 정확도: 98.01% 9 검증 세트 손실: 0.100380 최선의 손실: 0.075517 정확도: 97.62% 10 검증 세트 손실: 0.119556 최선의 손실: 0.075517 정확도: 96.60% 11 검증 세트 손실: 0.114914 최선의 손실: 0.075517 정확도: 97.58% 12 검증 세트 손실: 0.085039 최선의 손실: 0.075517 정확도: 98.08% 13 검증 세트 손실: 0.086780 최선의 손실: 0.075517 정확도: 98.01% 14 검증 세트 손실: 0.079693 최선의 손실: 0.075517 정확도: 98.40% 15 검증 세트 손실: 0.090812 최선의 손실: 0.075517 정확도: 98.32% 16 검증 세트 손실: 0.173076 최선의 손실: 0.075517 정확도: 97.07% 17 검증 세트 손실: 1.307064 최선의 손실: 0.075517 정확도: 42.22% 18 검증 세트 손실: 1.626415 최선의 손실: 0.075517 정확도: 22.01% 19 검증 세트 손실: 1.623091 최선의 손실: 0.075517 정확도: 18.73% 20 검증 세트 손실: 1.619130 최선의 손실: 0.075517 정확도: 20.91% 21 검증 세트 손실: 1.696225 최선의 손실: 0.075517 정확도: 22.01% 22 검증 세트 손실: 1.620854 최선의 손실: 0.075517 정확도: 19.27% 조기 종료! [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function elu at 0x123d02048>, total= 7.3s [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.119527 최선의 손실: 0.119527 정확도: 96.48% 1 검증 세트 손실: 0.139347 최선의 손실: 0.119527 정확도: 96.99% 2 검증 세트 손실: 0.093859 최선의 손실: 0.093859 정확도: 98.16% 3 검증 세트 손실: 1.620159 최선의 손실: 0.093859 정확도: 39.68% 4 검증 세트 손실: 1.198669 최선의 손실: 0.093859 정확도: 41.56% 5 검증 세트 손실: 0.939241 최선의 손실: 0.093859 정확도: 58.21% 6 검증 세트 손실: 0.542448 최선의 손실: 0.093859 정확도: 77.60% 7 검증 세트 손실: 0.317942 최선의 손실: 0.093859 정확도: 94.76% 8 검증 세트 손실: 0.518810 최선의 손실: 0.093859 정확도: 74.51% 9 검증 세트 손실: 0.154649 최선의 손실: 0.093859 정확도: 96.95% 10 검증 세트 손실: 0.245062 최선의 손실: 0.093859 정확도: 95.31% 11 검증 세트 손실: 0.122262 최선의 손실: 0.093859 정확도: 97.65% 12 검증 세트 손실: 0.110332 최선의 손실: 0.093859 정확도: 98.05% 13 검증 세트 손실: 0.130711 최선의 손실: 0.093859 정확도: 97.81% 14 검증 세트 손실: 0.122248 최선의 손실: 0.093859 정확도: 97.89% 15 검증 세트 손실: 0.114745 최선의 손실: 0.093859 정확도: 97.62% 16 검증 세트 손실: 0.101118 최선의 손실: 0.093859 정확도: 98.16% 17 검증 세트 손실: 0.119500 최선의 손실: 0.093859 정확도: 98.08% 18 검증 세트 손실: 0.116583 최선의 손실: 0.093859 정확도: 98.20% 19 검증 세트 손실: 0.163791 최선의 손실: 0.093859 정확도: 98.05% 20 검증 세트 손실: 0.122938 최선의 손실: 0.093859 정확도: 97.97% 21 검증 세트 손실: 0.138861 최선의 손실: 0.093859 정확도: 98.28% 22 검증 세트 손실: 0.110897 최선의 손실: 0.093859 정확도: 97.77% 23 검증 세트 손실: 0.367457 최선의 손실: 0.093859 정확도: 97.46% 조기 종료! [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function elu at 0x123d02048>, total= 7.4s [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.124031 최선의 손실: 0.124031 정확도: 96.99% 1 검증 세트 손실: 0.153353 최선의 손실: 0.124031 정확도: 97.03% 2 검증 세트 손실: 0.092053 최선의 손실: 0.092053 정확도: 97.54% 3 검증 세트 손실: 0.093208 최선의 손실: 0.092053 정확도: 97.54% 4 검증 세트 손실: 0.092657 최선의 손실: 0.092053 정확도: 97.81% 5 검증 세트 손실: 0.081292 최선의 손실: 0.081292 정확도: 97.69% 6 검증 세트 손실: 0.732148 최선의 손실: 0.081292 정확도: 85.73% 7 검증 세트 손실: 0.199026 최선의 손실: 0.081292 정확도: 96.87% 8 검증 세트 손실: 0.172487 최선의 손실: 0.081292 정확도: 96.36% 9 검증 세트 손실: 0.166146 최선의 손실: 0.081292 정확도: 97.62% 10 검증 세트 손실: 0.209667 최선의 손실: 0.081292 정확도: 96.95% 11 검증 세트 손실: 0.086847 최선의 손실: 0.081292 정확도: 97.50% 12 검증 세트 손실: 0.119095 최선의 손실: 0.081292 정확도: 97.15% 13 검증 세트 손실: 0.087263 최선의 손실: 0.081292 정확도: 97.69% 14 검증 세트 손실: 0.157642 최선의 손실: 0.081292 정확도: 96.95% 15 검증 세트 손실: 0.099856 최선의 손실: 0.081292 정확도: 97.54% 16 검증 세트 손실: 0.085607 최선의 손실: 0.081292 정확도: 97.69% 17 검증 세트 손실: 0.111353 최선의 손실: 0.081292 정확도: 97.50% 18 검증 세트 손실: 0.105043 최선의 손실: 0.081292 정확도: 97.34% 19 검증 세트 손실: 0.119920 최선의 손실: 0.081292 정확도: 97.38% 20 검증 세트 손실: 0.115579 최선의 손실: 0.081292 정확도: 97.19% 21 검증 세트 손실: 0.081200 최선의 손실: 0.081200 정확도: 98.20% 22 검증 세트 손실: 0.070240 최선의 손실: 0.070240 정확도: 98.08% 23 검증 세트 손실: 0.101223 최선의 손실: 0.070240 정확도: 97.93% 24 검증 세트 손실: 0.221157 최선의 손실: 0.070240 정확도: 95.97% 25 검증 세트 손실: 0.101257 최선의 손실: 0.070240 정확도: 97.85% 26 검증 세트 손실: 0.105837 최선의 손실: 0.070240 정확도: 97.46% 27 검증 세트 손실: 0.085107 최선의 손실: 0.070240 정확도: 97.85% 28 검증 세트 손실: 0.104133 최선의 손실: 0.070240 정확도: 97.93% 29 검증 세트 손실: 0.109222 최선의 손실: 0.070240 정확도: 98.24% 30 검증 세트 손실: 0.129147 최선의 손실: 0.070240 정확도: 97.58% 31 검증 세트 손실: 0.219093 최선의 손실: 0.070240 정확도: 96.76% 32 검증 세트 손실: 0.421047 최선의 손실: 0.070240 정확도: 94.72% 33 검증 세트 손실: 0.290416 최선의 손실: 0.070240 정확도: 95.07% 34 검증 세트 손실: 0.197444 최선의 손실: 0.070240 정확도: 96.40% 35 검증 세트 손실: 0.237781 최선의 손실: 0.070240 정확도: 95.90% 36 검증 세트 손실: 0.222547 최선의 손실: 0.070240 정확도: 96.21% 37 검증 세트 손실: 0.229065 최선의 손실: 0.070240 정확도: 95.47% 38 검증 세트 손실: 0.199283 최선의 손실: 0.070240 정확도: 96.01% 39 검증 세트 손실: 0.176552 최선의 손실: 0.070240 정확도: 96.79% 40 검증 세트 손실: 0.161618 최선의 손실: 0.070240 정확도: 97.11% 41 검증 세트 손실: 0.220160 최선의 손실: 0.070240 정확도: 96.95% 42 검증 세트 손실: 0.255773 최선의 손실: 0.070240 정확도: 96.87% 43 검증 세트 손실: 0.311901 최선의 손실: 0.070240 정확도: 96.72% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 10.3s [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.124414 최선의 손실: 0.124414 정확도: 97.15% 1 검증 세트 손실: 0.104464 최선의 손실: 0.104464 정확도: 96.99% 2 검증 세트 손실: 0.086859 최선의 손실: 0.086859 정확도: 97.85% 3 검증 세트 손실: 0.081980 최선의 손실: 0.081980 정확도: 97.77% 4 검증 세트 손실: 0.075709 최선의 손실: 0.075709 정확도: 98.05% 5 검증 세트 손실: 0.084684 최선의 손실: 0.075709 정확도: 98.01% 6 검증 세트 손실: 0.116954 최선의 손실: 0.075709 정확도: 97.50% 7 검증 세트 손실: 0.821261 최선의 손실: 0.075709 정확도: 84.17% 8 검증 세트 손실: 0.322240 최선의 손실: 0.075709 정확도: 96.05% 9 검증 세트 손실: 0.196624 최선의 손실: 0.075709 정확도: 95.74% 10 검증 세트 손실: 0.152585 최선의 손실: 0.075709 정확도: 96.99% 11 검증 세트 손실: 0.164166 최선의 손실: 0.075709 정확도: 97.34% 12 검증 세트 손실: 0.158835 최선의 손실: 0.075709 정확도: 96.21% 13 검증 세트 손실: 0.169156 최선의 손실: 0.075709 정확도: 97.54% 14 검증 세트 손실: 0.143152 최선의 손실: 0.075709 정확도: 97.69% 15 검증 세트 손실: 0.156525 최선의 손실: 0.075709 정확도: 97.81% 16 검증 세트 손실: 0.177581 최선의 손실: 0.075709 정확도: 97.11% 17 검증 세트 손실: 0.167809 최선의 손실: 0.075709 정확도: 97.65% 18 검증 세트 손실: 0.159961 최선의 손실: 0.075709 정확도: 97.62% 19 검증 세트 손실: 0.146744 최선의 손실: 0.075709 정확도: 97.89% 20 검증 세트 손실: 0.147121 최선의 손실: 0.075709 정확도: 97.69% 21 검증 세트 손실: 0.120789 최선의 손실: 0.075709 정확도: 97.77% 22 검증 세트 손실: 0.169125 최선의 손실: 0.075709 정확도: 97.42% 23 검증 세트 손실: 0.103705 최선의 손실: 0.075709 정확도: 97.97% 24 검증 세트 손실: 0.148475 최선의 손실: 0.075709 정확도: 97.54% 25 검증 세트 손실: 0.189370 최선의 손실: 0.075709 정확도: 96.68% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 6.4s [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.104343 최선의 손실: 0.104343 정확도: 97.50% 1 검증 세트 손실: 0.082293 최선의 손실: 0.082293 정확도: 97.77% 2 검증 세트 손실: 0.109004 최선의 손실: 0.082293 정확도: 96.64% 3 검증 세트 손실: 0.089222 최선의 손실: 0.082293 정확도: 98.08% 4 검증 세트 손실: 0.080500 최선의 손실: 0.080500 정확도: 98.28% 5 검증 세트 손실: 0.132798 최선의 손실: 0.080500 정확도: 97.42% 6 검증 세트 손실: 0.092047 최선의 손실: 0.080500 정확도: 97.93% 7 검증 세트 손실: 0.106267 최선의 손실: 0.080500 정확도: 98.01% 8 검증 세트 손실: 0.102648 최선의 손실: 0.080500 정확도: 98.01% 9 검증 세트 손실: 1.367904 최선의 손실: 0.080500 정확도: 84.21% 10 검증 세트 손실: 0.169974 최선의 손실: 0.080500 정확도: 96.52% 11 검증 세트 손실: 0.183564 최선의 손실: 0.080500 정확도: 96.60% 12 검증 세트 손실: 0.203586 최선의 손실: 0.080500 정확도: 96.33% 13 검증 세트 손실: 0.172515 최선의 손실: 0.080500 정확도: 97.65% 14 검증 세트 손실: 0.181816 최선의 손실: 0.080500 정확도: 97.81% 15 검증 세트 손실: 0.244346 최선의 손실: 0.080500 정확도: 97.81% 16 검증 세트 손실: 0.230448 최선의 손실: 0.080500 정확도: 97.97% 17 검증 세트 손실: 0.219986 최선의 손실: 0.080500 정확도: 97.85% 18 검증 세트 손실: 0.232792 최선의 손실: 0.080500 정확도: 98.01% 19 검증 세트 손실: 0.200525 최선의 손실: 0.080500 정확도: 98.16% 20 검증 세트 손실: 0.223263 최선의 손실: 0.080500 정확도: 98.05% 21 검증 세트 손실: 0.272748 최선의 손실: 0.080500 정확도: 97.15% 22 검증 세트 손실: 0.170183 최선의 손실: 0.080500 정확도: 97.97% 23 검증 세트 손실: 0.161081 최선의 손실: 0.080500 정확도: 97.73% 24 검증 세트 손실: 0.204345 최선의 손실: 0.080500 정확도: 97.62% 25 검증 세트 손실: 0.158954 최선의 손실: 0.080500 정확도: 98.05% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 6.3s [CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 2.068107 최선의 손실: 2.068107 정확도: 19.27% 1 검증 세트 손실: 1.807607 최선의 손실: 1.807607 정확도: 22.01% 2 검증 세트 손실: 2.464877 최선의 손실: 1.807607 정확도: 19.27% 3 검증 세트 손실: 4.097487 최선의 손실: 1.807607 정확도: 19.27% 4 검증 세트 손실: 2.403966 최선의 손실: 1.807607 정확도: 18.73% 5 검증 세트 손실: 1.796232 최선의 손실: 1.796232 정확도: 19.27% 6 검증 세트 손실: 2.196754 최선의 손실: 1.796232 정확도: 19.27% 7 검증 세트 손실: 2.582130 최선의 손실: 1.796232 정확도: 22.01% 8 검증 세트 손실: 2.685665 최선의 손실: 1.796232 정확도: 20.91% 9 검증 세트 손실: 3.209696 최선의 손실: 1.796232 정확도: 19.27% 10 검증 세트 손실: 2.355874 최선의 손실: 1.796232 정확도: 20.91% 11 검증 세트 손실: 3.869426 최선의 손실: 1.796232 정확도: 19.08% 12 검증 세트 손실: 2.780946 최선의 손실: 1.796232 정확도: 18.73% 13 검증 세트 손실: 2.074119 최선의 손실: 1.796232 정확도: 19.27% 14 검증 세트 손실: 3.188956 최선의 손실: 1.796232 정확도: 18.73% 15 검증 세트 손실: 2.181323 최선의 손실: 1.796232 정확도: 19.08% 16 검증 세트 손실: 4.499317 최선의 손실: 1.796232 정확도: 20.91% 17 검증 세트 손실: 3.031137 최선의 손실: 1.796232 정확도: 20.91% 18 검증 세트 손실: 3.161189 최선의 손실: 1.796232 정확도: 19.08% 19 검증 세트 손실: 4.720092 최선의 손실: 1.796232 정확도: 22.01% 20 검증 세트 손실: 2.493528 최선의 손실: 1.796232 정확도: 20.91% 21 검증 세트 손실: 2.442301 최선의 손실: 1.796232 정확도: 18.73% 22 검증 세트 손실: 1.916257 최선의 손실: 1.796232 정확도: 22.01% 23 검증 세트 손실: 3.448306 최선의 손실: 1.796232 정확도: 20.91% 24 검증 세트 손실: 3.113981 최선의 손실: 1.796232 정확도: 20.91% 25 검증 세트 손실: 3.589246 최선의 손실: 1.796232 정확도: 19.27% 26 검증 세트 손실: 2.848202 최선의 손실: 1.796232 정확도: 20.91% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation=<function elu at 0x123d02048>, total= 44.7s [CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 1.662376 최선의 손실: 1.662376 정확도: 19.27% 1 검증 세트 손실: 2.054669 최선의 손실: 1.662376 정확도: 19.27% 2 검증 세트 손실: 1.952540 최선의 손실: 1.662376 정확도: 22.01% 3 검증 세트 손실: 3.093035 최선의 손실: 1.662376 정확도: 22.01% 4 검증 세트 손실: 1.984199 최선의 손실: 1.662376 정확도: 20.91% 5 검증 세트 손실: 2.004045 최선의 손실: 1.662376 정확도: 20.91% 6 검증 세트 손실: 2.691863 최선의 손실: 1.662376 정확도: 22.01% 7 검증 세트 손실: 2.146741 최선의 손실: 1.662376 정확도: 19.08% 8 검증 세트 손실: 2.238839 최선의 손실: 1.662376 정확도: 20.91% 9 검증 세트 손실: 2.319237 최선의 손실: 1.662376 정확도: 22.01% 10 검증 세트 손실: 3.125849 최선의 손실: 1.662376 정확도: 20.91% 11 검증 세트 손실: 3.812960 최선의 손실: 1.662376 정확도: 19.08% 12 검증 세트 손실: 4.138774 최선의 손실: 1.662376 정확도: 22.01% 13 검증 세트 손실: 3.451000 최선의 손실: 1.662376 정확도: 19.08% 14 검증 세트 손실: 1.953359 최선의 손실: 1.662376 정확도: 20.91% 15 검증 세트 손실: 3.281712 최선의 손실: 1.662376 정확도: 20.91% 16 검증 세트 손실: 2.357896 최선의 손실: 1.662376 정확도: 22.01% 17 검증 세트 손실: 3.467855 최선의 손실: 1.662376 정확도: 19.08% 18 검증 세트 손실: 2.576046 최선의 손실: 1.662376 정확도: 19.27% 19 검증 세트 손실: 3.018959 최선의 손실: 1.662376 정확도: 19.27% 20 검증 세트 손실: 2.198789 최선의 손실: 1.662376 정확도: 18.73% 21 검증 세트 손실: 1.625472 최선의 손실: 1.625472 정확도: 20.91% 22 검증 세트 손실: 2.673285 최선의 손실: 1.625472 정확도: 19.27% 23 검증 세트 손실: 4.061341 최선의 손실: 1.625472 정확도: 19.27% 24 검증 세트 손실: 2.609391 최선의 손실: 1.625472 정확도: 19.08% 25 검증 세트 손실: 2.326176 최선의 손실: 1.625472 정확도: 22.01% 26 검증 세트 손실: 4.195590 최선의 손실: 1.625472 정확도: 19.08% 27 검증 세트 손실: 3.107846 최선의 손실: 1.625472 정확도: 20.91% 28 검증 세트 손실: 2.804249 최선의 손실: 1.625472 정확도: 20.91% 29 검증 세트 손실: 2.636958 최선의 손실: 1.625472 정확도: 18.73% 30 검증 세트 손실: 2.980372 최선의 손실: 1.625472 정확도: 19.08% 31 검증 세트 손실: 4.185400 최선의 손실: 1.625472 정확도: 22.01% 32 검증 세트 손실: 2.082109 최선의 손실: 1.625472 정확도: 19.08% 33 검증 세트 손실: 4.785932 최선의 손실: 1.625472 정확도: 19.08% 34 검증 세트 손실: 3.799552 최선의 손실: 1.625472 정확도: 20.91% 35 검증 세트 손실: 3.714336 최선의 손실: 1.625472 정확도: 22.01% 36 검증 세트 손실: 2.375679 최선의 손실: 1.625472 정확도: 22.01% 37 검증 세트 손실: 4.198693 최선의 손실: 1.625472 정확도: 19.27% 38 검증 세트 손실: 2.858765 최선의 손실: 1.625472 정확도: 18.73% 39 검증 세트 손실: 4.823591 최선의 손실: 1.625472 정확도: 18.73% 40 검증 세트 손실: 3.295830 최선의 손실: 1.625472 정확도: 18.73% 41 검증 세트 손실: 3.294952 최선의 손실: 1.625472 정확도: 19.08% 42 검증 세트 손실: 4.228001 최선의 손실: 1.625472 정확도: 20.91% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation=<function elu at 0x123d02048>, total= 1.3min [CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 1.722266 최선의 손실: 1.722266 정확도: 20.91% 1 검증 세트 손실: 2.211997 최선의 손실: 1.722266 정확도: 22.01% 2 검증 세트 손실: 2.548762 최선의 손실: 1.722266 정확도: 19.08% 3 검증 세트 손실: 3.100946 최선의 손실: 1.722266 정확도: 22.01% 4 검증 세트 손실: 2.026867 최선의 손실: 1.722266 정확도: 19.27% 5 검증 세트 손실: 3.106981 최선의 손실: 1.722266 정확도: 20.91% 6 검증 세트 손실: 2.086644 최선의 손실: 1.722266 정확도: 18.73% 7 검증 세트 손실: 2.398257 최선의 손실: 1.722266 정확도: 19.08% 8 검증 세트 손실: 2.389060 최선의 손실: 1.722266 정확도: 18.73% 9 검증 세트 손실: 2.372589 최선의 손실: 1.722266 정확도: 22.01% 10 검증 세트 손실: 3.151496 최선의 손실: 1.722266 정확도: 18.73% 11 검증 세트 손실: 2.587241 최선의 손실: 1.722266 정확도: 22.01% 12 검증 세트 손실: 3.385356 최선의 손실: 1.722266 정확도: 22.01% 13 검증 세트 손실: 4.518808 최선의 손실: 1.722266 정확도: 19.08% 14 검증 세트 손실: 2.510291 최선의 손실: 1.722266 정확도: 19.27% 15 검증 세트 손실: 2.953570 최선의 손실: 1.722266 정확도: 18.73% 16 검증 세트 손실: 2.771972 최선의 손실: 1.722266 정확도: 20.91% 17 검증 세트 손실: 2.137845 최선의 손실: 1.722266 정확도: 19.08% 18 검증 세트 손실: 2.910700 최선의 손실: 1.722266 정확도: 19.27% 19 검증 세트 손실: 3.125319 최선의 손실: 1.722266 정확도: 18.73% 20 검증 세트 손실: 3.861009 최선의 손실: 1.722266 정확도: 19.27% 21 검증 세트 손실: 2.664547 최선의 손실: 1.722266 정확도: 19.27% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation=<function elu at 0x123d02048>, total= 35.9s [CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 1.611275 최선의 손실: 1.611275 정확도: 19.08% 1 검증 세트 손실: 1.629491 최선의 손실: 1.611275 정확도: 22.01% 2 검증 세트 손실: 1.630401 최선의 손실: 1.611275 정확도: 18.73% 3 검증 세트 손실: 1.659720 최선의 손실: 1.611275 정확도: 19.08% 4 검증 세트 손실: 1.699194 최선의 손실: 1.611275 정확도: 19.27% 5 검증 세트 손실: 1.634022 최선의 손실: 1.611275 정확도: 18.73% 6 검증 세트 손실: 1.654720 최선의 손실: 1.611275 정확도: 19.27% 7 검증 세트 손실: 1.639826 최선의 손실: 1.611275 정확도: 19.08% 8 검증 세트 손실: 1.720054 최선의 손실: 1.611275 정확도: 19.27% 9 검증 세트 손실: 1.823351 최선의 손실: 1.611275 정확도: 19.08% 10 검증 세트 손실: 1.683180 최선의 손실: 1.611275 정확도: 19.08% 11 검증 세트 손실: 1.689956 최선의 손실: 1.611275 정확도: 18.73% 12 검증 세트 손실: 1.700024 최선의 손실: 1.611275 정확도: 19.08% 13 검증 세트 손실: 1.677778 최선의 손실: 1.611275 정확도: 22.01% 14 검증 세트 손실: 1.729436 최선의 손실: 1.611275 정확도: 19.08% 15 검증 세트 손실: 1.647539 최선의 손실: 1.611275 정확도: 22.01% 16 검증 세트 손실: 1.695963 최선의 손실: 1.611275 정확도: 18.73% 17 검증 세트 손실: 1.712062 최선의 손실: 1.611275 정확도: 18.73% 18 검증 세트 손실: 1.753899 최선의 손실: 1.611275 정확도: 20.91% 19 검증 세트 손실: 1.821587 최선의 손실: 1.611275 정확도: 20.91% 20 검증 세트 손실: 1.622523 최선의 손실: 1.611275 정확도: 19.08% 21 검증 세트 손실: 1.689510 최선의 손실: 1.611275 정확도: 19.27% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation=<function elu at 0x123d02048>, total= 7.7s [CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.282026 최선의 손실: 0.282026 정확도: 92.06% 1 검증 세트 손실: 0.406367 최선의 손실: 0.282026 정확도: 91.63% 2 검증 세트 손실: 1.613705 최선의 손실: 0.282026 정확도: 22.01% 3 검증 세트 손실: 1.632444 최선의 손실: 0.282026 정확도: 18.73% 4 검증 세트 손실: 1.627881 최선의 손실: 0.282026 정확도: 22.01% 5 검증 세트 손실: 1.674966 최선의 손실: 0.282026 정확도: 22.01% 6 검증 세트 손실: 1.641511 최선의 손실: 0.282026 정확도: 19.08% 7 검증 세트 손실: 1.627205 최선의 손실: 0.282026 정확도: 18.73% 8 검증 세트 손실: 1.621670 최선의 손실: 0.282026 정확도: 19.27% 9 검증 세트 손실: 1.687129 최선의 손실: 0.282026 정확도: 22.01% 10 검증 세트 손실: 1.625627 최선의 손실: 0.282026 정확도: 18.73% 11 검증 세트 손실: 1.637141 최선의 손실: 0.282026 정확도: 22.01% 12 검증 세트 손실: 1.633901 최선의 손실: 0.282026 정확도: 22.01% 13 검증 세트 손실: 1.637395 최선의 손실: 0.282026 정확도: 22.01% 14 검증 세트 손실: 1.695450 최선의 손실: 0.282026 정확도: 22.01% 15 검증 세트 손실: 1.721483 최선의 손실: 0.282026 정확도: 18.73% 16 검증 세트 손실: 1.642610 최선의 손실: 0.282026 정확도: 19.27% 17 검증 세트 손실: 1.680152 최선의 손실: 0.282026 정확도: 20.91% 18 검증 세트 손실: 1.666770 최선의 손실: 0.282026 정확도: 22.01% 19 검증 세트 손실: 1.656920 최선의 손실: 0.282026 정확도: 22.01% 20 검증 세트 손실: 1.783397 최선의 손실: 0.282026 정확도: 19.27% 21 검증 세트 손실: 1.853420 최선의 손실: 0.282026 정확도: 22.01% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation=<function elu at 0x123d02048>, total= 7.7s [CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.771294 최선의 손실: 0.771294 정확도: 64.11% 1 검증 세트 손실: 0.414231 최선의 손실: 0.414231 정확도: 78.38% 2 검증 세트 손실: 0.405611 최선의 손실: 0.405611 정확도: 81.39% 3 검증 세트 손실: 0.250538 최선의 손실: 0.250538 정확도: 91.91% 4 검증 세트 손실: 0.256094 최선의 손실: 0.250538 정확도: 92.34% 5 검증 세트 손실: 0.224324 최선의 손실: 0.224324 정확도: 92.96% 6 검증 세트 손실: 0.194175 최선의 손실: 0.194175 정확도: 95.74% 7 검증 세트 손실: 0.168397 최선의 손실: 0.168397 정확도: 95.31% 8 검증 세트 손실: 0.172025 최선의 손실: 0.168397 정확도: 96.36% 9 검증 세트 손실: 1.613179 최선의 손실: 0.168397 정확도: 22.01% 10 검증 세트 손실: 1.619814 최선의 손실: 0.168397 정확도: 18.73% 11 검증 세트 손실: 1.615952 최선의 손실: 0.168397 정확도: 22.01% 12 검증 세트 손실: 1.623371 최선의 손실: 0.168397 정확도: 20.91% 13 검증 세트 손실: 1.621201 최선의 손실: 0.168397 정확도: 20.91% 14 검증 세트 손실: 1.617904 최선의 손실: 0.168397 정확도: 19.08% 15 검증 세트 손실: 1.617996 최선의 손실: 0.168397 정확도: 22.01% 16 검증 세트 손실: 1.635734 최선의 손실: 0.168397 정확도: 19.27% 17 검증 세트 손실: 1.643321 최선의 손실: 0.168397 정확도: 19.08% 18 검증 세트 손실: 1.613868 최선의 손실: 0.168397 정확도: 22.01% 19 검증 세트 손실: 1.649125 최선의 손실: 0.168397 정확도: 19.08% 20 검증 세트 손실: 1.657437 최선의 손실: 0.168397 정확도: 19.27% 21 검증 세트 손실: 1.684603 최선의 손실: 0.168397 정확도: 19.27% 22 검증 세트 손실: 1.627277 최선의 손실: 0.168397 정확도: 22.01% 23 검증 세트 손실: 1.630743 최선의 손실: 0.168397 정확도: 22.01% 24 검증 세트 손실: 1.730274 최선의 손실: 0.168397 정확도: 20.91% 25 검증 세트 손실: 1.614691 최선의 손실: 0.168397 정확도: 20.91% 26 검증 세트 손실: 1.688699 최선의 손실: 0.168397 정확도: 19.08% 27 검증 세트 손실: 1.650459 최선의 손실: 0.168397 정확도: 18.73% 28 검증 세트 손실: 1.659056 최선의 손실: 0.168397 정확도: 19.08% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation=<function elu at 0x123d02048>, total= 10.0s [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 1.649463 최선의 손실: 1.649463 정확도: 19.12% 1 검증 세트 손실: 1.137486 최선의 손실: 1.137486 정확도: 44.88% 2 검증 세트 손실: 0.757708 최선의 손실: 0.757708 정확도: 68.06% 3 검증 세트 손실: 0.498053 최선의 손실: 0.498053 정확도: 86.71% 4 검증 세트 손실: 0.392967 최선의 손실: 0.392967 정확도: 89.01% 5 검증 세트 손실: 0.294767 최선의 손실: 0.294767 정확도: 91.48% 6 검증 세트 손실: 0.278564 최선의 손실: 0.278564 정확도: 92.42% 7 검증 세트 손실: 0.465713 최선의 손실: 0.278564 정확도: 84.40% 8 검증 세트 손실: 1.262719 최선의 손실: 0.278564 정확도: 61.06% 9 검증 세트 손실: 24768.720703 최선의 손실: 0.278564 정확도: 22.28% 10 검증 세트 손실: 30851.277344 최선의 손실: 0.278564 정확도: 20.91% 11 검증 세트 손실: 888.495422 최선의 손실: 0.278564 정확도: 19.27% 12 검증 세트 손실: 690.454590 최선의 손실: 0.278564 정확도: 18.73% 13 검증 세트 손실: 498.338165 최선의 손실: 0.278564 정확도: 19.08% 14 검증 세트 손실: 301.644928 최선의 손실: 0.278564 정확도: 19.27% 15 검증 세트 손실: 186.344986 최선의 손실: 0.278564 정확도: 36.47% 16 검증 세트 손실: 199.524628 최선의 손실: 0.278564 정확도: 19.27% 17 검증 세트 손실: 48.538948 최선의 손실: 0.278564 정확도: 10.05% 18 검증 세트 손실: 142.599854 최선의 손실: 0.278564 정확도: 30.22% 19 검증 세트 손실: 123.460281 최선의 손실: 0.278564 정확도: 19.70% 20 검증 세트 손실: 105.350517 최선의 손실: 0.278564 정확도: 22.01% 21 검증 세트 손실: 45.129063 최선의 손실: 0.278564 정확도: 30.77% 22 검증 세트 손실: 13.908270 최선의 손실: 0.278564 정확도: 31.82% 23 검증 세트 손실: 17.105715 최선의 손실: 0.278564 정확도: 20.45% 24 검증 세트 손실: 16.372070 최선의 손실: 0.278564 정확도: 32.21% 25 검증 세트 손실: 33.627666 최선의 손실: 0.278564 정확도: 30.22% 26 검증 세트 손실: 18.675644 최선의 손실: 0.278564 정확도: 21.70% 27 검증 세트 손실: 33.934521 최선의 손실: 0.278564 정확도: 22.83% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 5.1s [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 1.146052 최선의 손실: 1.146052 정확도: 54.18% 1 검증 세트 손실: 0.425733 최선의 손실: 0.425733 정확도: 88.62% 2 검증 세트 손실: 0.298239 최선의 손실: 0.298239 정확도: 91.56% 3 검증 세트 손실: 0.265685 최선의 손실: 0.265685 정확도: 92.34% 4 검증 세트 손실: 0.576971 최선의 손실: 0.265685 정확도: 83.42% 5 검증 세트 손실: 1.770290 최선의 손실: 0.265685 정확도: 39.29% 6 검증 세트 손실: 2.947383 최선의 손실: 0.265685 정확도: 35.89% 7 검증 세트 손실: 216.960083 최선의 손실: 0.265685 정확도: 37.65% 8 검증 세트 손실: 41.935993 최선의 손실: 0.265685 정확도: 47.54% 9 검증 세트 손실: 25.217936 최선의 손실: 0.265685 정확도: 35.65% 10 검증 세트 손실: 3.803519 최선의 손실: 0.265685 정확도: 50.70% 11 검증 세트 손실: 1.316360 최선의 손실: 0.265685 정확도: 62.55% 12 검증 세트 손실: 1.163431 최선의 손실: 0.265685 정확도: 65.91% 13 검증 세트 손실: 1.187465 최선의 손실: 0.265685 정확도: 61.85% 14 검증 세트 손실: 1.090164 최선의 손실: 0.265685 정확도: 66.26% 15 검증 세트 손실: 0.963556 최선의 손실: 0.265685 정확도: 70.80% 16 검증 세트 손실: 0.933162 최선의 손실: 0.265685 정확도: 72.36% 17 검증 세트 손실: 0.858596 최선의 손실: 0.265685 정확도: 75.41% 18 검증 세트 손실: 0.884922 최선의 손실: 0.265685 정확도: 77.05% 19 검증 세트 손실: 0.801193 최선의 손실: 0.265685 정확도: 77.48% 20 검증 세트 손실: 0.788479 최선의 손실: 0.265685 정확도: 76.27% 21 검증 세트 손실: 0.847959 최선의 손실: 0.265685 정확도: 74.20% 22 검증 세트 손실: 0.871388 최선의 손실: 0.265685 정확도: 78.15% 23 검증 세트 손실: 0.687191 최선의 손실: 0.265685 정확도: 81.08% 24 검증 세트 손실: 0.631952 최선의 손실: 0.265685 정확도: 84.52% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 4.2s [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 1.059932 최선의 손실: 1.059932 정확도: 68.41% 1 검증 세트 손실: 0.416097 최선의 손실: 0.416097 정확도: 88.98% 2 검증 세트 손실: 0.529143 최선의 손실: 0.416097 정확도: 91.05% 3 검증 세트 손실: 0.770513 최선의 손실: 0.416097 정확도: 91.36% 4 검증 세트 손실: 0.252738 최선의 손실: 0.252738 정확도: 95.70% 5 검증 세트 손실: 0.151168 최선의 손실: 0.151168 정확도: 96.48% 6 검증 세트 손실: 0.176553 최선의 손실: 0.151168 정확도: 96.83% 7 검증 세트 손실: 0.141596 최선의 손실: 0.141596 정확도: 96.48% 8 검증 세트 손실: 0.133468 최선의 손실: 0.133468 정확도: 96.87% 9 검증 세트 손실: 0.131817 최선의 손실: 0.131817 정확도: 96.95% 10 검증 세트 손실: 0.145659 최선의 손실: 0.131817 정확도: 96.64% 11 검증 세트 손실: 0.160394 최선의 손실: 0.131817 정확도: 96.83% 12 검증 세트 손실: 0.147974 최선의 손실: 0.131817 정확도: 97.19% 13 검증 세트 손실: 0.105749 최선의 손실: 0.105749 정확도: 97.26% 14 검증 세트 손실: 0.135344 최선의 손실: 0.105749 정확도: 97.19% 15 검증 세트 손실: 0.136070 최선의 손실: 0.105749 정확도: 96.79% 16 검증 세트 손실: 0.158084 최선의 손실: 0.105749 정확도: 97.19% 17 검증 세트 손실: 0.120627 최선의 손실: 0.105749 정확도: 97.19% 18 검증 세트 손실: 0.123743 최선의 손실: 0.105749 정확도: 97.19% 19 검증 세트 손실: 0.170093 최선의 손실: 0.105749 정확도: 97.42% 20 검증 세트 손실: 0.137890 최선의 손실: 0.105749 정확도: 96.99% 21 검증 세트 손실: 0.128009 최선의 손실: 0.105749 정확도: 97.58% 22 검증 세트 손실: 0.130525 최선의 손실: 0.105749 정확도: 97.38% 23 검증 세트 손실: 0.191678 최선의 손실: 0.105749 정확도: 96.99% 24 검증 세트 손실: 0.125507 최선의 손실: 0.105749 정확도: 97.38% 25 검증 세트 손실: 0.192200 최선의 손실: 0.105749 정확도: 97.11% 26 검증 세트 손실: 0.168678 최선의 손실: 0.105749 정확도: 97.54% 27 검증 세트 손실: 0.124672 최선의 손실: 0.105749 정확도: 97.42% 28 검증 세트 손실: 0.167829 최선의 손실: 0.105749 정확도: 97.54% 29 검증 세트 손실: 0.202977 최선의 손실: 0.105749 정확도: 94.53% 30 검증 세트 손실: 0.117064 최선의 손실: 0.105749 정확도: 97.03% 31 검증 세트 손실: 0.120696 최선의 손실: 0.105749 정확도: 97.15% 32 검증 세트 손실: 0.111516 최선의 손실: 0.105749 정확도: 96.99% 33 검증 세트 손실: 0.107277 최선의 손실: 0.105749 정확도: 97.19% 34 검증 세트 손실: 0.099723 최선의 손실: 0.099723 정확도: 97.22% 35 검증 세트 손실: 0.153566 최선의 손실: 0.099723 정확도: 97.07% 36 검증 세트 손실: 0.117552 최선의 손실: 0.099723 정확도: 97.15% 37 검증 세트 손실: 0.121786 최선의 손실: 0.099723 정확도: 97.19% 38 검증 세트 손실: 0.123188 최선의 손실: 0.099723 정확도: 97.11% 39 검증 세트 손실: 0.121526 최선의 손실: 0.099723 정확도: 97.11% 40 검증 세트 손실: 0.116408 최선의 손실: 0.099723 정확도: 97.58% 41 검증 세트 손실: 0.127336 최선의 손실: 0.099723 정확도: 96.95% 42 검증 세트 손실: 0.128466 최선의 손실: 0.099723 정확도: 97.15% 43 검증 세트 손실: 0.115706 최선의 손실: 0.099723 정확도: 97.62% 44 검증 세트 손실: 0.134441 최선의 손실: 0.099723 정확도: 97.54% 45 검증 세트 손실: 0.156091 최선의 손실: 0.099723 정확도: 97.11% 46 검증 세트 손실: 11.742353 최선의 손실: 0.099723 정확도: 37.26% 47 검증 세트 손실: 134122.640625 최선의 손실: 0.099723 정확도: 23.89% 48 검증 세트 손실: 3567.509033 최선의 손실: 0.099723 정확도: 51.95% 49 검증 세트 손실: 502.572174 최선의 손실: 0.099723 정확도: 84.05% 50 검증 세트 손실: 270.386292 최선의 손실: 0.099723 정확도: 82.53% 51 검증 세트 손실: 141.233475 최선의 손실: 0.099723 정확도: 87.06% 52 검증 세트 손실: 227.747803 최선의 손실: 0.099723 정확도: 83.19% 53 검증 세트 손실: 166.109558 최선의 손실: 0.099723 정확도: 87.29% 54 검증 세트 손실: 94.023293 최선의 손실: 0.099723 정확도: 85.38% 55 검증 세트 손실: 89.829422 최선의 손실: 0.099723 정확도: 87.06% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 9.1s [CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.258345 최선의 손실: 0.258345 정확도: 92.92% 1 검증 세트 손실: 0.115571 최선의 손실: 0.115571 정확도: 96.13% 2 검증 세트 손실: 0.093412 최선의 손실: 0.093412 정확도: 96.83% 3 검증 세트 손실: 0.082853 최선의 손실: 0.082853 정확도: 97.62% 4 검증 세트 손실: 0.082361 최선의 손실: 0.082361 정확도: 97.58% 5 검증 세트 손실: 0.098393 최선의 손실: 0.082361 정확도: 97.38% 6 검증 세트 손실: 0.080292 최선의 손실: 0.080292 정확도: 97.69% 7 검증 세트 손실: 0.060830 최선의 손실: 0.060830 정확도: 98.24% 8 검증 세트 손실: 0.076475 최선의 손실: 0.060830 정확도: 97.81% 9 검증 세트 손실: 0.050495 최선의 손실: 0.050495 정확도: 98.32% 10 검증 세트 손실: 0.063907 최선의 손실: 0.050495 정확도: 98.36% 11 검증 세트 손실: 0.041888 최선의 손실: 0.041888 정확도: 98.71% 12 검증 세트 손실: 0.054492 최선의 손실: 0.041888 정확도: 98.59% 13 검증 세트 손실: 0.068830 최선의 손실: 0.041888 정확도: 98.24% 14 검증 세트 손실: 0.063785 최선의 손실: 0.041888 정확도: 98.36% 15 검증 세트 손실: 0.063323 최선의 손실: 0.041888 정확도: 98.40% 16 검증 세트 손실: 0.065016 최선의 손실: 0.041888 정확도: 98.40% 17 검증 세트 손실: 0.067007 최선의 손실: 0.041888 정확도: 98.51% 18 검증 세트 손실: 0.064971 최선의 손실: 0.041888 정확도: 98.40% 19 검증 세트 손실: 0.047573 최선의 손실: 0.041888 정확도: 98.94% 20 검증 세트 손실: 0.059757 최선의 손실: 0.041888 정확도: 98.67% 21 검증 세트 손실: 0.059399 최선의 손실: 0.041888 정확도: 98.71% 22 검증 세트 손실: 0.073855 최선의 손실: 0.041888 정확도: 98.51% 23 검증 세트 손실: 0.055324 최선의 손실: 0.041888 정확도: 98.75% 24 검증 세트 손실: 0.079674 최선의 손실: 0.041888 정확도: 98.32% 25 검증 세트 손실: 0.082625 최선의 손실: 0.041888 정확도: 98.40% 26 검증 세트 손실: 0.088395 최선의 손실: 0.041888 정확도: 98.28% 27 검증 세트 손실: 0.054939 최선의 손실: 0.041888 정확도: 98.67% 28 검증 세트 손실: 0.053312 최선의 손실: 0.041888 정확도: 98.87% 29 검증 세트 손실: 0.073938 최선의 손실: 0.041888 정확도: 98.55% 30 검증 세트 손실: 0.076630 최선의 손실: 0.041888 정확도: 98.44% 31 검증 세트 손실: 0.062077 최선의 손실: 0.041888 정확도: 98.75% 32 검증 세트 손실: 0.053592 최선의 손실: 0.041888 정확도: 98.87% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation=<function elu at 0x123d02048>, total= 11.1s [CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.195915 최선의 손실: 0.195915 정확도: 94.41% 1 검증 세트 손실: 0.101576 최선의 손실: 0.101576 정확도: 96.87% 2 검증 세트 손실: 0.073401 최선의 손실: 0.073401 정확도: 97.62% 3 검증 세트 손실: 0.072327 최선의 손실: 0.072327 정확도: 97.77% 4 검증 세트 손실: 0.082008 최선의 손실: 0.072327 정확도: 97.65% 5 검증 세트 손실: 0.068768 최선의 손실: 0.068768 정확도: 97.97% 6 검증 세트 손실: 0.055274 최선의 손실: 0.055274 정확도: 98.20% 7 검증 세트 손실: 0.053188 최선의 손실: 0.053188 정확도: 98.48% 8 검증 세트 손실: 0.073081 최선의 손실: 0.053188 정확도: 98.08% 9 검증 세트 손실: 0.060284 최선의 손실: 0.053188 정확도: 98.48% 10 검증 세트 손실: 0.079985 최선의 손실: 0.053188 정확도: 98.12% 11 검증 세트 손실: 0.060992 최선의 손실: 0.053188 정확도: 98.24% 12 검증 세트 손실: 0.059219 최선의 손실: 0.053188 정확도: 98.48% 13 검증 세트 손실: 0.056259 최선의 손실: 0.053188 정확도: 98.71% 14 검증 세트 손실: 0.074479 최선의 손실: 0.053188 정확도: 98.55% 15 검증 세트 손실: 0.066362 최선의 손실: 0.053188 정확도: 98.55% 16 검증 세트 손실: 0.070799 최선의 손실: 0.053188 정확도: 98.40% 17 검증 세트 손실: 0.068417 최선의 손실: 0.053188 정확도: 98.63% 18 검증 세트 손실: 0.066791 최선의 손실: 0.053188 정확도: 98.79% 19 검증 세트 손실: 0.055641 최선의 손실: 0.053188 정확도: 98.55% 20 검증 세트 손실: 0.073186 최선의 손실: 0.053188 정확도: 98.79% 21 검증 세트 손실: 0.079222 최선의 손실: 0.053188 정확도: 98.12% 22 검증 세트 손실: 0.070422 최선의 손실: 0.053188 정확도: 98.51% 23 검증 세트 손실: 0.085783 최선의 손실: 0.053188 정확도: 98.71% 24 검증 세트 손실: 0.066704 최선의 손실: 0.053188 정확도: 98.83% 25 검증 세트 손실: 0.056621 최선의 손실: 0.053188 정확도: 98.83% 26 검증 세트 손실: 0.055041 최선의 손실: 0.053188 정확도: 98.71% 27 검증 세트 손실: 0.059358 최선의 손실: 0.053188 정확도: 99.02% 28 검증 세트 손실: 0.068308 최선의 손실: 0.053188 정확도: 98.83% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation=<function elu at 0x123d02048>, total= 10.2s [CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.196198 최선의 손실: 0.196198 정확도: 95.04% 1 검증 세트 손실: 0.105430 최선의 손실: 0.105430 정확도: 96.52% 2 검증 세트 손실: 0.080557 최선의 손실: 0.080557 정확도: 97.34% 3 검증 세트 손실: 0.069957 최선의 손실: 0.069957 정확도: 97.93% 4 검증 세트 손실: 0.060408 최선의 손실: 0.060408 정확도: 98.24% 5 검증 세트 손실: 0.058933 최선의 손실: 0.058933 정확도: 98.28% 6 검증 세트 손실: 0.084103 최선의 손실: 0.058933 정확도: 97.93% 7 검증 세트 손실: 0.084055 최선의 손실: 0.058933 정확도: 97.62% 8 검증 세트 손실: 0.070482 최선의 손실: 0.058933 정확도: 98.01% 9 검증 세트 손실: 0.068594 최선의 손실: 0.058933 정확도: 98.16% 10 검증 세트 손실: 0.107648 최선의 손실: 0.058933 정확도: 98.36% 11 검증 세트 손실: 0.073706 최선의 손실: 0.058933 정확도: 98.67% 12 검증 세트 손실: 0.101897 최선의 손실: 0.058933 정확도: 98.32% 13 검증 세트 손실: 0.056260 최선의 손실: 0.056260 정확도: 98.59% 14 검증 세트 손실: 0.067764 최선의 손실: 0.056260 정확도: 98.51% 15 검증 세트 손실: 0.082055 최선의 손실: 0.056260 정확도: 98.71% 16 검증 세트 손실: 0.112224 최선의 손실: 0.056260 정확도: 98.51% 17 검증 세트 손실: 0.131126 최선의 손실: 0.056260 정확도: 98.44% 18 검증 세트 손실: 0.123110 최선의 손실: 0.056260 정확도: 98.98% 19 검증 세트 손실: 0.079227 최선의 손실: 0.056260 정확도: 98.59% 20 검증 세트 손실: 0.081263 최선의 손실: 0.056260 정확도: 98.67% 21 검증 세트 손실: 0.120639 최선의 손실: 0.056260 정확도: 98.20% 22 검증 세트 손실: 0.110815 최선의 손실: 0.056260 정확도: 98.91% 23 검증 세트 손실: 0.172549 최선의 손실: 0.056260 정확도: 98.75% 24 검증 세트 손실: 0.087440 최선의 손실: 0.056260 정확도: 98.91% 25 검증 세트 손실: 0.057821 최선의 손실: 0.056260 정확도: 98.87% 26 검증 세트 손실: 0.050872 최선의 손실: 0.050872 정확도: 98.91% 27 검증 세트 손실: 0.054129 최선의 손실: 0.050872 정확도: 98.75% 28 검증 세트 손실: 0.055492 최선의 손실: 0.050872 정확도: 99.02% 29 검증 세트 손실: 0.070594 최선의 손실: 0.050872 정확도: 98.55% 30 검증 세트 손실: 0.066438 최선의 손실: 0.050872 정확도: 98.71% 31 검증 세트 손실: 0.057140 최선의 손실: 0.050872 정확도: 98.91% 32 검증 세트 손실: 0.084950 최선의 손실: 0.050872 정확도: 98.59% 33 검증 세트 손실: 0.070016 최선의 손실: 0.050872 정확도: 98.75% 34 검증 세트 손실: 0.071681 최선의 손실: 0.050872 정확도: 98.75% 35 검증 세트 손실: 0.079886 최선의 손실: 0.050872 정확도: 98.71% 36 검증 세트 손실: 0.062768 최선의 손실: 0.050872 정확도: 98.59% 37 검증 세트 손실: 0.067701 최선의 손실: 0.050872 정확도: 98.83% 38 검증 세트 손실: 0.073760 최선의 손실: 0.050872 정확도: 98.44% 39 검증 세트 손실: 0.052665 최선의 손실: 0.050872 정확도: 98.83% 40 검증 세트 손실: 0.054900 최선의 손실: 0.050872 정확도: 98.91% 41 검증 세트 손실: 0.059926 최선의 손실: 0.050872 정확도: 98.91% 42 검증 세트 손실: 0.070646 최선의 손실: 0.050872 정확도: 98.98% 43 검증 세트 손실: 0.065776 최선의 손실: 0.050872 정확도: 99.06% 44 검증 세트 손실: 0.071859 최선의 손실: 0.050872 정확도: 98.83% 45 검증 세트 손실: 0.084700 최선의 손실: 0.050872 정확도: 98.79% 46 검증 세트 손실: 0.134599 최선의 손실: 0.050872 정확도: 98.63% 47 검증 세트 손실: 0.116463 최선의 손실: 0.050872 정확도: 98.48% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation=<function elu at 0x123d02048>, total= 15.9s [CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.101546 최선의 손실: 0.101546 정확도: 97.03% 1 검증 세트 손실: 0.075446 최선의 손실: 0.075446 정확도: 98.24% 2 검증 세트 손실: 0.079718 최선의 손실: 0.075446 정확도: 97.77% 3 검증 세트 손실: 0.074096 최선의 손실: 0.074096 정확도: 97.77% 4 검증 세트 손실: 0.070795 최선의 손실: 0.070795 정확도: 97.77% 5 검증 세트 손실: 0.093864 최선의 손실: 0.070795 정확도: 97.46% 6 검증 세트 손실: 0.065118 최선의 손실: 0.065118 정확도: 98.32% 7 검증 세트 손실: 0.098938 최선의 손실: 0.065118 정확도: 97.54% 8 검증 세트 손실: 0.071808 최선의 손실: 0.065118 정확도: 98.36% 9 검증 세트 손실: 0.054510 최선의 손실: 0.054510 정확도: 98.67% 10 검증 세트 손실: 0.055256 최선의 손실: 0.054510 정확도: 98.59% 11 검증 세트 손실: 0.054772 최선의 손실: 0.054510 정확도: 98.44% 12 검증 세트 손실: 0.101317 최선의 손실: 0.054510 정확도: 97.97% 13 검증 세트 손실: 0.083201 최선의 손실: 0.054510 정확도: 98.36% 14 검증 세트 손실: 0.185023 최선의 손실: 0.054510 정확도: 97.38% 15 검증 세트 손실: 0.115153 최선의 손실: 0.054510 정확도: 97.97% 16 검증 세트 손실: 0.053765 최선의 손실: 0.053765 정확도: 98.48% 17 검증 세트 손실: 0.052615 최선의 손실: 0.052615 정확도: 98.59% 18 검증 세트 손실: 0.115577 최선의 손실: 0.052615 정확도: 98.01% 19 검증 세트 손실: 0.079856 최선의 손실: 0.052615 정확도: 98.40% 20 검증 세트 손실: 0.087871 최선의 손실: 0.052615 정확도: 98.63% 21 검증 세트 손실: 0.068322 최선의 손실: 0.052615 정확도: 98.71% 22 검증 세트 손실: 0.080196 최선의 손실: 0.052615 정확도: 98.32% 23 검증 세트 손실: 0.063483 최선의 손실: 0.052615 정확도: 98.63% 24 검증 세트 손실: 0.100749 최선의 손실: 0.052615 정확도: 98.40% 25 검증 세트 손실: 0.075685 최선의 손실: 0.052615 정확도: 98.36% 26 검증 세트 손실: 0.095293 최선의 손실: 0.052615 정확도: 97.77% 27 검증 세트 손실: 0.085498 최선의 손실: 0.052615 정확도: 98.48% 28 검증 세트 손실: 0.079427 최선의 손실: 0.052615 정확도: 98.40% 29 검증 세트 손실: 0.157796 최선의 손실: 0.052615 정확도: 97.69% 30 검증 세트 손실: 0.078870 최선의 손실: 0.052615 정확도: 98.32% 31 검증 세트 손실: 0.123957 최선의 손실: 0.052615 정확도: 98.08% 32 검증 세트 손실: 0.110384 최선의 손실: 0.052615 정확도: 98.20% 33 검증 세트 손실: 0.143082 최선의 손실: 0.052615 정확도: 98.44% 34 검증 세트 손실: 0.098784 최선의 손실: 0.052615 정확도: 98.79% 35 검증 세트 손실: 0.089087 최선의 손실: 0.052615 정확도: 98.32% 36 검증 세트 손실: 0.088150 최선의 손실: 0.052615 정확도: 98.55% 37 검증 세트 손실: 0.106891 최선의 손실: 0.052615 정확도: 98.20% 38 검증 세트 손실: 0.099365 최선의 손실: 0.052615 정확도: 98.36% 조기 종료! [CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation=<function relu at 0x123c8f598>, total= 7.5s [CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.117540 최선의 손실: 0.117540 정확도: 96.29% 1 검증 세트 손실: 0.087592 최선의 손실: 0.087592 정확도: 97.46% 2 검증 세트 손실: 0.070184 최선의 손실: 0.070184 정확도: 98.08% 3 검증 세트 손실: 0.096861 최선의 손실: 0.070184 정확도: 97.50% 4 검증 세트 손실: 0.057982 최선의 손실: 0.057982 정확도: 98.51% 5 검증 세트 손실: 0.053589 최선의 손실: 0.053589 정확도: 98.51% 6 검증 세트 손실: 0.065038 최선의 손실: 0.053589 정확도: 98.40% 7 검증 세트 손실: 0.060388 최선의 손실: 0.053589 정확도: 98.44% 8 검증 세트 손실: 0.055388 최선의 손실: 0.053589 정확도: 98.75% 9 검증 세트 손실: 0.074022 최선의 손실: 0.053589 정확도: 97.97% 10 검증 세트 손실: 0.053250 최선의 손실: 0.053250 정확도: 98.63% 11 검증 세트 손실: 0.066392 최선의 손실: 0.053250 정확도: 98.44% 12 검증 세트 손실: 0.059147 최선의 손실: 0.053250 정확도: 98.79% 13 검증 세트 손실: 0.047942 최선의 손실: 0.047942 정확도: 98.63% 14 검증 세트 손실: 0.102944 최선의 손실: 0.047942 정확도: 98.36% 15 검증 세트 손실: 0.076982 최선의 손실: 0.047942 정확도: 98.59% 16 검증 세트 손실: 0.078586 최선의 손실: 0.047942 정확도: 98.40% 17 검증 세트 손실: 0.069284 최선의 손실: 0.047942 정확도: 98.51% 18 검증 세트 손실: 0.070048 최선의 손실: 0.047942 정확도: 98.48% 19 검증 세트 손실: 0.055068 최선의 손실: 0.047942 정확도: 98.44% 20 검증 세트 손실: 0.062309 최선의 손실: 0.047942 정확도: 98.48% 21 검증 세트 손실: 0.081510 최선의 손실: 0.047942 정확도: 98.44% 22 검증 세트 손실: 0.079406 최선의 손실: 0.047942 정확도: 98.32% 23 검증 세트 손실: 0.069646 최선의 손실: 0.047942 정확도: 98.44% 24 검증 세트 손실: 0.075571 최선의 손실: 0.047942 정확도: 98.51% 25 검증 세트 손실: 0.059141 최선의 손실: 0.047942 정확도: 98.75% 26 검증 세트 손실: 0.078360 최선의 손실: 0.047942 정확도: 98.40% 27 검증 세트 손실: 0.076446 최선의 손실: 0.047942 정확도: 98.63% 28 검증 세트 손실: 0.076797 최선의 손실: 0.047942 정확도: 98.63% 29 검증 세트 손실: 0.060306 최선의 손실: 0.047942 정확도: 98.71% 30 검증 세트 손실: 0.097235 최선의 손실: 0.047942 정확도: 97.85% 31 검증 세트 손실: 0.091858 최선의 손실: 0.047942 정확도: 98.71% 32 검증 세트 손실: 0.164899 최선의 손실: 0.047942 정확도: 98.28% 33 검증 세트 손실: 0.108848 최선의 손실: 0.047942 정확도: 98.40% 34 검증 세트 손실: 0.072535 최선의 손실: 0.047942 정확도: 98.55% 조기 종료! [CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation=<function relu at 0x123c8f598>, total= 6.7s [CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.080869 최선의 손실: 0.080869 정확도: 97.65% 1 검증 세트 손실: 0.084524 최선의 손실: 0.080869 정확도: 97.54% 2 검증 세트 손실: 0.079256 최선의 손실: 0.079256 정확도: 98.05% 3 검증 세트 손실: 0.069269 최선의 손실: 0.069269 정확도: 98.08% 4 검증 세트 손실: 0.047823 최선의 손실: 0.047823 정확도: 98.44% 5 검증 세트 손실: 0.058434 최선의 손실: 0.047823 정확도: 98.44% 6 검증 세트 손실: 0.060158 최선의 손실: 0.047823 정확도: 98.48% 7 검증 세트 손실: 0.075165 최선의 손실: 0.047823 정확도: 98.05% 8 검증 세트 손실: 0.066794 최선의 손실: 0.047823 정확도: 98.40% 9 검증 세트 손실: 0.067027 최선의 손실: 0.047823 정확도: 98.51% 10 검증 세트 손실: 0.107962 최선의 손실: 0.047823 정확도: 97.77% 11 검증 세트 손실: 0.056656 최선의 손실: 0.047823 정확도: 98.55% 12 검증 세트 손실: 0.054860 최선의 손실: 0.047823 정확도: 98.55% 13 검증 세트 손실: 0.059393 최선의 손실: 0.047823 정확도: 98.59% 14 검증 세트 손실: 0.088951 최선의 손실: 0.047823 정확도: 98.05% 15 검증 세트 손실: 0.066361 최선의 손실: 0.047823 정확도: 98.44% 16 검증 세트 손실: 0.070856 최선의 손실: 0.047823 정확도: 98.40% 17 검증 세트 손실: 0.070379 최선의 손실: 0.047823 정확도: 98.24% 18 검증 세트 손실: 0.092039 최선의 손실: 0.047823 정확도: 98.20% 19 검증 세트 손실: 0.065203 최선의 손실: 0.047823 정확도: 98.32% 20 검증 세트 손실: 0.072125 최선의 손실: 0.047823 정확도: 98.67% 21 검증 세트 손실: 0.089476 최선의 손실: 0.047823 정확도: 98.75% 22 검증 세트 손실: 0.072632 최선의 손실: 0.047823 정확도: 98.79% 23 검증 세트 손실: 0.079224 최선의 손실: 0.047823 정확도: 98.40% 24 검증 세트 손실: 0.078846 최선의 손실: 0.047823 정확도: 98.71% 25 검증 세트 손실: 0.070440 최선의 손실: 0.047823 정확도: 98.51% 조기 종료! [CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation=<function relu at 0x123c8f598>, total= 5.1s [CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.213660 최선의 손실: 0.213660 정확도: 95.43% 1 검증 세트 손실: 0.112925 최선의 손실: 0.112925 정확도: 96.91% 2 검증 세트 손실: 0.099664 최선의 손실: 0.099664 정확도: 96.91% 3 검증 세트 손실: 0.090371 최선의 손실: 0.090371 정확도: 97.34% 4 검증 세트 손실: 0.079748 최선의 손실: 0.079748 정확도: 97.38% 5 검증 세트 손실: 0.064817 최선의 손실: 0.064817 정확도: 98.01% 6 검증 세트 손실: 0.090465 최선의 손실: 0.064817 정확도: 97.30% 7 검증 세트 손실: 0.070669 최선의 손실: 0.064817 정확도: 98.05% 8 검증 세트 손실: 0.083614 최선의 손실: 0.064817 정확도: 97.69% 9 검증 세트 손실: 0.082444 최선의 손실: 0.064817 정확도: 97.73% 10 검증 세트 손실: 0.069858 최선의 손실: 0.064817 정확도: 98.12% 11 검증 세트 손실: 0.096913 최선의 손실: 0.064817 정확도: 98.05% 12 검증 세트 손실: 0.093886 최선의 손실: 0.064817 정확도: 97.38% 13 검증 세트 손실: 0.071132 최선의 손실: 0.064817 정확도: 98.01% 14 검증 세트 손실: 0.083251 최선의 손실: 0.064817 정확도: 98.12% 15 검증 세트 손실: 0.076477 최선의 손실: 0.064817 정확도: 98.28% 16 검증 세트 손실: 0.088873 최선의 손실: 0.064817 정확도: 97.89% 17 검증 세트 손실: 0.113644 최선의 손실: 0.064817 정확도: 98.05% 18 검증 세트 손실: 0.084397 최선의 손실: 0.064817 정확도: 98.28% 19 검증 세트 손실: 0.084089 최선의 손실: 0.064817 정확도: 97.62% 20 검증 세트 손실: 0.113411 최선의 손실: 0.064817 정확도: 97.73% 21 검증 세트 손실: 0.078854 최선의 손실: 0.064817 정확도: 98.36% 22 검증 세트 손실: 0.080474 최선의 손실: 0.064817 정확도: 98.08% 23 검증 세트 손실: 0.081591 최선의 손실: 0.064817 정확도: 98.01% 24 검증 세트 손실: 0.083663 최선의 손실: 0.064817 정확도: 98.40% 25 검증 세트 손실: 0.112853 최선의 손실: 0.064817 정확도: 97.93% 26 검증 세트 손실: 0.095000 최선의 손실: 0.064817 정확도: 97.81% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 4.6s [CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.217578 최선의 손실: 0.217578 정확도: 94.06% 1 검증 세트 손실: 0.120492 최선의 손실: 0.120492 정확도: 96.25% 2 검증 세트 손실: 0.095181 최선의 손실: 0.095181 정확도: 97.19% 3 검증 세트 손실: 0.090916 최선의 손실: 0.090916 정확도: 97.11% 4 검증 세트 손실: 0.083658 최선의 손실: 0.083658 정확도: 97.69% 5 검증 세트 손실: 0.090988 최선의 손실: 0.083658 정확도: 97.15% 6 검증 세트 손실: 0.092894 최선의 손실: 0.083658 정확도: 97.62% 7 검증 세트 손실: 0.084186 최선의 손실: 0.083658 정확도: 97.42% 8 검증 세트 손실: 0.092965 최선의 손실: 0.083658 정확도: 97.38% 9 검증 세트 손실: 0.070251 최선의 손실: 0.070251 정확도: 97.93% 10 검증 세트 손실: 0.094239 최선의 손실: 0.070251 정확도: 97.54% 11 검증 세트 손실: 0.096197 최선의 손실: 0.070251 정확도: 97.54% 12 검증 세트 손실: 0.100353 최선의 손실: 0.070251 정확도: 97.81% 13 검증 세트 손실: 0.085401 최선의 손실: 0.070251 정확도: 97.77% 14 검증 세트 손실: 0.106631 최선의 손실: 0.070251 정확도: 97.15% 15 검증 세트 손실: 0.088662 최선의 손실: 0.070251 정확도: 97.77% 16 검증 세트 손실: 0.090413 최선의 손실: 0.070251 정확도: 97.81% 17 검증 세트 손실: 0.073073 최선의 손실: 0.070251 정확도: 97.81% 18 검증 세트 손실: 0.089672 최선의 손실: 0.070251 정확도: 97.69% 19 검증 세트 손실: 0.116149 최선의 손실: 0.070251 정확도: 97.77% 20 검증 세트 손실: 0.145212 최선의 손실: 0.070251 정확도: 97.65% 21 검증 세트 손실: 0.075367 최선의 손실: 0.070251 정확도: 98.01% 22 검증 세트 손실: 0.081409 최선의 손실: 0.070251 정확도: 98.08% 23 검증 세트 손실: 0.196718 최선의 손실: 0.070251 정확도: 96.36% 24 검증 세트 손실: 0.073825 최선의 손실: 0.070251 정확도: 98.44% 25 검증 세트 손실: 0.098818 최선의 손실: 0.070251 정확도: 97.89% 26 검증 세트 손실: 0.092654 최선의 손실: 0.070251 정확도: 98.36% 27 검증 세트 손실: 0.108676 최선의 손실: 0.070251 정확도: 97.81% 28 검증 세트 손실: 0.133874 최선의 손실: 0.070251 정확도: 97.97% 29 검증 세트 손실: 0.117146 최선의 손실: 0.070251 정확도: 97.97% 30 검증 세트 손실: 0.083249 최선의 손실: 0.070251 정확도: 98.05% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 5.2s [CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.178355 최선의 손실: 0.178355 정확도: 94.76% 1 검증 세트 손실: 0.113382 최선의 손실: 0.113382 정확도: 96.64% 2 검증 세트 손실: 0.127304 최선의 손실: 0.113382 정확도: 96.48% 3 검증 세트 손실: 0.085784 최선의 손실: 0.085784 정확도: 97.38% 4 검증 세트 손실: 0.101420 최선의 손실: 0.085784 정확도: 97.34% 5 검증 세트 손실: 0.078840 최선의 손실: 0.078840 정확도: 97.69% 6 검증 세트 손실: 0.088015 최선의 손실: 0.078840 정확도: 97.65% 7 검증 세트 손실: 0.090401 최선의 손실: 0.078840 정확도: 97.73% 8 검증 세트 손실: 0.076830 최선의 손실: 0.076830 정확도: 98.01% 9 검증 세트 손실: 0.072071 최선의 손실: 0.072071 정확도: 98.08% 10 검증 세트 손실: 0.096164 최선의 손실: 0.072071 정확도: 97.85% 11 검증 세트 손실: 0.079113 최선의 손실: 0.072071 정확도: 97.97% 12 검증 세트 손실: 0.081660 최선의 손실: 0.072071 정확도: 98.20% 13 검증 세트 손실: 0.090489 최선의 손실: 0.072071 정확도: 97.89% 14 검증 세트 손실: 0.143833 최선의 손실: 0.072071 정확도: 97.81% 15 검증 세트 손실: 0.097754 최선의 손실: 0.072071 정확도: 98.20% 16 검증 세트 손실: 0.100083 최선의 손실: 0.072071 정확도: 97.77% 17 검증 세트 손실: 0.079899 최선의 손실: 0.072071 정확도: 98.01% 18 검증 세트 손실: 0.078241 최선의 손실: 0.072071 정확도: 98.44% 19 검증 세트 손실: 0.089093 최선의 손실: 0.072071 정확도: 98.12% 20 검증 세트 손실: 0.096306 최선의 손실: 0.072071 정확도: 98.28% 21 검증 세트 손실: 0.073495 최선의 손실: 0.072071 정확도: 98.44% 22 검증 세트 손실: 0.094555 최선의 손실: 0.072071 정확도: 98.32% 23 검증 세트 손실: 0.092834 최선의 손실: 0.072071 정확도: 98.12% 24 검증 세트 손실: 0.087507 최선의 손실: 0.072071 정확도: 98.24% 25 검증 세트 손실: 0.123464 최선의 손실: 0.072071 정확도: 97.73% 26 검증 세트 손실: 0.110719 최선의 손실: 0.072071 정확도: 98.08% 27 검증 세트 손실: 0.093934 최선의 손실: 0.072071 정확도: 97.97% 28 검증 세트 손실: 0.096229 최선의 손실: 0.072071 정확도: 98.40% 29 검증 세트 손실: 0.142267 최선의 손실: 0.072071 정확도: 98.12% 30 검증 세트 손실: 0.178467 최선의 손실: 0.072071 정확도: 97.58% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 5.2s [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.096855 최선의 손실: 0.096855 정확도: 97.15% 1 검증 세트 손실: 0.121323 최선의 손실: 0.096855 정확도: 97.26% 2 검증 세트 손실: 0.091474 최선의 손실: 0.091474 정확도: 97.54% 3 검증 세트 손실: 48.822803 최선의 손실: 0.091474 정확도: 81.04% 4 검증 세트 손실: 0.764745 최선의 손실: 0.091474 정확도: 96.48% 5 검증 세트 손실: 0.695938 최선의 손실: 0.091474 정확도: 95.54% 6 검증 세트 손실: 0.535586 최선의 손실: 0.091474 정확도: 96.87% 7 검증 세트 손실: 0.290580 최선의 손실: 0.091474 정확도: 97.26% 8 검증 세트 손실: 0.257986 최선의 손실: 0.091474 정확도: 97.26% 9 검증 세트 손실: 0.333419 최선의 손실: 0.091474 정확도: 96.13% 10 검증 세트 손실: 0.342877 최선의 손실: 0.091474 정확도: 97.07% 11 검증 세트 손실: 0.285185 최선의 손실: 0.091474 정확도: 97.11% 12 검증 세트 손실: 0.307837 최선의 손실: 0.091474 정확도: 96.40% 13 검증 세트 손실: 0.248207 최선의 손실: 0.091474 정확도: 97.19% 14 검증 세트 손실: 0.258163 최선의 손실: 0.091474 정확도: 97.50% 15 검증 세트 손실: 0.232898 최선의 손실: 0.091474 정확도: 97.42% 16 검증 세트 손실: 0.416065 최선의 손실: 0.091474 정확도: 97.42% 17 검증 세트 손실: 0.527937 최선의 손실: 0.091474 정확도: 96.64% 18 검증 세트 손실: 0.222410 최선의 손실: 0.091474 정확도: 97.73% 19 검증 세트 손실: 1.155618 최선의 손실: 0.091474 정확도: 96.76% 20 검증 세트 손실: 0.616868 최선의 손실: 0.091474 정확도: 95.15% 21 검증 세트 손실: 0.296663 최선의 손실: 0.091474 정확도: 97.15% 22 검증 세트 손실: 0.276041 최선의 손실: 0.091474 정확도: 97.54% 23 검증 세트 손실: 0.140047 최선의 손실: 0.091474 정확도: 97.46% 조기 종료! [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 9.4s [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.117420 최선의 손실: 0.117420 정확도: 96.87% 1 검증 세트 손실: 0.098312 최선의 손실: 0.098312 정확도: 97.38% 2 검증 세트 손실: 0.073561 최선의 손실: 0.073561 정확도: 98.05% 3 검증 세트 손실: 115.485977 최선의 손실: 0.073561 정확도: 63.84% 4 검증 세트 손실: 0.515688 최선의 손실: 0.073561 정확도: 94.29% 5 검증 세트 손실: 0.518368 최선의 손실: 0.073561 정확도: 94.45% 6 검증 세트 손실: 0.330872 최선의 손실: 0.073561 정확도: 95.90% 7 검증 세트 손실: 0.252116 최선의 손실: 0.073561 정확도: 96.33% 8 검증 세트 손실: 0.186275 최선의 손실: 0.073561 정확도: 96.40% 9 검증 세트 손실: 0.388104 최선의 손실: 0.073561 정확도: 95.66% 10 검증 세트 손실: 0.450890 최선의 손실: 0.073561 정확도: 95.50% 11 검증 세트 손실: 0.210803 최선의 손실: 0.073561 정확도: 96.29% 12 검증 세트 손실: 0.218657 최선의 손실: 0.073561 정확도: 96.25% 13 검증 세트 손실: 0.147701 최선의 손실: 0.073561 정확도: 97.54% 14 검증 세트 손실: 0.226903 최선의 손실: 0.073561 정확도: 97.07% 15 검증 세트 손실: 0.367180 최선의 손실: 0.073561 정확도: 96.44% 16 검증 세트 손실: 0.256539 최선의 손실: 0.073561 정확도: 97.30% 17 검증 세트 손실: 0.141566 최선의 손실: 0.073561 정확도: 97.15% 18 검증 세트 손실: 0.154930 최선의 손실: 0.073561 정확도: 97.46% 19 검증 세트 손실: 0.121635 최선의 손실: 0.073561 정확도: 97.50% 20 검증 세트 손실: 0.318510 최선의 손실: 0.073561 정확도: 96.44% 21 검증 세트 손실: 0.141753 최선의 손실: 0.073561 정확도: 96.91% 22 검증 세트 손실: 0.095807 최선의 손실: 0.073561 정확도: 97.46% 23 검증 세트 손실: 0.113287 최선의 손실: 0.073561 정확도: 97.65% 조기 종료! [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 9.2s [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.111020 최선의 손실: 0.111020 정확도: 97.54% 1 검증 세트 손실: 2.553615 최선의 손실: 0.111020 정확도: 91.05% 2 검증 세트 손실: 0.147923 최선의 손실: 0.111020 정확도: 96.09% 3 검증 세트 손실: 0.125970 최선의 손실: 0.111020 정확도: 97.19% 4 검증 세트 손실: 0.131873 최선의 손실: 0.111020 정확도: 97.58% 5 검증 세트 손실: 0.146441 최선의 손실: 0.111020 정확도: 97.62% 6 검증 세트 손실: 0.106726 최선의 손실: 0.106726 정확도: 97.26% 7 검증 세트 손실: 0.106078 최선의 손실: 0.106078 정확도: 97.81% 8 검증 세트 손실: 0.268643 최선의 손실: 0.106078 정확도: 96.01% 9 검증 세트 손실: 0.112500 최선의 손실: 0.106078 정확도: 97.54% 10 검증 세트 손실: 0.170894 최선의 손실: 0.106078 정확도: 98.01% 11 검증 세트 손실: 0.120536 최선의 손실: 0.106078 정확도: 97.81% 12 검증 세트 손실: 0.145558 최선의 손실: 0.106078 정확도: 97.77% 13 검증 세트 손실: 0.133340 최선의 손실: 0.106078 정확도: 98.16% 14 검증 세트 손실: 0.202853 최선의 손실: 0.106078 정확도: 96.21% 15 검증 세트 손실: 0.140980 최선의 손실: 0.106078 정확도: 97.50% 16 검증 세트 손실: 0.080302 최선의 손실: 0.080302 정확도: 98.01% 17 검증 세트 손실: 0.081179 최선의 손실: 0.080302 정확도: 97.85% 18 검증 세트 손실: 0.102498 최선의 손실: 0.080302 정확도: 97.93% 19 검증 세트 손실: 0.156941 최선의 손실: 0.080302 정확도: 97.77% 20 검증 세트 손실: 0.181191 최선의 손실: 0.080302 정확도: 97.81% 21 검증 세트 손실: 37.204464 최선의 손실: 0.080302 정확도: 94.68% 22 검증 세트 손실: 26.980808 최선의 손실: 0.080302 정확도: 95.23% 23 검증 세트 손실: 49.919693 최선의 손실: 0.080302 정확도: 95.74% 24 검증 세트 손실: 44.873344 최선의 손실: 0.080302 정확도: 93.86% 25 검증 세트 손실: 39.141075 최선의 손실: 0.080302 정확도: 97.11% 26 검증 세트 손실: 38.534264 최선의 손실: 0.080302 정확도: 96.87% 27 검증 세트 손실: 55.411148 최선의 손실: 0.080302 정확도: 96.95% 28 검증 세트 손실: 6.329827 최선의 손실: 0.080302 정확도: 95.86% 29 검증 세트 손실: 6.877985 최선의 손실: 0.080302 정확도: 94.21% 30 검증 세트 손실: 8.228200 최선의 손실: 0.080302 정확도: 97.03% 31 검증 세트 손실: 9.179708 최선의 손실: 0.080302 정확도: 97.30% 32 검증 세트 손실: 7.500202 최선의 손실: 0.080302 정확도: 96.72% 33 검증 세트 손실: 7.457060 최선의 손실: 0.080302 정확도: 96.44% 34 검증 세트 손실: 6.810181 최선의 손실: 0.080302 정확도: 96.72% 35 검증 세트 손실: 7.565784 최선의 손실: 0.080302 정확도: 97.22% 36 검증 세트 손실: 8.757726 최선의 손실: 0.080302 정확도: 96.48% 37 검증 세트 손실: 8.979831 최선의 손실: 0.080302 정확도: 96.64% 조기 종료! [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 13.4s [CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.248947 최선의 손실: 0.248947 정확도: 95.50% 1 검증 세트 손실: 0.189977 최선의 손실: 0.189977 정확도: 95.54% 2 검증 세트 손실: 10.547504 최선의 손실: 0.189977 정확도: 95.47% 3 검증 세트 손실: 3.373538 최선의 손실: 0.189977 정확도: 94.14% 4 검증 세트 손실: 100.118843 최선의 손실: 0.189977 정확도: 90.93% 5 검증 세트 손실: 11.013702 최선의 손실: 0.189977 정확도: 96.13% 6 검증 세트 손실: 3.422624 최선의 손실: 0.189977 정확도: 96.25% 7 검증 세트 손실: 39.149414 최선의 손실: 0.189977 정확도: 93.55% 8 검증 세트 손실: 18.303753 최선의 손실: 0.189977 정확도: 96.52% 9 검증 세트 손실: 10.116581 최선의 손실: 0.189977 정확도: 96.36% 10 검증 세트 손실: 92.431419 최선의 손실: 0.189977 정확도: 95.47% 11 검증 세트 손실: 16.281540 최선의 손실: 0.189977 정확도: 97.03% 12 검증 세트 손실: 123.130646 최선의 손실: 0.189977 정확도: 96.56% 13 검증 세트 손실: 11.800238 최선의 손실: 0.189977 정확도: 97.42% 14 검증 세트 손실: 14.736811 최선의 손실: 0.189977 정확도: 96.60% 15 검증 세트 손실: 66.724983 최선의 손실: 0.189977 정확도: 97.46% 16 검증 세트 손실: 28.335907 최선의 손실: 0.189977 정확도: 95.74% 17 검증 세트 손실: 17.994520 최선의 손실: 0.189977 정확도: 97.34% 18 검증 세트 손실: 69.133514 최선의 손실: 0.189977 정확도: 88.00% 19 검증 세트 손실: 79.396965 최선의 손실: 0.189977 정확도: 97.77% 20 검증 세트 손실: 43.286022 최선의 손실: 0.189977 정확도: 92.49% 21 검증 세트 손실: 95.800461 최선의 손실: 0.189977 정확도: 91.48% 22 검증 세트 손실: 44.437546 최선의 손실: 0.189977 정확도: 97.85% 조기 종료! [CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 42.8s [CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.161831 최선의 손실: 0.161831 정확도: 95.82% 1 검증 세트 손실: 0.173103 최선의 손실: 0.161831 정확도: 96.91% 2 검증 세트 손실: 3.725027 최선의 손실: 0.161831 정확도: 93.98% 3 검증 세트 손실: 4.675686 최선의 손실: 0.161831 정확도: 92.46% 4 검증 세트 손실: 1.614143 최선의 손실: 0.161831 정확도: 93.28% 5 검증 세트 손실: 1.188877 최선의 손실: 0.161831 정확도: 96.64% 6 검증 세트 손실: 1.655378 최선의 손실: 0.161831 정확도: 96.91% 7 검증 세트 손실: 2.141586 최선의 손실: 0.161831 정확도: 95.19% 8 검증 세트 손실: 23.265804 최선의 손실: 0.161831 정확도: 91.56% 9 검증 세트 손실: 18.419121 최선의 손실: 0.161831 정확도: 96.64% 10 검증 세트 손실: 15.610350 최선의 손실: 0.161831 정확도: 96.44% 11 검증 세트 손실: 9.327701 최선의 손실: 0.161831 정확도: 95.47% 12 검증 세트 손실: 4.788464 최선의 손실: 0.161831 정확도: 97.42% 13 검증 세트 손실: 22.173782 최선의 손실: 0.161831 정확도: 95.82% 14 검증 세트 손실: 8.429370 최선의 손실: 0.161831 정확도: 97.26% 15 검증 세트 손실: 15.907776 최선의 손실: 0.161831 정확도: 96.95% 16 검증 세트 손실: 130.245636 최선의 손실: 0.161831 정확도: 93.63% 17 검증 세트 손실: 56.589931 최선의 손실: 0.161831 정확도: 96.17% 18 검증 세트 손실: 33.428875 최선의 손실: 0.161831 정확도: 97.58% 19 검증 세트 손실: 58.731285 최선의 손실: 0.161831 정확도: 97.26% 20 검증 세트 손실: 31.821518 최선의 손실: 0.161831 정확도: 96.48% 21 검증 세트 손실: 45.367050 최선의 손실: 0.161831 정확도: 94.14% 조기 종료! [CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 42.0s [CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.920234 최선의 손실: 0.920234 정확도: 94.84% 1 검증 세트 손실: 0.473977 최선의 손실: 0.473977 정확도: 94.45% 2 검증 세트 손실: 44.768837 최선의 손실: 0.473977 정확도: 90.50% 3 검증 세트 손실: 4.845933 최선의 손실: 0.473977 정확도: 94.14% 4 검증 세트 손실: 4.333147 최선의 손실: 0.473977 정확도: 94.25% 5 검증 세트 손실: 5.082002 최선의 손실: 0.473977 정확도: 95.23% 6 검증 세트 손실: 4.128269 최선의 손실: 0.473977 정확도: 94.68% 7 검증 세트 손실: 39.970699 최선의 손실: 0.473977 정확도: 93.90% 8 검증 세트 손실: 3.781929 최선의 손실: 0.473977 정확도: 96.91% 9 검증 세트 손실: 3.606115 최선의 손실: 0.473977 정확도: 96.21% 10 검증 세트 손실: 16.651318 최선의 손실: 0.473977 정확도: 95.31% 11 검증 세트 손실: 3.339943 최선의 손실: 0.473977 정확도: 96.29% 12 검증 세트 손실: 714.339905 최선의 손실: 0.473977 정확도: 86.47% 13 검증 세트 손실: 17.820271 최선의 손실: 0.473977 정확도: 95.86% 14 검증 세트 손실: 62.280602 최선의 손실: 0.473977 정확도: 96.44% 15 검증 세트 손실: 11.809529 최선의 손실: 0.473977 정확도: 97.62% 16 검증 세트 손실: 51.842621 최선의 손실: 0.473977 정확도: 91.79% 17 검증 세트 손실: 70.147232 최선의 손실: 0.473977 정확도: 95.58% 18 검증 세트 손실: 56.844250 최선의 손실: 0.473977 정확도: 93.67% 19 검증 세트 손실: 183.531189 최선의 손실: 0.473977 정확도: 87.37% 20 검증 세트 손실: 23.228573 최선의 손실: 0.473977 정확도: 97.73% 21 검증 세트 손실: 216.345627 최선의 손실: 0.473977 정확도: 96.87% 22 검증 세트 손실: 79.949944 최선의 손실: 0.473977 정확도: 97.34% 조기 종료! [CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 43.0s [CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 42.079456 최선의 손실: 42.079456 정확도: 94.41% 1 검증 세트 손실: 13.686571 최선의 손실: 13.686571 정확도: 95.70% 2 검증 세트 손실: 12.467690 최선의 손실: 12.467690 정확도: 95.23% 3 검증 세트 손실: 6.119364 최선의 손실: 6.119364 정확도: 96.79% 4 검증 세트 손실: 5.741684 최선의 손실: 5.741684 정확도: 96.99% 5 검증 세트 손실: 6.344348 최선의 손실: 5.741684 정확도: 96.76% 6 검증 세트 손실: 4.552067 최선의 손실: 4.552067 정확도: 96.44% 7 검증 세트 손실: 5.674465 최선의 손실: 4.552067 정확도: 92.92% 8 검증 세트 손실: 224.636307 최선의 손실: 4.552067 정확도: 79.05% 9 검증 세트 손실: 3462623.500000 최선의 손실: 4.552067 정확도: 86.79% 10 검증 세트 손실: 941727.625000 최선의 손실: 4.552067 정확도: 91.32% 11 검증 세트 손실: 686655.437500 최선의 손실: 4.552067 정확도: 90.89% 12 검증 세트 손실: 557642.187500 최선의 손실: 4.552067 정확도: 92.42% 13 검증 세트 손실: 289772.437500 최선의 손실: 4.552067 정확도: 93.04% 14 검증 세트 손실: 247343.734375 최선의 손실: 4.552067 정확도: 94.06% 15 검증 세트 손실: 317197.625000 최선의 손실: 4.552067 정확도: 92.61% 16 검증 세트 손실: 253672.500000 최선의 손실: 4.552067 정확도: 92.89% 17 검증 세트 손실: 235091.593750 최선의 손실: 4.552067 정확도: 93.86% 18 검증 세트 손실: 342524.281250 최선의 손실: 4.552067 정확도: 90.42% 19 검증 세트 손실: 128100.914062 최선의 손실: 4.552067 정확도: 95.35% 20 검증 세트 손실: 100805.507812 최선의 손실: 4.552067 정확도: 95.70% 21 검증 세트 손실: 112234.882812 최선의 손실: 4.552067 정확도: 95.23% 22 검증 세트 손실: 362313.750000 최선의 손실: 4.552067 정확도: 94.53% 23 검증 세트 손실: 96484.343750 최선의 손실: 4.552067 정확도: 96.01% 24 검증 세트 손실: 95118.039062 최선의 손실: 4.552067 정확도: 95.97% 25 검증 세트 손실: 148115.937500 최선의 손실: 4.552067 정확도: 95.07% 26 검증 세트 손실: 77563.460938 최선의 손실: 4.552067 정확도: 96.21% 27 검증 세트 손실: 66301.664062 최선의 손실: 4.552067 정확도: 96.60% 조기 종료! [CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 17.4s [CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 286.412170 최선의 손실: 286.412170 정확도: 93.35% 1 검증 세트 손실: 328.238861 최선의 손실: 286.412170 정확도: 93.24% 2 검증 세트 손실: 51.003830 최선의 손실: 51.003830 정확도: 91.79% 3 검증 세트 손실: 47.260330 최선의 손실: 47.260330 정확도: 93.78% 4 검증 세트 손실: 16.871891 최선의 손실: 16.871891 정확도: 95.50% 5 검증 세트 손실: 20.088600 최선의 손실: 16.871891 정확도: 93.78% 6 검증 세트 손실: 11.245176 최선의 손실: 11.245176 정확도: 96.76% 7 검증 세트 손실: 5.848014 최선의 손실: 5.848014 정확도: 97.30% 8 검증 세트 손실: 7.723278 최선의 손실: 5.848014 정확도: 96.36% 9 검증 세트 손실: 4.797359 최선의 손실: 4.797359 정확도: 97.65% 10 검증 세트 손실: 67.101883 최선의 손실: 4.797359 정확도: 94.02% 11 검증 세트 손실: 10.195777 최선의 손실: 4.797359 정확도: 96.76% 12 검증 세트 손실: 4.744697 최선의 손실: 4.744697 정확도: 97.54% 13 검증 세트 손실: 5.296947 최선의 손실: 4.744697 정확도: 97.73% 14 검증 세트 손실: 19.935261 최선의 손실: 4.744697 정확도: 96.64% 15 검증 세트 손실: 9.405844 최선의 손실: 4.744697 정확도: 96.68% 16 검증 세트 손실: 9762278.000000 최선의 손실: 4.744697 정확도: 63.76% 17 검증 세트 손실: 7760756.500000 최선의 손실: 4.744697 정확도: 68.61% 18 검증 세트 손실: 2537063.000000 최선의 손실: 4.744697 정확도: 82.29% 19 검증 세트 손실: 1423823.500000 최선의 손실: 4.744697 정확도: 87.49% 20 검증 세트 손실: 1281235.375000 최선의 손실: 4.744697 정확도: 89.44% 21 검증 세트 손실: 1171215.250000 최선의 손실: 4.744697 정확도: 88.08% 22 검증 세트 손실: 1138542.125000 최선의 손실: 4.744697 정확도: 87.84% 23 검증 세트 손실: 1128311.125000 최선의 손실: 4.744697 정확도: 89.87% 24 검증 세트 손실: 1200645.625000 최선의 손실: 4.744697 정확도: 89.09% 25 검증 세트 손실: 1831034.875000 최선의 손실: 4.744697 정확도: 84.13% 26 검증 세트 손실: 799312.187500 최선의 손실: 4.744697 정확도: 92.96% 27 검증 세트 손실: 915535.437500 최선의 손실: 4.744697 정확도: 90.81% 28 검증 세트 손실: 1868356.875000 최선의 손실: 4.744697 정확도: 80.10% 29 검증 세트 손실: 664191.937500 최선의 손실: 4.744697 정확도: 94.25% 30 검증 세트 손실: 1045656.125000 최선의 손실: 4.744697 정확도: 92.46% 31 검증 세트 손실: 1069538.625000 최선의 손실: 4.744697 정확도: 93.28% 32 검증 세트 손실: 1467161.625000 최선의 손실: 4.744697 정확도: 92.53% 33 검증 세트 손실: 706341.250000 최선의 손실: 4.744697 정확도: 95.19% 조기 종료! [CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 21.7s [CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 30.304508 최선의 손실: 30.304508 정확도: 94.18% 1 검증 세트 손실: 10.223281 최선의 손실: 10.223281 정확도: 95.15% 2 검증 세트 손실: 12.225041 최선의 손실: 10.223281 정확도: 94.21% 3 검증 세트 손실: 5.274118 최선의 손실: 5.274118 정확도: 95.43% 4 검증 세트 손실: 6.326481 최선의 손실: 5.274118 정확도: 95.93% 5 검증 세트 손실: 10.109250 최선의 손실: 5.274118 정확도: 92.46% 6 검증 세트 손실: 5.402368 최선의 손실: 5.274118 정확도: 96.29% 7 검증 세트 손실: 4.246205 최선의 손실: 4.246205 정확도: 95.54% 8 검증 세트 손실: 3.220577 최선의 손실: 3.220577 정확도: 96.64% 9 검증 세트 손실: 5.891224 최선의 손실: 3.220577 정확도: 97.62% 10 검증 세트 손실: 4.434734 최선의 손실: 3.220577 정확도: 98.01% 11 검증 세트 손실: 4.603355 최선의 손실: 3.220577 정확도: 95.74% 12 검증 세트 손실: 3.156417 최선의 손실: 3.156417 정확도: 97.26% 13 검증 세트 손실: 2.492384 최선의 손실: 2.492384 정확도: 97.26% 14 검증 세트 손실: 10.267431 최선의 손실: 2.492384 정확도: 95.50% 15 검증 세트 손실: 2.092942 최선의 손실: 2.092942 정확도: 97.62% 16 검증 세트 손실: 1.545340 최선의 손실: 1.545340 정확도: 97.89% 17 검증 세트 손실: 2.364730 최선의 손실: 1.545340 정확도: 97.15% 18 검증 세트 손실: 3.917626 최선의 손실: 1.545340 정확도: 97.42% 19 검증 세트 손실: 19.454821 최선의 손실: 1.545340 정확도: 90.23% 20 검증 세트 손실: 1.562718 최선의 손실: 1.545340 정확도: 97.73% 21 검증 세트 손실: 7600676.500000 최선의 손실: 1.545340 정확도: 86.16% 22 검증 세트 손실: 971845.250000 최선의 손실: 1.545340 정확도: 88.62% 23 검증 세트 손실: 345788.312500 최선의 손실: 1.545340 정확도: 95.07% 24 검증 세트 손실: 267285.531250 최선의 손실: 1.545340 정확도: 95.43% 25 검증 세트 손실: 194603.484375 최선의 손실: 1.545340 정확도: 95.86% 26 검증 세트 손실: 132004.437500 최선의 손실: 1.545340 정확도: 96.29% 27 검증 세트 손실: 255177.406250 최선의 손실: 1.545340 정확도: 95.04% 28 검증 세트 손실: 273903.406250 최선의 손실: 1.545340 정확도: 96.76% 29 검증 세트 손실: 550106.687500 최선의 손실: 1.545340 정확도: 93.51% 30 검증 세트 손실: 151093.812500 최선의 손실: 1.545340 정확도: 97.11% 31 검증 세트 손실: 194978.359375 최선의 손실: 1.545340 정확도: 97.22% 32 검증 세트 손실: 246630.187500 최선의 손실: 1.545340 정확도: 96.48% 33 검증 세트 손실: 257877.421875 최선의 손실: 1.545340 정확도: 95.54% 34 검증 세트 손실: 691259.375000 최선의 손실: 1.545340 정확도: 93.24% 35 검증 세트 손실: 278999.718750 최선의 손실: 1.545340 정확도: 95.04% 36 검증 세트 손실: 156732.546875 최선의 손실: 1.545340 정확도: 96.99% 37 검증 세트 손실: 162949.390625 최선의 손실: 1.545340 정확도: 96.36% 조기 종료! [CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 24.0s [CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.128135 최선의 손실: 0.128135 정확도: 96.21% 1 검증 세트 손실: 0.116442 최선의 손실: 0.116442 정확도: 97.07% 2 검증 세트 손실: 0.072606 최선의 손실: 0.072606 정확도: 98.05% 3 검증 세트 손실: 0.077391 최선의 손실: 0.072606 정확도: 97.81% 4 검증 세트 손실: 1.160674 최선의 손실: 0.072606 정확도: 87.84% 5 검증 세트 손실: 0.165406 최선의 손실: 0.072606 정확도: 95.97% 6 검증 세트 손실: 0.105237 최선의 손실: 0.072606 정확도: 97.34% 7 검증 세트 손실: 0.115155 최선의 손실: 0.072606 정확도: 97.97% 8 검증 세트 손실: 0.090105 최선의 손실: 0.072606 정확도: 97.89% 9 검증 세트 손실: 0.085218 최선의 손실: 0.072606 정확도: 98.05% 10 검증 세트 손실: 0.249701 최선의 손실: 0.072606 정확도: 96.76% 11 검증 세트 손실: 0.110944 최선의 손실: 0.072606 정확도: 97.50% 12 검증 세트 손실: 0.110080 최선의 손실: 0.072606 정확도: 96.99% 13 검증 세트 손실: 0.103473 최선의 손실: 0.072606 정확도: 97.30% 14 검증 세트 손실: 0.083837 최선의 손실: 0.072606 정확도: 97.97% 15 검증 세트 손실: 0.080973 최선의 손실: 0.072606 정확도: 98.08% 16 검증 세트 손실: 0.079144 최선의 손실: 0.072606 정확도: 98.32% 17 검증 세트 손실: 0.066992 최선의 손실: 0.066992 정확도: 98.36% 18 검증 세트 손실: 0.088151 최선의 손실: 0.066992 정확도: 98.12% 19 검증 세트 손실: 0.079909 최선의 손실: 0.066992 정확도: 98.08% 20 검증 세트 손실: 0.104734 최선의 손실: 0.066992 정확도: 98.20% 21 검증 세트 손실: 0.328261 최선의 손실: 0.066992 정확도: 94.64% 22 검증 세트 손실: 0.635067 최선의 손실: 0.066992 정확도: 71.58% 23 검증 세트 손실: 0.434681 최선의 손실: 0.066992 정확도: 78.26% 24 검증 세트 손실: 0.422389 최선의 손실: 0.066992 정확도: 79.12% 25 검증 세트 손실: 0.481025 최선의 손실: 0.066992 정확도: 78.46% 26 검증 세트 손실: 0.409523 최선의 손실: 0.066992 정확도: 79.71% 27 검증 세트 손실: 0.173683 최선의 손실: 0.066992 정확도: 96.33% 28 검증 세트 손실: 0.132080 최선의 손실: 0.066992 정확도: 97.03% 29 검증 세트 손실: 0.201598 최선의 손실: 0.066992 정확도: 95.74% 30 검증 세트 손실: 0.159204 최선의 손실: 0.066992 정확도: 96.48% 31 검증 세트 손실: 0.196080 최선의 손실: 0.066992 정확도: 96.36% 32 검증 세트 손실: 0.131045 최선의 손실: 0.066992 정확도: 97.54% 33 검증 세트 손실: 0.146113 최선의 손실: 0.066992 정확도: 97.26% 34 검증 세트 손실: 0.127812 최선의 손실: 0.066992 정확도: 97.73% 35 검증 세트 손실: 0.168891 최선의 손실: 0.066992 정확도: 97.26% 36 검증 세트 손실: 0.175197 최선의 손실: 0.066992 정확도: 96.72% 37 검증 세트 손실: 0.133713 최선의 손실: 0.066992 정확도: 97.58% 38 검증 세트 손실: 0.140908 최선의 손실: 0.066992 정확도: 97.54% 조기 종료! [CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation=<function elu at 0x123d02048>, total= 9.4s [CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.097561 최선의 손실: 0.097561 정확도: 97.42% 1 검증 세트 손실: 0.092989 최선의 손실: 0.092989 정확도: 97.58% 2 검증 세트 손실: 0.091629 최선의 손실: 0.091629 정확도: 97.65% 3 검증 세트 손실: 0.098338 최선의 손실: 0.091629 정확도: 97.62% 4 검증 세트 손실: 0.079402 최선의 손실: 0.079402 정확도: 98.08% 5 검증 세트 손실: 0.594733 최선의 손실: 0.079402 정확도: 76.04% 6 검증 세트 손실: 1.660090 최선의 손실: 0.079402 정확도: 19.27% 7 검증 세트 손실: 1.630504 최선의 손실: 0.079402 정확도: 18.73% 8 검증 세트 손실: 1.621215 최선의 손실: 0.079402 정확도: 19.27% 9 검증 세트 손실: 1.631586 최선의 손실: 0.079402 정확도: 22.01% 10 검증 세트 손실: 1.625070 최선의 손실: 0.079402 정확도: 19.27% 11 검증 세트 손실: 1.667985 최선의 손실: 0.079402 정확도: 19.08% 12 검증 세트 손실: 1.614598 최선의 손실: 0.079402 정확도: 22.01% 13 검증 세트 손실: 1.619477 최선의 손실: 0.079402 정확도: 18.73% 14 검증 세트 손실: 1.613948 최선의 손실: 0.079402 정확도: 22.01% 15 검증 세트 손실: 1.611548 최선의 손실: 0.079402 정확도: 20.91% 16 검증 세트 손실: 1.625233 최선의 손실: 0.079402 정확도: 18.73% 17 검증 세트 손실: 1.613518 최선의 손실: 0.079402 정확도: 22.01% 18 검증 세트 손실: 1.660013 최선의 손실: 0.079402 정확도: 22.01% 19 검증 세트 손실: 1.631110 최선의 손실: 0.079402 정확도: 20.91% 20 검증 세트 손실: 1.642347 최선의 손실: 0.079402 정확도: 19.27% 21 검증 세트 손실: 1.704349 최선의 손실: 0.079402 정확도: 22.01% 22 검증 세트 손실: 1.652562 최선의 손실: 0.079402 정확도: 19.27% 23 검증 세트 손실: 1.646276 최선의 손실: 0.079402 정확도: 22.01% 24 검증 세트 손실: 1.661352 최선의 손실: 0.079402 정확도: 22.01% 25 검증 세트 손실: 1.611840 최선의 손실: 0.079402 정확도: 19.08% 조기 종료! [CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation=<function elu at 0x123d02048>, total= 6.4s [CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.093383 최선의 손실: 0.093383 정확도: 97.58% 1 검증 세트 손실: 0.078876 최선의 손실: 0.078876 정확도: 97.65% 2 검증 세트 손실: 0.123591 최선의 손실: 0.078876 정확도: 97.38% 3 검증 세트 손실: 0.073626 최선의 손실: 0.073626 정확도: 98.32% 4 검증 세트 손실: 0.073859 최선의 손실: 0.073626 정확도: 97.81% 5 검증 세트 손실: 0.105897 최선의 손실: 0.073626 정확도: 97.97% 6 검증 세트 손실: 0.106661 최선의 손실: 0.073626 정확도: 97.89% 7 검증 세트 손실: 0.072088 최선의 손실: 0.072088 정확도: 98.36% 8 검증 세트 손실: 1.146387 최선의 손실: 0.072088 정확도: 70.09% 9 검증 세트 손실: 0.763145 최선의 손실: 0.072088 정확도: 60.05% 10 검증 세트 손실: 0.569408 최선의 손실: 0.072088 정확도: 75.33% 11 검증 세트 손실: 0.395834 최선의 손실: 0.072088 정확도: 92.65% 12 검증 세트 손실: 0.308160 최선의 손실: 0.072088 정확도: 94.29% 13 검증 세트 손실: 0.236218 최선의 손실: 0.072088 정확도: 94.84% 14 검증 세트 손실: 0.158785 최선의 손실: 0.072088 정확도: 96.68% 15 검증 세트 손실: 0.169971 최선의 손실: 0.072088 정확도: 96.76% 16 검증 세트 손실: 0.185309 최선의 손실: 0.072088 정확도: 96.56% 17 검증 세트 손실: 0.134912 최선의 손실: 0.072088 정확도: 97.19% 18 검증 세트 손실: 2.964033 최선의 손실: 0.072088 정확도: 97.03% 19 검증 세트 손실: 1.624971 최선의 손실: 0.072088 정확도: 19.08% 20 검증 세트 손실: 1.611176 최선의 손실: 0.072088 정확도: 22.01% 21 검증 세트 손실: 1.646257 최선의 손실: 0.072088 정확도: 22.01% 22 검증 세트 손실: 1.611969 최선의 손실: 0.072088 정확도: 22.01% 23 검증 세트 손실: 1.621561 최선의 손실: 0.072088 정확도: 22.01% 24 검증 세트 손실: 1.648557 최선의 손실: 0.072088 정확도: 20.91% 25 검증 세트 손실: 1.614910 최선의 손실: 0.072088 정확도: 19.27% 26 검증 세트 손실: 1.612574 최선의 손실: 0.072088 정확도: 20.91% 27 검증 세트 손실: 1.631204 최선의 손실: 0.072088 정확도: 18.73% 28 검증 세트 손실: 1.629593 최선의 손실: 0.072088 정확도: 19.08% 조기 종료! [CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation=<function elu at 0x123d02048>, total= 7.1s [CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.105743 최선의 손실: 0.105743 정확도: 96.99% 1 검증 세트 손실: 0.116263 최선의 손실: 0.105743 정확도: 96.68% 2 검증 세트 손실: 0.103485 최선의 손실: 0.103485 정확도: 97.42% 3 검증 세트 손실: 0.183595 최선의 손실: 0.103485 정확도: 96.25% 4 검증 세트 손실: 0.125785 최선의 손실: 0.103485 정확도: 96.56% 5 검증 세트 손실: 0.111402 최선의 손실: 0.103485 정확도: 97.30% 6 검증 세트 손실: 0.098863 최선의 손실: 0.098863 정확도: 97.38% 7 검증 세트 손실: 0.121989 최선의 손실: 0.098863 정확도: 96.72% 8 검증 세트 손실: 0.114620 최선의 손실: 0.098863 정확도: 96.76% 9 검증 세트 손실: 0.129439 최선의 손실: 0.098863 정확도: 97.11% 10 검증 세트 손실: 0.121135 최선의 손실: 0.098863 정확도: 97.38% 11 검증 세트 손실: 0.133581 최선의 손실: 0.098863 정확도: 96.56% 12 검증 세트 손실: 0.096548 최선의 손실: 0.096548 정확도: 97.54% 13 검증 세트 손실: 0.107128 최선의 손실: 0.096548 정확도: 97.11% 14 검증 세트 손실: 0.122785 최선의 손실: 0.096548 정확도: 96.21% 15 검증 세트 손실: 0.097287 최선의 손실: 0.096548 정확도: 97.97% 16 검증 세트 손실: 0.113411 최선의 손실: 0.096548 정확도: 97.11% 17 검증 세트 손실: 0.112052 최선의 손실: 0.096548 정확도: 97.65% 18 검증 세트 손실: 0.112031 최선의 손실: 0.096548 정확도: 97.38% 19 검증 세트 손실: 0.122317 최선의 손실: 0.096548 정확도: 97.26% 20 검증 세트 손실: 0.142211 최선의 손실: 0.096548 정확도: 97.03% 21 검증 세트 손실: 0.109385 최선의 손실: 0.096548 정확도: 97.38% 22 검증 세트 손실: 0.127752 최선의 손실: 0.096548 정확도: 96.64% 23 검증 세트 손실: 0.182689 최선의 손실: 0.096548 정확도: 95.19% 24 검증 세트 손실: 0.119495 최선의 손실: 0.096548 정확도: 96.64% 25 검증 세트 손실: 0.110089 최선의 손실: 0.096548 정확도: 97.54% 26 검증 세트 손실: 0.134681 최선의 손실: 0.096548 정확도: 96.87% 27 검증 세트 손실: 0.128831 최선의 손실: 0.096548 정확도: 97.42% 28 검증 세트 손실: 0.134234 최선의 손실: 0.096548 정확도: 97.19% 29 검증 세트 손실: 0.142776 최선의 손실: 0.096548 정확도: 97.42% 30 검증 세트 손실: 0.153344 최선의 손실: 0.096548 정확도: 95.62% 31 검증 세트 손실: 0.125578 최선의 손실: 0.096548 정확도: 97.26% 32 검증 세트 손실: 0.135149 최선의 손실: 0.096548 정확도: 97.65% 33 검증 세트 손실: 0.144824 최선의 손실: 0.096548 정확도: 97.26% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation=<function relu at 0x123c8f598>, total= 5.2s [CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.205076 최선의 손실: 0.205076 정확도: 94.41% 1 검증 세트 손실: 0.174277 최선의 손실: 0.174277 정확도: 95.47% 2 검증 세트 손실: 0.168780 최선의 손실: 0.168780 정확도: 95.35% 3 검증 세트 손실: 0.192485 최선의 손실: 0.168780 정확도: 94.53% 4 검증 세트 손실: 0.141471 최선의 손실: 0.141471 정확도: 96.36% 5 검증 세트 손실: 0.128284 최선의 손실: 0.128284 정확도: 96.60% 6 검증 세트 손실: 0.120595 최선의 손실: 0.120595 정확도: 96.64% 7 검증 세트 손실: 0.143064 최선의 손실: 0.120595 정확도: 96.25% 8 검증 세트 손실: 0.124059 최선의 손실: 0.120595 정확도: 96.79% 9 검증 세트 손실: 0.154383 최선의 손실: 0.120595 정확도: 95.50% 10 검증 세트 손실: 0.132231 최선의 손실: 0.120595 정확도: 96.64% 11 검증 세트 손실: 0.122464 최선의 손실: 0.120595 정확도: 96.52% 12 검증 세트 손실: 0.130491 최선의 손실: 0.120595 정확도: 96.68% 13 검증 세트 손실: 0.131807 최선의 손실: 0.120595 정확도: 96.72% 14 검증 세트 손실: 0.137731 최선의 손실: 0.120595 정확도: 96.79% 15 검증 세트 손실: 0.119769 최선의 손실: 0.119769 정확도: 96.91% 16 검증 세트 손실: 0.165788 최선의 손실: 0.119769 정확도: 95.74% 17 검증 세트 손실: 0.129964 최선의 손실: 0.119769 정확도: 96.56% 18 검증 세트 손실: 0.127763 최선의 손실: 0.119769 정확도: 96.48% 19 검증 세트 손실: 0.154035 최선의 손실: 0.119769 정확도: 96.29% 20 검증 세트 손실: 0.164220 최선의 손실: 0.119769 정확도: 96.13% 21 검증 세트 손실: 0.142537 최선의 손실: 0.119769 정확도: 96.56% 22 검증 세트 손실: 0.125411 최선의 손실: 0.119769 정확도: 96.87% 23 검증 세트 손실: 0.139174 최선의 손실: 0.119769 정확도: 96.95% 24 검증 세트 손실: 0.145525 최선의 손실: 0.119769 정확도: 96.36% 25 검증 세트 손실: 0.150321 최선의 손실: 0.119769 정확도: 95.97% 26 검증 세트 손실: 0.128104 최선의 손실: 0.119769 정확도: 96.25% 27 검증 세트 손실: 0.119743 최선의 손실: 0.119743 정확도: 96.56% 28 검증 세트 손실: 0.145997 최선의 손실: 0.119743 정확도: 95.93% 29 검증 세트 손실: 0.134477 최선의 손실: 0.119743 정확도: 96.29% 30 검증 세트 손실: 0.137451 최선의 손실: 0.119743 정확도: 96.48% 31 검증 세트 손실: 0.141898 최선의 손실: 0.119743 정확도: 96.52% 32 검증 세트 손실: 0.152452 최선의 손실: 0.119743 정확도: 96.68% 33 검증 세트 손실: 0.146290 최선의 손실: 0.119743 정확도: 95.78% 34 검증 세트 손실: 0.139645 최선의 손실: 0.119743 정확도: 96.76% 35 검증 세트 손실: 0.138295 최선의 손실: 0.119743 정확도: 96.60% 36 검증 세트 손실: 0.160898 최선의 손실: 0.119743 정확도: 96.21% 37 검증 세트 손실: 0.134491 최선의 손실: 0.119743 정확도: 96.56% 38 검증 세트 손실: 0.159136 최선의 손실: 0.119743 정확도: 96.79% 39 검증 세트 손실: 0.148609 최선의 손실: 0.119743 정확도: 96.72% 40 검증 세트 손실: 0.143836 최선의 손실: 0.119743 정확도: 96.64% 41 검증 세트 손실: 0.213014 최선의 손실: 0.119743 정확도: 96.40% 42 검증 세트 손실: 0.157904 최선의 손실: 0.119743 정확도: 95.97% 43 검증 세트 손실: 0.148643 최선의 손실: 0.119743 정확도: 96.60% 44 검증 세트 손실: 0.143551 최선의 손실: 0.119743 정확도: 96.60% 45 검증 세트 손실: 0.184292 최선의 손실: 0.119743 정확도: 95.82% 46 검증 세트 손실: 0.174396 최선의 손실: 0.119743 정확도: 96.56% 47 검증 세트 손실: 0.141897 최선의 손실: 0.119743 정확도: 96.33% 48 검증 세트 손실: 0.227542 최선의 손실: 0.119743 정확도: 96.52% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation=<function relu at 0x123c8f598>, total= 7.1s [CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.126185 최선의 손실: 0.126185 정확도: 96.40% 1 검증 세트 손실: 0.117939 최선의 손실: 0.117939 정확도: 96.95% 2 검증 세트 손실: 0.115458 최선의 손실: 0.115458 정확도: 96.83% 3 검증 세트 손실: 0.109968 최선의 손실: 0.109968 정확도: 96.99% 4 검증 세트 손실: 0.127888 최선의 손실: 0.109968 정확도: 96.05% 5 검증 세트 손실: 0.118999 최선의 손실: 0.109968 정확도: 96.36% 6 검증 세트 손실: 0.108552 최선의 손실: 0.108552 정확도: 97.26% 7 검증 세트 손실: 0.103871 최선의 손실: 0.103871 정확도: 97.22% 8 검증 세트 손실: 0.095695 최선의 손실: 0.095695 정확도: 97.46% 9 검증 세트 손실: 0.137980 최선의 손실: 0.095695 정확도: 96.52% 10 검증 세트 손실: 0.115794 최선의 손실: 0.095695 정확도: 97.26% 11 검증 세트 손실: 0.102390 최선의 손실: 0.095695 정확도: 97.38% 12 검증 세트 손실: 0.102618 최선의 손실: 0.095695 정확도: 97.07% 13 검증 세트 손실: 0.107189 최선의 손실: 0.095695 정확도: 97.26% 14 검증 세트 손실: 0.109416 최선의 손실: 0.095695 정확도: 97.03% 15 검증 세트 손실: 0.138833 최선의 손실: 0.095695 정확도: 96.25% 16 검증 세트 손실: 0.114871 최선의 손실: 0.095695 정확도: 97.30% 17 검증 세트 손실: 0.142912 최선의 손실: 0.095695 정확도: 96.72% 18 검증 세트 손실: 0.101320 최선의 손실: 0.095695 정확도: 97.54% 19 검증 세트 손실: 0.137684 최선의 손실: 0.095695 정확도: 96.44% 20 검증 세트 손실: 0.109305 최선의 손실: 0.095695 정확도: 97.42% 21 검증 세트 손실: 0.104129 최선의 손실: 0.095695 정확도: 97.22% 22 검증 세트 손실: 0.098553 최선의 손실: 0.095695 정확도: 97.58% 23 검증 세트 손실: 0.176192 최선의 손실: 0.095695 정확도: 97.58% 24 검증 세트 손실: 0.093078 최선의 손실: 0.093078 정확도: 97.42% 25 검증 세트 손실: 0.133382 최선의 손실: 0.093078 정확도: 97.07% 26 검증 세트 손실: 0.110730 최선의 손실: 0.093078 정확도: 97.38% 27 검증 세트 손실: 0.113226 최선의 손실: 0.093078 정확도: 97.42% 28 검증 세트 손실: 0.102510 최선의 손실: 0.093078 정확도: 97.34% 29 검증 세트 손실: 0.116967 최선의 손실: 0.093078 정확도: 96.99% 30 검증 세트 손실: 0.150817 최선의 손실: 0.093078 정확도: 96.60% 31 검증 세트 손실: 0.133438 최선의 손실: 0.093078 정확도: 96.99% 32 검증 세트 손실: 0.121535 최선의 손실: 0.093078 정확도: 97.19% 33 검증 세트 손실: 0.114516 최선의 손실: 0.093078 정확도: 97.22% 34 검증 세트 손실: 0.110602 최선의 손실: 0.093078 정확도: 97.46% 35 검증 세트 손실: 0.138772 최선의 손실: 0.093078 정확도: 96.79% 36 검증 세트 손실: 0.163883 최선의 손실: 0.093078 정확도: 96.60% 37 검증 세트 손실: 0.125286 최선의 손실: 0.093078 정확도: 97.42% 38 검증 세트 손실: 0.121326 최선의 손실: 0.093078 정확도: 97.07% 39 검증 세트 손실: 0.258778 최선의 손실: 0.093078 정확도: 92.46% 40 검증 세트 손실: 0.205693 최선의 손실: 0.093078 정확도: 94.57% 41 검증 세트 손실: 0.129027 최선의 손실: 0.093078 정확도: 96.76% 42 검증 세트 손실: 0.146549 최선의 손실: 0.093078 정확도: 97.30% 43 검증 세트 손실: 0.128282 최선의 손실: 0.093078 정확도: 97.50% 44 검증 세트 손실: 0.125013 최선의 손실: 0.093078 정확도: 97.50% 45 검증 세트 손실: 0.113898 최선의 손실: 0.093078 정확도: 97.11% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation=<function relu at 0x123c8f598>, total= 6.8s [CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.264636 최선의 손실: 0.264636 정확도: 93.35% 1 검증 세트 손실: 0.186351 최선의 손실: 0.186351 정확도: 94.72% 2 검증 세트 손실: 0.165348 최선의 손실: 0.165348 정확도: 95.07% 3 검증 세트 손실: 0.223433 최선의 손실: 0.165348 정확도: 93.51% 4 검증 세트 손실: 0.149012 최선의 손실: 0.149012 정확도: 96.01% 5 검증 세트 손실: 0.433116 최선의 손실: 0.149012 정확도: 74.55% 6 검증 세트 손실: 0.262765 최선의 손실: 0.149012 정확도: 93.90% 7 검증 세트 손실: 0.258494 최선의 손실: 0.149012 정확도: 92.26% 8 검증 세트 손실: 0.285287 최선의 손실: 0.149012 정확도: 92.69% 9 검증 세트 손실: 0.569811 최선의 손실: 0.149012 정확도: 77.52% 10 검증 세트 손실: 1.246586 최선의 손실: 0.149012 정확도: 39.17% 11 검증 세트 손실: 1.172505 최선의 손실: 0.149012 정확도: 40.38% 12 검증 세트 손실: 1.187207 최선의 손실: 0.149012 정확도: 39.84% 13 검증 세트 손실: 1.171016 최선의 손실: 0.149012 정확도: 40.54% 14 검증 세트 손실: 1.184517 최선의 손실: 0.149012 정확도: 40.42% 15 검증 세트 손실: 1.169828 최선의 손실: 0.149012 정확도: 40.15% 16 검증 세트 손실: 1.165943 최선의 손실: 0.149012 정확도: 40.27% 17 검증 세트 손실: 1.190311 최선의 손실: 0.149012 정확도: 37.26% 18 검증 세트 손실: 1.171414 최선의 손실: 0.149012 정확도: 40.38% 19 검증 세트 손실: 1.177632 최선의 손실: 0.149012 정확도: 41.91% 20 검증 세트 손실: 0.974783 최선의 손실: 0.149012 정확도: 51.25% 21 검증 세트 손실: 0.879485 최선의 손실: 0.149012 정확도: 57.82% 22 검증 세트 손실: 0.834897 최선의 손실: 0.149012 정확도: 58.01% 23 검증 세트 손실: 0.837971 최선의 손실: 0.149012 정확도: 54.03% 24 검증 세트 손실: 0.864233 최선의 손실: 0.149012 정확도: 57.04% 25 검증 세트 손실: 0.831966 최선의 손실: 0.149012 정확도: 57.47% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation=<function relu at 0x123c8f598>, total= 29.1s [CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.158450 최선의 손실: 0.158450 정확도: 96.09% 1 검증 세트 손실: 0.142685 최선의 손실: 0.142685 정확도: 97.38% 2 검증 세트 손실: 0.380221 최선의 손실: 0.142685 정확도: 88.70% 3 검증 세트 손실: 0.262168 최선의 손실: 0.142685 정확도: 93.63% 4 검증 세트 손실: 0.237638 최선의 손실: 0.142685 정확도: 95.15% 5 검증 세트 손실: 0.157739 최선의 손실: 0.142685 정확도: 96.21% 6 검증 세트 손실: 0.293933 최선의 손실: 0.142685 정확도: 93.94% 7 검증 세트 손실: 0.212199 최선의 손실: 0.142685 정확도: 95.47% 8 검증 세트 손실: 0.252865 최선의 손실: 0.142685 정확도: 94.57% 9 검증 세트 손실: 0.162139 최선의 손실: 0.142685 정확도: 95.86% 10 검증 세트 손실: 0.131315 최선의 손실: 0.131315 정확도: 96.21% 11 검증 세트 손실: 0.149162 최선의 손실: 0.131315 정확도: 96.52% 12 검증 세트 손실: 0.620762 최선의 손실: 0.131315 정확도: 79.40% 13 검증 세트 손실: 0.660029 최선의 손실: 0.131315 정확도: 81.82% 14 검증 세트 손실: 1.210516 최선의 손실: 0.131315 정확도: 40.70% 15 검증 세트 손실: 1.200010 최선의 손실: 0.131315 정확도: 37.37% 16 검증 세트 손실: 1.265209 최선의 손실: 0.131315 정확도: 34.44% 17 검증 세트 손실: 1.062553 최선의 손실: 0.131315 정확도: 52.58% 18 검증 세트 손실: 1.246230 최선의 손실: 0.131315 정확도: 38.15% 19 검증 세트 손실: 0.958665 최선의 손실: 0.131315 정확도: 55.94% 20 검증 세트 손실: 0.909453 최선의 손실: 0.131315 정확도: 56.45% 21 검증 세트 손실: 0.928238 최선의 손실: 0.131315 정확도: 56.45% 22 검증 세트 손실: 0.915755 최선의 손실: 0.131315 정확도: 56.45% 23 검증 세트 손실: 0.918962 최선의 손실: 0.131315 정확도: 56.45% 24 검증 세트 손실: 0.911212 최선의 손실: 0.131315 정확도: 57.04% 25 검증 세트 손실: 0.908785 최선의 손실: 0.131315 정확도: 57.04% 26 검증 세트 손실: 0.912523 최선의 손실: 0.131315 정확도: 56.45% 27 검증 세트 손실: 0.914648 최선의 손실: 0.131315 정확도: 56.45% 28 검증 세트 손실: 0.934658 최선의 손실: 0.131315 정확도: 56.45% 29 검증 세트 손실: 0.910655 최선의 손실: 0.131315 정확도: 56.45% 30 검증 세트 손실: 0.906072 최선의 손실: 0.131315 정확도: 57.04% 31 검증 세트 손실: 0.910091 최선의 손실: 0.131315 정확도: 56.45% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation=<function relu at 0x123c8f598>, total= 35.2s [CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.140277 최선의 손실: 0.140277 정확도: 95.82% 1 검증 세트 손실: 1.571514 최선의 손실: 0.140277 정확도: 28.03% 2 검증 세트 손실: 1.613436 최선의 손실: 0.140277 정확도: 19.27% 3 검증 세트 손실: 1.618725 최선의 손실: 0.140277 정확도: 22.01% 4 검증 세트 손실: 1.608357 최선의 손실: 0.140277 정확도: 22.01% 5 검증 세트 손실: 1.612532 최선의 손실: 0.140277 정확도: 22.01% 6 검증 세트 손실: 1.613941 최선의 손실: 0.140277 정확도: 19.27% 7 검증 세트 손실: 1.612980 최선의 손실: 0.140277 정확도: 22.01% 8 검증 세트 손실: 1.611470 최선의 손실: 0.140277 정확도: 22.01% 9 검증 세트 손실: 1.610273 최선의 손실: 0.140277 정확도: 22.01% 10 검증 세트 손실: 1.610119 최선의 손실: 0.140277 정확도: 22.01% 11 검증 세트 손실: 1.615093 최선의 손실: 0.140277 정확도: 22.01% 12 검증 세트 손실: 1.609143 최선의 손실: 0.140277 정확도: 20.91% 13 검증 세트 손실: 1.612670 최선의 손실: 0.140277 정확도: 19.27% 14 검증 세트 손실: 1.610129 최선의 손실: 0.140277 정확도: 20.91% 15 검증 세트 손실: 1.611328 최선의 손실: 0.140277 정확도: 22.01% 16 검증 세트 손실: 1.620622 최선의 손실: 0.140277 정확도: 22.01% 17 검증 세트 손실: 1.614156 최선의 손실: 0.140277 정확도: 19.08% 18 검증 세트 손실: 1.607981 최선의 손실: 0.140277 정확도: 22.01% 19 검증 세트 손실: 1.610185 최선의 손실: 0.140277 정확도: 19.08% 20 검증 세트 손실: 1.612588 최선의 손실: 0.140277 정확도: 19.27% 21 검증 세트 손실: 1.620057 최선의 손실: 0.140277 정확도: 22.01% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation=<function relu at 0x123c8f598>, total= 24.6s [CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.072833 최선의 손실: 0.072833 정확도: 98.08% 1 검증 세트 손실: 0.076418 최선의 손실: 0.072833 정확도: 97.97% 2 검증 세트 손실: 0.077608 최선의 손실: 0.072833 정확도: 98.08% 3 검증 세트 손실: 0.095008 최선의 손실: 0.072833 정확도: 97.73% 4 검증 세트 손실: 0.104744 최선의 손실: 0.072833 정확도: 97.77% 5 검증 세트 손실: 0.105473 최선의 손실: 0.072833 정확도: 98.16% 6 검증 세트 손실: 0.062860 최선의 손실: 0.062860 정확도: 98.32% 7 검증 세트 손실: 0.085528 최선의 손실: 0.062860 정확도: 98.36% 8 검증 세트 손실: 0.076974 최선의 손실: 0.062860 정확도: 98.28% 9 검증 세트 손실: 0.085123 최선의 손실: 0.062860 정확도: 98.24% 10 검증 세트 손실: 0.554614 최선의 손실: 0.062860 정확도: 87.76% 11 검증 세트 손실: 0.120995 최선의 손실: 0.062860 정확도: 98.01% 12 검증 세트 손실: 0.083828 최선의 손실: 0.062860 정확도: 98.36% 13 검증 세트 손실: 0.081963 최선의 손실: 0.062860 정확도: 98.48% 14 검증 세트 손실: 0.085729 최선의 손실: 0.062860 정확도: 98.59% 15 검증 세트 손실: 0.085307 최선의 손실: 0.062860 정확도: 98.75% 16 검증 세트 손실: 0.069851 최선의 손실: 0.062860 정확도: 98.87% 17 검증 세트 손실: 0.089594 최선의 손실: 0.062860 정확도: 98.83% 18 검증 세트 손실: 0.101560 최선의 손실: 0.062860 정확도: 98.98% 19 검증 세트 손실: 0.117430 최선의 손실: 0.062860 정확도: 98.28% 20 검증 세트 손실: 0.073279 최선의 손실: 0.062860 정확도: 98.83% 21 검증 세트 손실: 0.103664 최선의 손실: 0.062860 정확도: 98.75% 22 검증 세트 손실: 0.100924 최선의 손실: 0.062860 정확도: 98.87% 23 검증 세트 손실: 0.091810 최선의 손실: 0.062860 정확도: 98.48% 24 검증 세트 손실: 0.998135 최선의 손실: 0.062860 정확도: 64.78% 25 검증 세트 손실: 0.565008 최선의 손실: 0.062860 정확도: 91.01% 26 검증 세트 손실: 0.521373 최선의 손실: 0.062860 정확도: 75.06% 27 검증 세트 손실: 0.470369 최선의 손실: 0.062860 정확도: 77.44% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation=<function relu at 0x123c8f598>, total= 11.7s [CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.096605 최선의 손실: 0.096605 정확도: 97.69% 1 검증 세트 손실: 0.076199 최선의 손실: 0.076199 정확도: 97.93% 2 검증 세트 손실: 0.078768 최선의 손실: 0.076199 정확도: 97.69% 3 검증 세트 손실: 0.056607 최선의 손실: 0.056607 정확도: 98.40% 4 검증 세트 손실: 0.113674 최선의 손실: 0.056607 정확도: 98.36% 5 검증 세트 손실: 0.068552 최선의 손실: 0.056607 정확도: 98.32% 6 검증 세트 손실: 0.065105 최선의 손실: 0.056607 정확도: 97.97% 7 검증 세트 손실: 0.096096 최선의 손실: 0.056607 정확도: 98.59% 8 검증 세트 손실: 0.037631 최선의 손실: 0.037631 정확도: 98.87% 9 검증 세트 손실: 0.057820 최선의 손실: 0.037631 정확도: 98.71% 10 검증 세트 손실: 0.053147 최선의 손실: 0.037631 정확도: 98.48% 11 검증 세트 손실: 0.044881 최선의 손실: 0.037631 정확도: 98.79% 12 검증 세트 손실: 0.291436 최선의 손실: 0.037631 정확도: 96.44% 13 검증 세트 손실: 0.143386 최선의 손실: 0.037631 정확도: 98.05% 14 검증 세트 손실: 0.093490 최선의 손실: 0.037631 정확도: 98.48% 15 검증 세트 손실: 0.058400 최선의 손실: 0.037631 정확도: 98.63% 16 검증 세트 손실: 0.065269 최선의 손실: 0.037631 정확도: 98.71% 17 검증 세트 손실: 0.095075 최선의 손실: 0.037631 정확도: 97.62% 18 검증 세트 손실: 0.070456 최선의 손실: 0.037631 정확도: 98.67% 19 검증 세트 손실: 0.158652 최선의 손실: 0.037631 정확도: 97.97% 20 검증 세트 손실: 0.122303 최선의 손실: 0.037631 정확도: 97.19% 21 검증 세트 손실: 0.095261 최선의 손실: 0.037631 정확도: 98.08% 22 검증 세트 손실: 0.075873 최선의 손실: 0.037631 정확도: 98.28% 23 검증 세트 손실: 0.101343 최선의 손실: 0.037631 정확도: 98.63% 24 검증 세트 손실: 0.206738 최선의 손실: 0.037631 정확도: 97.11% 25 검증 세트 손실: 0.188438 최선의 손실: 0.037631 정확도: 97.58% 26 검증 세트 손실: 0.117095 최선의 손실: 0.037631 정확도: 98.20% 27 검증 세트 손실: 0.099175 최선의 손실: 0.037631 정확도: 98.83% 28 검증 세트 손실: 0.159694 최선의 손실: 0.037631 정확도: 97.93% 29 검증 세트 손실: 0.070927 최선의 손실: 0.037631 정확도: 98.36% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation=<function relu at 0x123c8f598>, total= 12.1s [CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.081258 최선의 손실: 0.081258 정확도: 97.89% 1 검증 세트 손실: 0.067638 최선의 손실: 0.067638 정확도: 98.36% 2 검증 세트 손실: 0.113702 최선의 손실: 0.067638 정확도: 97.46% 3 검증 세트 손실: 0.070572 최선의 손실: 0.067638 정확도: 98.48% 4 검증 세트 손실: 0.091244 최선의 손실: 0.067638 정확도: 98.24% 5 검증 세트 손실: 0.084833 최선의 손실: 0.067638 정확도: 98.40% 6 검증 세트 손실: 0.078447 최선의 손실: 0.067638 정확도: 98.48% 7 검증 세트 손실: 0.143845 최선의 손실: 0.067638 정확도: 97.46% 8 검증 세트 손실: 0.112540 최선의 손실: 0.067638 정확도: 97.81% 9 검증 세트 손실: 0.054460 최선의 손실: 0.054460 정확도: 98.63% 10 검증 세트 손실: 0.135176 최선의 손실: 0.054460 정확도: 98.40% 11 검증 세트 손실: 0.135728 최선의 손실: 0.054460 정확도: 97.54% 12 검증 세트 손실: 0.151691 최선의 손실: 0.054460 정확도: 96.83% 13 검증 세트 손실: 0.168533 최선의 손실: 0.054460 정확도: 98.05% 14 검증 세트 손실: 0.069865 최선의 손실: 0.054460 정확도: 98.20% 15 검증 세트 손실: 0.100028 최선의 손실: 0.054460 정확도: 98.40% 16 검증 세트 손실: 0.182748 최선의 손실: 0.054460 정확도: 98.20% 17 검증 세트 손실: 0.114434 최선의 손실: 0.054460 정확도: 98.01% 18 검증 세트 손실: 0.083578 최선의 손실: 0.054460 정확도: 98.48% 19 검증 세트 손실: 0.144671 최선의 손실: 0.054460 정확도: 98.55% 20 검증 세트 손실: 0.089629 최선의 손실: 0.054460 정확도: 98.83% 21 검증 세트 손실: 0.155098 최선의 손실: 0.054460 정확도: 98.28% 22 검증 세트 손실: 0.109119 최선의 손실: 0.054460 정확도: 97.30% 23 검증 세트 손실: 0.108499 최선의 손실: 0.054460 정확도: 98.40% 24 검증 세트 손실: 0.087259 최선의 손실: 0.054460 정확도: 98.75% 25 검증 세트 손실: 0.282182 최선의 손실: 0.054460 정확도: 98.55% 26 검증 세트 손실: 0.072217 최선의 손실: 0.054460 정확도: 98.63% 27 검증 세트 손실: 0.121661 최선의 손실: 0.054460 정확도: 98.71% 28 검증 세트 손실: 0.088180 최선의 손실: 0.054460 정확도: 98.71% 29 검증 세트 손실: 0.108987 최선의 손실: 0.054460 정확도: 98.83% 30 검증 세트 손실: 0.110945 최선의 손실: 0.054460 정확도: 98.79% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation=<function relu at 0x123c8f598>, total= 12.6s [CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.237504 최선의 손실: 0.237504 정확도: 92.81% 1 검증 세트 손실: 0.253722 최선의 손실: 0.237504 정확도: 93.86% 2 검증 세트 손실: 0.213520 최선의 손실: 0.213520 정확도: 95.11% 3 검증 세트 손실: 0.375836 최선의 손실: 0.213520 정확도: 94.80% 4 검증 세트 손실: 0.159167 최선의 손실: 0.159167 정확도: 96.36% 5 검증 세트 손실: 1.189576 최선의 손실: 0.159167 정확도: 39.60% 6 검증 세트 손실: 1.609610 최선의 손실: 0.159167 정확도: 22.01% 7 검증 세트 손실: 1.612618 최선의 손실: 0.159167 정확도: 22.01% 8 검증 세트 손실: 1.617308 최선의 손실: 0.159167 정확도: 22.01% 9 검증 세트 손실: 1.609607 최선의 손실: 0.159167 정확도: 22.01% 10 검증 세트 손실: 1.607876 최선의 손실: 0.159167 정확도: 22.01% 11 검증 세트 손실: 1.610822 최선의 손실: 0.159167 정확도: 22.01% 12 검증 세트 손실: 1.607831 최선의 손실: 0.159167 정확도: 22.01% 13 검증 세트 손실: 1.611381 최선의 손실: 0.159167 정확도: 22.01% 14 검증 세트 손실: 1.609324 최선의 손실: 0.159167 정확도: 22.01% 15 검증 세트 손실: 1.609167 최선의 손실: 0.159167 정확도: 22.01% 16 검증 세트 손실: 1.608322 최선의 손실: 0.159167 정확도: 22.01% 17 검증 세트 손실: 1.608857 최선의 손실: 0.159167 정확도: 19.27% 18 검증 세트 손실: 1.612011 최선의 손실: 0.159167 정확도: 22.01% 19 검증 세트 손실: 1.609180 최선의 손실: 0.159167 정확도: 19.08% 20 검증 세트 손실: 1.608319 최선의 손실: 0.159167 정확도: 20.91% 21 검증 세트 손실: 1.613889 최선의 손실: 0.159167 정확도: 22.01% 22 검증 세트 손실: 1.611073 최선의 손실: 0.159167 정확도: 19.27% 23 검증 세트 손실: 1.611236 최선의 손실: 0.159167 정확도: 19.27% 24 검증 세트 손실: 1.612248 최선의 손실: 0.159167 정확도: 22.01% 25 검증 세트 손실: 1.610608 최선의 손실: 0.159167 정확도: 22.01% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation=<function relu at 0x123c8f598>, total= 45.7s [CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.192557 최선의 손실: 0.192557 정확도: 94.68% 1 검증 세트 손실: 0.337314 최선의 손실: 0.192557 정확도: 84.75% 2 검증 세트 손실: 0.153655 최선의 손실: 0.153655 정확도: 96.13% 3 검증 세트 손실: 0.185161 최선의 손실: 0.153655 정확도: 96.05% 4 검증 세트 손실: 0.299000 최선의 손실: 0.153655 정확도: 94.41% 5 검증 세트 손실: 0.466217 최선의 손실: 0.153655 정확도: 84.48% 6 검증 세트 손실: 0.838919 최선의 손실: 0.153655 정확도: 57.58% 7 검증 세트 손실: 1.072084 최선의 손실: 0.153655 정확도: 48.24% 8 검증 세트 손실: 1.276995 최선의 손실: 0.153655 정확도: 58.99% 9 검증 세트 손실: 0.796905 최선의 손실: 0.153655 정확도: 59.93% 10 검증 세트 손실: 0.815892 최선의 손실: 0.153655 정확도: 57.74% 11 검증 세트 손실: 0.756496 최선의 손실: 0.153655 정확도: 59.97% 12 검증 세트 손실: 1.185057 최선의 손실: 0.153655 정확도: 41.75% 13 검증 세트 손실: 0.942936 최선의 손실: 0.153655 정확도: 52.46% 14 검증 세트 손실: 5.149955 최선의 손실: 0.153655 정확도: 58.17% 15 검증 세트 손실: 1.182839 최선의 손실: 0.153655 정확도: 42.38% 16 검증 세트 손실: 0.885783 최선의 손실: 0.153655 정확도: 54.61% 17 검증 세트 손실: 0.874673 최선의 손실: 0.153655 정확도: 58.21% 18 검증 세트 손실: 0.929796 최선의 손실: 0.153655 정확도: 58.25% 19 검증 세트 손실: 0.971785 최선의 손실: 0.153655 정확도: 53.91% 20 검증 세트 손실: 0.808871 최선의 손실: 0.153655 정확도: 58.33% 21 검증 세트 손실: 1.274835 최선의 손실: 0.153655 정확도: 39.84% 22 검증 세트 손실: 1.216759 최선의 손실: 0.153655 정확도: 40.11% 23 검증 세트 손실: 1.340694 최선의 손실: 0.153655 정확도: 34.75% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation=<function relu at 0x123c8f598>, total= 42.3s [CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.141905 최선의 손실: 0.141905 정확도: 96.05% 1 검증 세트 손실: 0.431699 최선의 손실: 0.141905 정확도: 88.82% 2 검증 세트 손실: 0.165552 최선의 손실: 0.141905 정확도: 96.36% 3 검증 세트 손실: 0.250238 최선의 손실: 0.141905 정확도: 96.33% 4 검증 세트 손실: 0.334265 최선의 손실: 0.141905 정확도: 96.56% 5 검증 세트 손실: 0.484541 최선의 손실: 0.141905 정확도: 75.96% 6 검증 세트 손실: 0.605590 최선의 손실: 0.141905 정확도: 76.08% 7 검증 세트 손실: 0.419722 최선의 손실: 0.141905 정확도: 76.15% 8 검증 세트 손실: 0.518928 최선의 손실: 0.141905 정확도: 78.23% 9 검증 세트 손실: 0.501273 최선의 손실: 0.141905 정확도: 75.88% 10 검증 세트 손실: 0.319550 최선의 손실: 0.141905 정확도: 90.97% 11 검증 세트 손실: 0.214781 최선의 손실: 0.141905 정확도: 94.53% 12 검증 세트 손실: 0.214581 최선의 손실: 0.141905 정확도: 95.50% 13 검증 세트 손실: 0.222001 최선의 손실: 0.141905 정확도: 94.45% 14 검증 세트 손실: 0.573963 최선의 손실: 0.141905 정확도: 78.03% 15 검증 세트 손실: 0.452551 최선의 손실: 0.141905 정확도: 78.69% 16 검증 세트 손실: 0.381256 최선의 손실: 0.141905 정확도: 88.94% 17 검증 세트 손실: 0.293390 최선의 손실: 0.141905 정확도: 93.39% 18 검증 세트 손실: 0.293501 최선의 손실: 0.141905 정확도: 93.75% 19 검증 세트 손실: 0.553910 최선의 손실: 0.141905 정확도: 73.92% 20 검증 세트 손실: 0.456026 최선의 손실: 0.141905 정확도: 80.88% 21 검증 세트 손실: 0.600618 최선의 손실: 0.141905 정확도: 71.70% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation=<function relu at 0x123c8f598>, total= 39.5s [CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 45.690540 최선의 손실: 45.690540 정확도: 72.40% 1 검증 세트 손실: 8.586685 최선의 손실: 8.586685 정확도: 92.42% 2 검증 세트 손실: 2.564647 최선의 손실: 2.564647 정확도: 93.47% 3 검증 세트 손실: 1.384586 최선의 손실: 1.384586 정확도: 94.64% 4 검증 세트 손실: 0.894299 최선의 손실: 0.894299 정확도: 95.47% 5 검증 세트 손실: 0.997636 최선의 손실: 0.894299 정확도: 95.82% 6 검증 세트 손실: 0.712140 최선의 손실: 0.712140 정확도: 95.70% 7 검증 세트 손실: 1.205050 최선의 손실: 0.712140 정확도: 93.32% 8 검증 세트 손실: 0.667174 최선의 손실: 0.667174 정확도: 95.74% 9 검증 세트 손실: 0.608686 최선의 손실: 0.608686 정확도: 95.23% 10 검증 세트 손실: 0.490941 최선의 손실: 0.490941 정확도: 95.97% 11 검증 세트 손실: 0.688654 최선의 손실: 0.490941 정확도: 94.10% 12 검증 세트 손실: 0.706593 최선의 손실: 0.490941 정확도: 95.62% 13 검증 세트 손실: 0.548018 최선의 손실: 0.490941 정확도: 95.39% 14 검증 세트 손실: 0.443440 최선의 손실: 0.443440 정확도: 97.19% 15 검증 세트 손실: 0.599133 최선의 손실: 0.443440 정확도: 95.11% 16 검증 세트 손실: 0.827208 최선의 손실: 0.443440 정확도: 97.07% 17 검증 세트 손실: 0.573690 최선의 손실: 0.443440 정확도: 97.03% 18 검증 세트 손실: 0.589057 최선의 손실: 0.443440 정확도: 95.78% 19 검증 세트 손실: 0.552507 최선의 손실: 0.443440 정확도: 95.47% 20 검증 세트 손실: 0.832255 최선의 손실: 0.443440 정확도: 96.91% 21 검증 세트 손실: 0.698180 최선의 손실: 0.443440 정확도: 96.33% 22 검증 세트 손실: 7.600459 최선의 손실: 0.443440 정확도: 80.34% 23 검증 세트 손실: 15976669.000000 최선의 손실: 0.443440 정확도: 19.27% 24 검증 세트 손실: 6314499.000000 최선의 손실: 0.443440 정확도: 35.18% 25 검증 세트 손실: 117601.453125 최선의 손실: 0.443440 정확도: 82.13% 26 검증 세트 손실: 32494.273438 최선의 손실: 0.443440 정확도: 90.11% 27 검증 세트 손실: 119831.320312 최선의 손실: 0.443440 정확도: 60.52% 28 검증 세트 손실: 27318.560547 최선의 손실: 0.443440 정확도: 92.89% 29 검증 세트 손실: 20101.980469 최선의 손실: 0.443440 정확도: 93.35% 30 검증 세트 손실: 15265.207031 최선의 손실: 0.443440 정확도: 93.39% 31 검증 세트 손실: 10664.848633 최선의 손실: 0.443440 정확도: 94.14% 32 검증 세트 손실: 10555.958984 최선의 손실: 0.443440 정확도: 94.02% 33 검증 세트 손실: 9703.069336 최선의 손실: 0.443440 정확도: 93.24% 34 검증 세트 손실: 20407.490234 최선의 손실: 0.443440 정확도: 86.83% 35 검증 세트 손실: 22655.769531 최선의 손실: 0.443440 정확도: 92.10% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 9.6s [CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 1682.907349 최선의 손실: 1682.907349 정확도: 34.48% 1 검증 세트 손실: 35.571655 최선의 손실: 35.571655 정확도: 91.91% 2 검증 세트 손실: 12.817197 최선의 손실: 12.817197 정확도: 91.36% 3 검증 세트 손실: 3.211879 최선의 손실: 3.211879 정확도: 95.78% 4 검증 세트 손실: 3.697721 최선의 손실: 3.211879 정확도: 96.09% 5 검증 세트 손실: 2.176692 최선의 손실: 2.176692 정확도: 96.76% 6 검증 세트 손실: 1.978483 최선의 손실: 1.978483 정확도: 95.86% 7 검증 세트 손실: 1.845485 최선의 손실: 1.845485 정확도: 95.93% 8 검증 세트 손실: 1.588125 최선의 손실: 1.588125 정확도: 95.43% 9 검증 세트 손실: 2.177126 최선의 손실: 1.588125 정확도: 96.29% 10 검증 세트 손실: 1.289978 최선의 손실: 1.289978 정확도: 96.48% 11 검증 세트 손실: 1.028396 최선의 손실: 1.028396 정확도: 96.40% 12 검증 세트 손실: 0.835185 최선의 손실: 0.835185 정확도: 96.99% 13 검증 세트 손실: 1.069302 최선의 손실: 0.835185 정확도: 95.07% 14 검증 세트 손실: 0.638271 최선의 손실: 0.638271 정확도: 97.03% 15 검증 세트 손실: 0.721173 최선의 손실: 0.638271 정확도: 96.76% 16 검증 세트 손실: 0.669858 최선의 손실: 0.638271 정확도: 96.68% 17 검증 세트 손실: 1.242139 최선의 손실: 0.638271 정확도: 95.11% 18 검증 세트 손실: 0.558694 최선의 손실: 0.558694 정확도: 97.50% 19 검증 세트 손실: 0.643416 최선의 손실: 0.558694 정확도: 97.07% 20 검증 세트 손실: 0.675814 최선의 손실: 0.558694 정확도: 96.56% 21 검증 세트 손실: 0.537898 최선의 손실: 0.537898 정확도: 97.03% 22 검증 세트 손실: 0.555394 최선의 손실: 0.537898 정확도: 97.26% 23 검증 세트 손실: 0.590005 최선의 손실: 0.537898 정확도: 97.34% 24 검증 세트 손실: 0.530249 최선의 손실: 0.530249 정확도: 97.15% 25 검증 세트 손실: 0.635802 최선의 손실: 0.530249 정확도: 96.68% 26 검증 세트 손실: 0.726232 최선의 손실: 0.530249 정확도: 96.64% 27 검증 세트 손실: 0.972125 최선의 손실: 0.530249 정확도: 97.03% 28 검증 세트 손실: 0.452461 최선의 손실: 0.452461 정확도: 97.30% 29 검증 세트 손실: 0.468064 최선의 손실: 0.452461 정확도: 97.46% 30 검증 세트 손실: 0.767977 최선의 손실: 0.452461 정확도: 96.40% 31 검증 세트 손실: 0.534565 최선의 손실: 0.452461 정확도: 97.26% 32 검증 세트 손실: 0.478812 최선의 손실: 0.452461 정확도: 97.58% 33 검증 세트 손실: 0.508675 최선의 손실: 0.452461 정확도: 97.42% 34 검증 세트 손실: 0.455510 최선의 손실: 0.452461 정확도: 97.69% 35 검증 세트 손실: 0.528956 최선의 손실: 0.452461 정확도: 97.03% 36 검증 세트 손실: 0.504120 최선의 손실: 0.452461 정확도: 97.65% 37 검증 세트 손실: 0.608696 최선의 손실: 0.452461 정확도: 96.83% 38 검증 세트 손실: 0.463724 최선의 손실: 0.452461 정확도: 97.54% 39 검증 세트 손실: 0.411981 최선의 손실: 0.411981 정확도: 97.46% 40 검증 세트 손실: 0.685275 최선의 손실: 0.411981 정확도: 97.58% 41 검증 세트 손실: 0.524181 최선의 손실: 0.411981 정확도: 97.42% 42 검증 세트 손실: 0.534037 최선의 손실: 0.411981 정확도: 97.62% 43 검증 세트 손실: 0.504678 최선의 손실: 0.411981 정확도: 97.85% 44 검증 세트 손실: 0.698485 최선의 손실: 0.411981 정확도: 97.42% 45 검증 세트 손실: 0.618052 최선의 손실: 0.411981 정확도: 97.50% 46 검증 세트 손실: 1.301946 최선의 손실: 0.411981 정확도: 96.60% 47 검증 세트 손실: 1.557726 최선의 손실: 0.411981 정확도: 97.42% 48 검증 세트 손실: 1.141447 최선의 손실: 0.411981 정확도: 97.65% 49 검증 세트 손실: 0.425282 최선의 손실: 0.411981 정확도: 97.69% 50 검증 세트 손실: 0.576950 최선의 손실: 0.411981 정확도: 97.62% 51 검증 세트 손실: 0.467965 최선의 손실: 0.411981 정확도: 97.50% 52 검증 세트 손실: 0.455337 최선의 손실: 0.411981 정확도: 97.77% 53 검증 세트 손실: 0.535262 최선의 손실: 0.411981 정확도: 97.30% 54 검증 세트 손실: 0.416705 최선의 손실: 0.411981 정확도: 97.50% 55 검증 세트 손실: 0.573478 최선의 손실: 0.411981 정확도: 97.69% 56 검증 세트 손실: 0.623463 최선의 손실: 0.411981 정확도: 97.50% 57 검증 세트 손실: 0.582539 최선의 손실: 0.411981 정확도: 97.77% 58 검증 세트 손실: 0.504571 최선의 손실: 0.411981 정확도: 96.72% 59 검증 세트 손실: 0.504926 최선의 손실: 0.411981 정확도: 97.77% 60 검증 세트 손실: 0.522374 최선의 손실: 0.411981 정확도: 97.81% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 15.6s [CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 188.104401 최선의 손실: 188.104401 정확도: 51.33% 1 검증 세트 손실: 24.077698 최선의 손실: 24.077698 정확도: 78.81% 2 검증 세트 손실: 3.152721 최선의 손실: 3.152721 정확도: 91.16% 3 검증 세트 손실: 1.400550 최선의 손실: 1.400550 정확도: 93.71% 4 검증 세트 손실: 4.878476 최선의 손실: 1.400550 정확도: 90.62% 5 검증 세트 손실: 1.604803 최선의 손실: 1.400550 정확도: 96.05% 6 검증 세트 손실: 1.155320 최선의 손실: 1.155320 정확도: 95.62% 7 검증 세트 손실: 0.880060 최선의 손실: 0.880060 정확도: 96.79% 8 검증 세트 손실: 1.590611 최선의 손실: 0.880060 정확도: 96.21% 9 검증 세트 손실: 1.554106 최선의 손실: 0.880060 정확도: 95.35% 10 검증 세트 손실: 1.626869 최선의 손실: 0.880060 정확도: 97.30% 11 검증 세트 손실: 1.512012 최선의 손실: 0.880060 정확도: 95.74% 12 검증 세트 손실: 4.587183 최선의 손실: 0.880060 정확도: 93.32% 13 검증 세트 손실: 0.555626 최선의 손실: 0.555626 정확도: 97.11% 14 검증 세트 손실: 0.495445 최선의 손실: 0.495445 정확도: 96.36% 15 검증 세트 손실: 0.493512 최선의 손실: 0.493512 정확도: 96.40% 16 검증 세트 손실: 0.294306 최선의 손실: 0.294306 정확도: 97.22% 17 검증 세트 손실: 0.540695 최선의 손실: 0.294306 정확도: 94.02% 18 검증 세트 손실: 0.361449 최선의 손실: 0.294306 정확도: 97.22% 19 검증 세트 손실: 0.875606 최선의 손실: 0.294306 정확도: 95.97% 20 검증 세트 손실: 0.438187 최선의 손실: 0.294306 정확도: 96.60% 21 검증 세트 손실: 0.435234 최선의 손실: 0.294306 정확도: 96.99% 22 검증 세트 손실: 0.360355 최선의 손실: 0.294306 정확도: 96.48% 23 검증 세트 손실: 0.492051 최선의 손실: 0.294306 정확도: 93.75% 24 검증 세트 손실: 0.461234 최선의 손실: 0.294306 정확도: 95.97% 25 검증 세트 손실: 0.380749 최선의 손실: 0.294306 정확도: 96.52% 26 검증 세트 손실: 0.361970 최선의 손실: 0.294306 정확도: 97.26% 27 검증 세트 손실: 0.382685 최선의 손실: 0.294306 정확도: 96.72% 28 검증 세트 손실: 0.346260 최선의 손실: 0.294306 정확도: 95.86% 29 검증 세트 손실: 0.496447 최선의 손실: 0.294306 정확도: 95.90% 30 검증 세트 손실: 0.460701 최선의 손실: 0.294306 정확도: 95.27% 31 검증 세트 손실: 0.367082 최선의 손실: 0.294306 정확도: 96.87% 32 검증 세트 손실: 1.219737 최선의 손실: 0.294306 정확도: 90.66% 33 검증 세트 손실: 1.757268 최선의 손실: 0.294306 정확도: 96.56% 34 검증 세트 손실: 0.358564 최선의 손실: 0.294306 정확도: 96.29% 35 검증 세트 손실: 0.220358 최선의 손실: 0.220358 정확도: 97.38% 36 검증 세트 손실: 0.205960 최선의 손실: 0.205960 정확도: 97.62% 37 검증 세트 손실: 0.327640 최선의 손실: 0.205960 정확도: 96.60% 38 검증 세트 손실: 0.294627 최선의 손실: 0.205960 정확도: 97.50% 39 검증 세트 손실: 0.569913 최선의 손실: 0.205960 정확도: 95.11% 40 검증 세트 손실: 0.446616 최선의 손실: 0.205960 정확도: 97.15% 41 검증 세트 손실: 1.430563 최선의 손실: 0.205960 정확도: 97.34% 42 검증 세트 손실: 0.553356 최선의 손실: 0.205960 정확도: 96.87% 43 검증 세트 손실: 928797.500000 최선의 손실: 0.205960 정확도: 22.01% 44 검증 세트 손실: 27266056.000000 최선의 손실: 0.205960 정확도: 31.82% 45 검증 세트 손실: 1930983.750000 최선의 손실: 0.205960 정확도: 62.63% 46 검증 세트 손실: 2306839.500000 최선의 손실: 0.205960 정확도: 74.94% 47 검증 세트 손실: 2660058.750000 최선의 손실: 0.205960 정확도: 77.64% 48 검증 세트 손실: 4699149.000000 최선의 손실: 0.205960 정확도: 79.79% 49 검증 세트 손실: 7148131.500000 최선의 손실: 0.205960 정확도: 67.24% 50 검증 세트 손실: 9817169.000000 최선의 손실: 0.205960 정확도: 87.14% 51 검증 세트 손실: 12237481.000000 최선의 손실: 0.205960 정확도: 78.66% 52 검증 세트 손실: 13832218.000000 최선의 손실: 0.205960 정확도: 87.22% 53 검증 세트 손실: 15266343.000000 최선의 손실: 0.205960 정확도: 89.56% 54 검증 세트 손실: 15633286.000000 최선의 손실: 0.205960 정확도: 89.60% 55 검증 세트 손실: 15949862.000000 최선의 손실: 0.205960 정확도: 88.82% 56 검증 세트 손실: 16818668.000000 최선의 손실: 0.205960 정확도: 91.36% 57 검증 세트 손실: 17486312.000000 최선의 손실: 0.205960 정확도: 88.58% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 14.8s [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.107795 최선의 손실: 0.107795 정확도: 96.72% 1 검증 세트 손실: 0.058783 최선의 손실: 0.058783 정확도: 98.20% 2 검증 세트 손실: 0.058417 최선의 손실: 0.058417 정확도: 98.16% 3 검증 세트 손실: 0.045793 최선의 손실: 0.045793 정확도: 98.32% 4 검증 세트 손실: 0.054931 최선의 손실: 0.045793 정확도: 98.20% 5 검증 세트 손실: 0.049785 최선의 손실: 0.045793 정확도: 98.75% 6 검증 세트 손실: 0.057019 최선의 손실: 0.045793 정확도: 98.55% 7 검증 세트 손실: 0.057413 최선의 손실: 0.045793 정확도: 98.83% 8 검증 세트 손실: 0.078170 최선의 손실: 0.045793 정확도: 98.44% 9 검증 세트 손실: 0.067283 최선의 손실: 0.045793 정확도: 98.79% 10 검증 세트 손실: 0.068757 최선의 손실: 0.045793 정확도: 98.63% 11 검증 세트 손실: 0.077696 최선의 손실: 0.045793 정확도: 98.59% 12 검증 세트 손실: 0.068211 최선의 손실: 0.045793 정확도: 98.67% 13 검증 세트 손실: 0.064979 최선의 손실: 0.045793 정확도: 98.71% 14 검증 세트 손실: 0.058986 최선의 손실: 0.045793 정확도: 98.63% 15 검증 세트 손실: 0.089686 최선의 손실: 0.045793 정확도: 98.32% 16 검증 세트 손실: 0.071891 최선의 손실: 0.045793 정확도: 98.28% 17 검증 세트 손실: 0.087435 최선의 손실: 0.045793 정확도: 98.63% 18 검증 세트 손실: 0.071725 최선의 손실: 0.045793 정확도: 98.83% 19 검증 세트 손실: 0.090147 최선의 손실: 0.045793 정확도: 98.79% 20 검증 세트 손실: 1.415975 최선의 손실: 0.045793 정확도: 93.16% 21 검증 세트 손실: 41.879120 최선의 손실: 0.045793 정확도: 82.37% 22 검증 세트 손실: 1.323197 최선의 손실: 0.045793 정확도: 95.90% 23 검증 세트 손실: 0.688520 최선의 손실: 0.045793 정확도: 95.86% 24 검증 세트 손실: 0.721960 최선의 손실: 0.045793 정확도: 95.97% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 9.4s [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.085922 최선의 손실: 0.085922 정확도: 97.58% 1 검증 세트 손실: 0.059066 최선의 손실: 0.059066 정확도: 98.44% 2 검증 세트 손실: 0.050323 최선의 손실: 0.050323 정확도: 98.48% 3 검증 세트 손실: 0.047514 최선의 손실: 0.047514 정확도: 98.32% 4 검증 세트 손실: 0.060429 최선의 손실: 0.047514 정확도: 98.40% 5 검증 세트 손실: 0.059033 최선의 손실: 0.047514 정확도: 98.20% 6 검증 세트 손실: 0.051679 최선의 손실: 0.047514 정확도: 98.87% 7 검증 세트 손실: 0.052218 최선의 손실: 0.047514 정확도: 98.87% 8 검증 세트 손실: 0.063680 최선의 손실: 0.047514 정확도: 98.51% 9 검증 세트 손실: 0.077343 최선의 손실: 0.047514 정확도: 98.98% 10 검증 세트 손실: 0.047351 최선의 손실: 0.047351 정확도: 98.83% 11 검증 세트 손실: 0.060348 최선의 손실: 0.047351 정확도: 98.83% 12 검증 세트 손실: 0.157567 최선의 손실: 0.047351 정확도: 97.89% 13 검증 세트 손실: 0.042853 최선의 손실: 0.042853 정확도: 99.10% 14 검증 세트 손실: 0.052029 최선의 손실: 0.042853 정확도: 98.71% 15 검증 세트 손실: 0.069184 최선의 손실: 0.042853 정확도: 98.87% 16 검증 세트 손실: 0.073739 최선의 손실: 0.042853 정확도: 98.71% 17 검증 세트 손실: 0.076696 최선의 손실: 0.042853 정확도: 98.55% 18 검증 세트 손실: 0.057052 최선의 손실: 0.042853 정확도: 99.18% 19 검증 세트 손실: 0.079055 최선의 손실: 0.042853 정확도: 98.98% 20 검증 세트 손실: 0.060721 최선의 손실: 0.042853 정확도: 98.98% 21 검증 세트 손실: 0.068615 최선의 손실: 0.042853 정확도: 98.94% 22 검증 세트 손실: 0.074300 최선의 손실: 0.042853 정확도: 98.91% 23 검증 세트 손실: 0.079375 최선의 손실: 0.042853 정확도: 98.91% 24 검증 세트 손실: 0.076277 최선의 손실: 0.042853 정확도: 98.67% 25 검증 세트 손실: 0.149959 최선의 손실: 0.042853 정확도: 98.55% 26 검증 세트 손실: 0.132614 최선의 손실: 0.042853 정확도: 98.67% 27 검증 세트 손실: 0.083238 최선의 손실: 0.042853 정확도: 98.83% 28 검증 세트 손실: 8.435995 최선의 손실: 0.042853 정확도: 92.92% 29 검증 세트 손실: 2.953849 최선의 손실: 0.042853 정확도: 95.58% 30 검증 세트 손실: 0.976622 최선의 손실: 0.042853 정확도: 96.79% 31 검증 세트 손실: 0.496530 최선의 손실: 0.042853 정확도: 97.93% 32 검증 세트 손실: 0.367138 최선의 손실: 0.042853 정확도: 97.62% 33 검증 세트 손실: 0.351814 최선의 손실: 0.042853 정확도: 98.01% 34 검증 세트 손실: 0.320770 최선의 손실: 0.042853 정확도: 97.77% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 12.8s [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 0.082679 최선의 손실: 0.082679 정확도: 97.50% 1 검증 세트 손실: 0.058099 최선의 손실: 0.058099 정확도: 98.36% 2 검증 세트 손실: 0.058229 최선의 손실: 0.058099 정확도: 98.24% 3 검증 세트 손실: 0.048549 최선의 손실: 0.048549 정확도: 98.63% 4 검증 세트 손실: 0.052420 최선의 손실: 0.048549 정확도: 98.32% 5 검증 세트 손실: 0.043053 최선의 손실: 0.043053 정확도: 98.71% 6 검증 세트 손실: 0.041043 최선의 손실: 0.041043 정확도: 98.75% 7 검증 세트 손실: 0.055404 최선의 손실: 0.041043 정확도: 98.55% 8 검증 세트 손실: 0.047862 최선의 손실: 0.041043 정확도: 98.79% 9 검증 세트 손실: 0.040592 최선의 손실: 0.040592 정확도: 98.83% 10 검증 세트 손실: 0.062112 최선의 손실: 0.040592 정확도: 98.59% 11 검증 세트 손실: 0.079374 최선의 손실: 0.040592 정확도: 98.36% 12 검증 세트 손실: 0.076103 최선의 손실: 0.040592 정확도: 98.55% 13 검증 세트 손실: 0.059314 최선의 손실: 0.040592 정확도: 98.75% 14 검증 세트 손실: 0.056952 최선의 손실: 0.040592 정확도: 98.79% 15 검증 세트 손실: 0.059710 최선의 손실: 0.040592 정확도: 98.98% 16 검증 세트 손실: 0.062406 최선의 손실: 0.040592 정확도: 98.75% 17 검증 세트 손실: 0.082256 최선의 손실: 0.040592 정확도: 98.94% 18 검증 세트 손실: 0.079330 최선의 손실: 0.040592 정확도: 98.71% 19 검증 세트 손실: 0.116851 최선의 손실: 0.040592 정확도: 98.40% 20 검증 세트 손실: 0.078745 최선의 손실: 0.040592 정확도: 98.63% 21 검증 세트 손실: 0.081457 최선의 손실: 0.040592 정확도: 98.63% 22 검증 세트 손실: 0.062015 최선의 손실: 0.040592 정확도: 98.48% 23 검증 세트 손실: 0.160669 최선의 손실: 0.040592 정확도: 98.08% 24 검증 세트 손실: 289.640411 최선의 손실: 0.040592 정확도: 55.75% 25 검증 세트 손실: 10.911931 최선의 손실: 0.040592 정확도: 88.78% 26 검증 세트 손실: 2.102708 최선의 손실: 0.040592 정확도: 94.61% 27 검증 세트 손실: 0.740069 최선의 손실: 0.040592 정확도: 95.93% 28 검증 세트 손실: 1.109994 최선의 손실: 0.040592 정확도: 89.60% 29 검증 세트 손실: 0.423582 최선의 손실: 0.040592 정확도: 95.54% 30 검증 세트 손실: 0.317930 최선의 손실: 0.040592 정확도: 96.48% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 11.5s [CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 1.831429 최선의 손실: 1.831429 정확도: 18.73% 1 검증 세트 손실: 1.636065 최선의 손실: 1.636065 정확도: 20.91% 2 검증 세트 손실: 1.741924 최선의 손실: 1.636065 정확도: 18.73% 3 검증 세트 손실: 1.667119 최선의 손실: 1.636065 정확도: 19.27% 4 검증 세트 손실: 1.640496 최선의 손실: 1.636065 정확도: 22.01% 5 검증 세트 손실: 1.907965 최선의 손실: 1.636065 정확도: 19.08% 6 검증 세트 손실: 1.636658 최선의 손실: 1.636065 정확도: 22.01% 7 검증 세트 손실: 1.666218 최선의 손실: 1.636065 정확도: 22.01% 8 검증 세트 손실: 1.770583 최선의 손실: 1.636065 정확도: 18.73% 9 검증 세트 손실: 1.777651 최선의 손실: 1.636065 정확도: 18.73% 10 검증 세트 손실: 1.767095 최선의 손실: 1.636065 정확도: 22.01% 11 검증 세트 손실: 1.980282 최선의 손실: 1.636065 정확도: 22.01% 12 검증 세트 손실: 1.941966 최선의 손실: 1.636065 정확도: 20.91% 13 검증 세트 손실: 1.777548 최선의 손실: 1.636065 정확도: 19.27% 14 검증 세트 손실: 1.791714 최선의 손실: 1.636065 정확도: 19.08% 15 검증 세트 손실: 1.913674 최선의 손실: 1.636065 정확도: 22.01% 16 검증 세트 손실: 1.850441 최선의 손실: 1.636065 정확도: 19.08% 17 검증 세트 손실: 1.676424 최선의 손실: 1.636065 정확도: 20.91% 18 검증 세트 손실: 1.803297 최선의 손실: 1.636065 정확도: 22.01% 19 검증 세트 손실: 1.727336 최선의 손실: 1.636065 정확도: 22.01% 20 검증 세트 손실: 1.709796 최선의 손실: 1.636065 정확도: 18.73% 21 검증 세트 손실: 1.744466 최선의 손실: 1.636065 정확도: 18.73% 22 검증 세트 손실: 1.651263 최선의 손실: 1.636065 정확도: 20.91% 조기 종료! [CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation=<function elu at 0x123d02048>, total= 26.4s [CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 1.906297 최선의 손실: 1.906297 정확도: 18.73% 1 검증 세트 손실: 1.806323 최선의 손실: 1.806323 정확도: 19.08% 2 검증 세트 손실: 1.727609 최선의 손실: 1.727609 정확도: 19.08% 3 검증 세트 손실: 1.761830 최선의 손실: 1.727609 정확도: 19.27% 4 검증 세트 손실: 1.799788 최선의 손실: 1.727609 정확도: 19.08% 5 검증 세트 손실: 1.670807 최선의 손실: 1.670807 정확도: 18.73% 6 검증 세트 손실: 1.851012 최선의 손실: 1.670807 정확도: 19.08% 7 검증 세트 손실: 1.649306 최선의 손실: 1.649306 정확도: 19.27% 8 검증 세트 손실: 1.899567 최선의 손실: 1.649306 정확도: 20.91% 9 검증 세트 손실: 1.914816 최선의 손실: 1.649306 정확도: 19.27% 10 검증 세트 손실: 1.686124 최선의 손실: 1.649306 정확도: 22.01% 11 검증 세트 손실: 1.647475 최선의 손실: 1.647475 정확도: 20.91% 12 검증 세트 손실: 1.853961 최선의 손실: 1.647475 정확도: 20.91% 13 검증 세트 손실: 1.669572 최선의 손실: 1.647475 정확도: 22.01% 14 검증 세트 손실: 1.703600 최선의 손실: 1.647475 정확도: 19.27% 15 검증 세트 손실: 1.998328 최선의 손실: 1.647475 정확도: 19.08% 16 검증 세트 손실: 1.656301 최선의 손실: 1.647475 정확도: 20.91% 17 검증 세트 손실: 1.947685 최선의 손실: 1.647475 정확도: 20.91% 18 검증 세트 손실: 2.143587 최선의 손실: 1.647475 정확도: 20.91% 19 검증 세트 손실: 1.900220 최선의 손실: 1.647475 정확도: 20.91% 20 검증 세트 손실: 1.930351 최선의 손실: 1.647475 정확도: 18.73% 21 검증 세트 손실: 1.900987 최선의 손실: 1.647475 정확도: 22.01% 22 검증 세트 손실: 1.750338 최선의 손실: 1.647475 정확도: 19.27% 23 검증 세트 손실: 2.205177 최선의 손실: 1.647475 정확도: 18.73% 24 검증 세트 손실: 1.718392 최선의 손실: 1.647475 정확도: 22.01% 25 검증 세트 손실: 1.836214 최선의 손실: 1.647475 정확도: 22.01% 26 검증 세트 손실: 1.777826 최선의 손실: 1.647475 정확도: 22.01% 27 검증 세트 손실: 1.763802 최선의 손실: 1.647475 정확도: 19.27% 28 검증 세트 손실: 1.860310 최선의 손실: 1.647475 정확도: 19.27% 29 검증 세트 손실: 1.954946 최선의 손실: 1.647475 정확도: 18.73% 30 검증 세트 손실: 1.838278 최선의 손실: 1.647475 정확도: 18.73% 31 검증 세트 손실: 1.988403 최선의 손실: 1.647475 정확도: 22.01% 32 검증 세트 손실: 2.001385 최선의 손실: 1.647475 정확도: 19.27% 조기 종료! [CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation=<function elu at 0x123d02048>, total= 35.7s [CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 1.652795 최선의 손실: 1.652795 정확도: 18.73% 1 검증 세트 손실: 1.834079 최선의 손실: 1.652795 정확도: 19.08% 2 검증 세트 손실: 1.725783 최선의 손실: 1.652795 정확도: 18.73% 3 검증 세트 손실: 1.984873 최선의 손실: 1.652795 정확도: 19.08% 4 검증 세트 손실: 2.141059 최선의 손실: 1.652795 정확도: 19.08% 5 검증 세트 손실: 1.850690 최선의 손실: 1.652795 정확도: 19.27% 6 검증 세트 손실: 1.746691 최선의 손실: 1.652795 정확도: 19.08% 7 검증 세트 손실: 1.830474 최선의 손실: 1.652795 정확도: 18.73% 8 검증 세트 손실: 1.649748 최선의 손실: 1.649748 정확도: 22.01% 9 검증 세트 손실: 2.048926 최선의 손실: 1.649748 정확도: 22.01% 10 검증 세트 손실: 1.832473 최선의 손실: 1.649748 정확도: 18.73% 11 검증 세트 손실: 1.816110 최선의 손실: 1.649748 정확도: 19.27% 12 검증 세트 손실: 1.836797 최선의 손실: 1.649748 정확도: 18.73% 13 검증 세트 손실: 1.796182 최선의 손실: 1.649748 정확도: 19.08% 14 검증 세트 손실: 1.792560 최선의 손실: 1.649748 정확도: 22.01% 15 검증 세트 손실: 1.879795 최선의 손실: 1.649748 정확도: 20.91% 16 검증 세트 손실: 1.704598 최선의 손실: 1.649748 정확도: 18.73% 17 검증 세트 손실: 1.803579 최선의 손실: 1.649748 정확도: 19.08% 18 검증 세트 손실: 2.113101 최선의 손실: 1.649748 정확도: 19.08% 19 검증 세트 손실: 1.628994 최선의 손실: 1.628994 정확도: 19.27% 20 검증 세트 손실: 1.801368 최선의 손실: 1.628994 정확도: 19.27% 21 검증 세트 손실: 1.647704 최선의 손실: 1.628994 정확도: 22.01% 22 검증 세트 손실: 1.653073 최선의 손실: 1.628994 정확도: 20.91% 23 검증 세트 손실: 1.739612 최선의 손실: 1.628994 정확도: 22.01% 24 검증 세트 손실: 1.861977 최선의 손실: 1.628994 정확도: 22.01% 25 검증 세트 손실: 1.744549 최선의 손실: 1.628994 정확도: 19.27% 26 검증 세트 손실: 1.719069 최선의 손실: 1.628994 정확도: 19.08% 27 검증 세트 손실: 1.685107 최선의 손실: 1.628994 정확도: 22.01% 28 검증 세트 손실: 2.323920 최선의 손실: 1.628994 정확도: 19.08% 29 검증 세트 손실: 2.050606 최선의 손실: 1.628994 정확도: 18.73% 30 검증 세트 손실: 1.854671 최선의 손실: 1.628994 정확도: 19.27% 31 검증 세트 손실: 1.956274 최선의 손실: 1.628994 정확도: 18.73% 32 검증 세트 손실: 1.666341 최선의 손실: 1.628994 정확도: 19.08% 33 검증 세트 손실: 1.684591 최선의 손실: 1.628994 정확도: 20.91% 34 검증 세트 손실: 1.747720 최선의 손실: 1.628994 정확도: 19.08% 35 검증 세트 손실: 1.761387 최선의 손실: 1.628994 정확도: 22.01% 36 검증 세트 손실: 1.971676 최선의 손실: 1.628994 정확도: 22.01% 37 검증 세트 손실: 1.921873 최선의 손실: 1.628994 정확도: 22.01% 38 검증 세트 손실: 1.989987 최선의 손실: 1.628994 정확도: 18.73% 39 검증 세트 손실: 1.904658 최선의 손실: 1.628994 정확도: 19.08% 40 검증 세트 손실: 1.730789 최선의 손실: 1.628994 정확도: 19.08% 조기 종료! [CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation=<function elu at 0x123d02048>, total= 54.1s [CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 0.376774 최선의 손실: 0.376774 정확도: 88.86% 1 검증 세트 손실: 61.936985 최선의 손실: 0.376774 정확도: 32.17% 2 검증 세트 손실: 4.024376 최선의 손실: 0.376774 정확도: 54.50% 3 검증 세트 손실: 2.327265 최선의 손실: 0.376774 정확도: 59.70% 4 검증 세트 손실: 1.744864 최선의 손실: 0.376774 정확도: 65.83% 5 검증 세트 손실: 1.427517 최선의 손실: 0.376774 정확도: 67.08% 6 검증 세트 손실: 1.812712 최선의 손실: 0.376774 정확도: 65.95% 7 검증 세트 손실: 1.459436 최선의 손실: 0.376774 정확도: 64.97% 8 검증 세트 손실: 1.092585 최선의 손실: 0.376774 정확도: 74.98% 9 검증 세트 손실: 1.248168 최선의 손실: 0.376774 정확도: 71.38% 10 검증 세트 손실: 6531.232422 최선의 손실: 0.376774 정확도: 25.02% 11 검증 세트 손실: 98.203644 최선의 손실: 0.376774 정확도: 64.07% 12 검증 세트 손실: 50.884308 최선의 손실: 0.376774 정확도: 43.28% 13 검증 세트 손실: 41.159859 최선의 손실: 0.376774 정확도: 70.48% 14 검증 세트 손실: 13.319558 최선의 손실: 0.376774 정확도: 68.49% 15 검증 세트 손실: 11.672280 최선의 손실: 0.376774 정확도: 63.64% 16 검증 세트 손실: 44.753693 최선의 손실: 0.376774 정확도: 75.53% 17 검증 세트 손실: 26.309696 최선의 손실: 0.376774 정확도: 80.30% 18 검증 세트 손실: 15.637346 최선의 손실: 0.376774 정확도: 81.08% 19 검증 세트 손실: 18.212481 최선의 손실: 0.376774 정확도: 81.90% 20 검증 세트 손실: 9.285827 최선의 손실: 0.376774 정확도: 86.59% 21 검증 세트 손실: 23.328739 최선의 손실: 0.376774 정확도: 76.70% 조기 종료! [CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 10.1s [CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 0.172807 최선의 손실: 0.172807 정확도: 95.86% 1 검증 세트 손실: 0.118179 최선의 손실: 0.118179 정확도: 96.52% 2 검증 세트 손실: 69164.750000 최선의 손실: 0.118179 정확도: 18.96% 3 검증 세트 손실: 13.360556 최선의 손실: 0.118179 정확도: 32.33% 4 검증 세트 손실: 7.407450 최선의 손실: 0.118179 정확도: 42.49% 5 검증 세트 손실: 3.696779 최선의 손실: 0.118179 정확도: 62.71% 6 검증 세트 손실: 16.301590 최선의 손실: 0.118179 정확도: 48.24% 7 검증 세트 손실: 2.489043 최선의 손실: 0.118179 정확도: 60.91% 8 검증 세트 손실: 1.303954 최선의 손실: 0.118179 정확도: 75.22% 9 검증 세트 손실: 1.968811 최선의 손실: 0.118179 정확도: 72.44% 10 검증 세트 손실: 1.256041 최선의 손실: 0.118179 정확도: 70.60% 11 검증 세트 손실: 93.286316 최선의 손실: 0.118179 정확도: 30.06% 12 검증 세트 손실: 31.971172 최선의 손실: 0.118179 정확도: 22.44% 13 검증 세트 손실: 2.151331 최선의 손실: 0.118179 정확도: 54.53% 14 검증 세트 손실: 1.840086 최선의 손실: 0.118179 정확도: 58.99% 15 검증 세트 손실: 1.403434 최선의 손실: 0.118179 정확도: 62.08% 16 검증 세트 손실: 1.631724 최선의 손실: 0.118179 정확도: 60.83% 17 검증 세트 손실: 1.202060 최선의 손실: 0.118179 정확도: 65.01% 18 검증 세트 손실: 0.841601 최선의 손실: 0.118179 정확도: 73.89% 19 검증 세트 손실: 0.885089 최선의 손실: 0.118179 정확도: 72.83% 20 검증 세트 손실: 0.797698 최선의 손실: 0.118179 정확도: 75.53% 21 검증 세트 손실: 9.823364 최선의 손실: 0.118179 정확도: 44.68% 22 검증 세트 손실: 0.768243 최선의 손실: 0.118179 정확도: 80.92% 조기 종료! [CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 10.5s [CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 0.712843 최선의 손실: 0.712843 정확도: 74.51% 1 검증 세트 손실: 1.706727 최선의 손실: 0.712843 정확도: 95.35% 2 검증 세트 손실: 4.992863 최선의 손실: 0.712843 정확도: 71.42% 3 검증 세트 손실: 1.186182 최선의 손실: 0.712843 정확도: 86.43% 4 검증 세트 손실: 0.606169 최선의 손실: 0.606169 정확도: 88.66% 5 검증 세트 손실: 0.661237 최선의 손실: 0.606169 정확도: 83.23% 6 검증 세트 손실: 0.389243 최선의 손실: 0.389243 정확도: 90.19% 7 검증 세트 손실: 0.311324 최선의 손실: 0.311324 정확도: 92.96% 8 검증 세트 손실: 0.339031 최선의 손실: 0.311324 정확도: 90.73% 9 검증 세트 손실: 61.389824 최선의 손실: 0.311324 정확도: 53.13% 10 검증 세트 손실: 407.379730 최선의 손실: 0.311324 정확도: 62.55% 11 검증 세트 손실: 14.514718 최선의 손실: 0.311324 정확도: 62.04% 12 검증 세트 손실: 1.904386 최선의 손실: 0.311324 정확도: 87.61% 13 검증 세트 손실: 1.434482 최선의 손실: 0.311324 정확도: 88.90% 14 검증 세트 손실: 4.542013 최선의 손실: 0.311324 정확도: 84.36% 15 검증 세트 손실: 1.064976 최선의 손실: 0.311324 정확도: 90.27% 16 검증 세트 손실: 1.122151 최선의 손실: 0.311324 정확도: 88.08% 17 검증 세트 손실: 1.275843 최선의 손실: 0.311324 정확도: 89.52% 18 검증 세트 손실: 0.712639 최선의 손실: 0.311324 정확도: 92.57% 19 검증 세트 손실: 1.547141 최선의 손실: 0.311324 정확도: 91.99% 20 검증 세트 손실: 1.341160 최선의 손실: 0.311324 정확도: 87.84% 21 검증 세트 손실: 0.762376 최선의 손실: 0.311324 정확도: 92.61% 22 검증 세트 손실: 0.853752 최선의 손실: 0.311324 정확도: 90.38% 23 검증 세트 손실: 0.614156 최선의 손실: 0.311324 정확도: 91.32% 24 검증 세트 손실: 0.518054 최선의 손실: 0.311324 정확도: 91.13% 25 검증 세트 손실: 946.730957 최선의 손실: 0.311324 정확도: 27.91% 26 검증 세트 손실: 298.105225 최선의 손실: 0.311324 정확도: 71.34% 27 검증 세트 손실: 343.398956 최선의 손실: 0.311324 정확도: 72.79% 28 검증 세트 손실: 438.144257 최선의 손실: 0.311324 정확도: 74.28% 조기 종료! [CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 13.1s [CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 2.186976 최선의 손실: 2.186976 정확도: 75.68% 1 검증 세트 손실: 0.120523 최선의 손실: 0.120523 정확도: 96.29% 2 검증 세트 손실: 1.113612 최선의 손실: 0.120523 정확도: 95.00% 3 검증 세트 손실: 0.134554 최선의 손실: 0.120523 정확도: 96.33% 4 검증 세트 손실: 2.565646 최선의 손실: 0.120523 정확도: 86.16% 5 검증 세트 손실: 0.676808 최선의 손실: 0.120523 정확도: 88.90% 6 검증 세트 손실: 0.407376 최선의 손실: 0.120523 정확도: 94.53% 7 검증 세트 손실: 0.363537 최선의 손실: 0.120523 정확도: 95.39% 8 검증 세트 손실: 0.328955 최선의 손실: 0.120523 정확도: 95.54% 9 검증 세트 손실: 0.283305 최선의 손실: 0.120523 정확도: 96.25% 10 검증 세트 손실: 0.259484 최선의 손실: 0.120523 정확도: 95.82% 11 검증 세트 손실: 0.238468 최선의 손실: 0.120523 정확도: 96.25% 12 검증 세트 손실: 0.175818 최선의 손실: 0.120523 정확도: 96.72% 13 검증 세트 손실: 0.515079 최선의 손실: 0.120523 정확도: 94.53% 14 검증 세트 손실: 0.259704 최선의 손실: 0.120523 정확도: 96.60% 15 검증 세트 손실: 0.200151 최선의 손실: 0.120523 정확도: 97.07% 16 검증 세트 손실: 5609.848145 최선의 손실: 0.120523 정확도: 80.77% 17 검증 세트 손실: 3.752296 최선의 손실: 0.120523 정확도: 87.72% 18 검증 세트 손실: 13.729204 최선의 손실: 0.120523 정확도: 80.96% 19 검증 세트 손실: 9.793467 최선의 손실: 0.120523 정확도: 81.63% 20 검증 세트 손실: 2.139227 최선의 손실: 0.120523 정확도: 93.35% 21 검증 세트 손실: 1.629440 최선의 손실: 0.120523 정확도: 95.50% 22 검증 세트 손실: 0.932525 최선의 손실: 0.120523 정확도: 96.64% 조기 종료! [CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 14.4s [CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 0.137630 최선의 손실: 0.137630 정확도: 96.56% 1 검증 세트 손실: 0.148046 최선의 손실: 0.137630 정확도: 95.82% 2 검증 세트 손실: 0.139406 최선의 손실: 0.137630 정확도: 95.39% 3 검증 세트 손실: 0.094185 최선의 손실: 0.094185 정확도: 97.30% 4 검증 세트 손실: 0.089223 최선의 손실: 0.089223 정확도: 97.58% 5 검증 세트 손실: 2.593886 최선의 손실: 0.089223 정확도: 92.03% 6 검증 세트 손실: 3.016678 최선의 손실: 0.089223 정확도: 87.72% 7 검증 세트 손실: 0.901236 최선의 손실: 0.089223 정확도: 94.14% 8 검증 세트 손실: 0.750670 최선의 손실: 0.089223 정확도: 95.27% 9 검증 세트 손실: 0.776243 최선의 손실: 0.089223 정확도: 93.98% 10 검증 세트 손실: 0.550076 최선의 손실: 0.089223 정확도: 96.68% 11 검증 세트 손실: 0.399632 최선의 손실: 0.089223 정확도: 95.19% 12 검증 세트 손실: 0.327589 최선의 손실: 0.089223 정확도: 96.72% 13 검증 세트 손실: 1.761462 최선의 손실: 0.089223 정확도: 93.51% 14 검증 세트 손실: 0.560989 최선의 손실: 0.089223 정확도: 91.63% 15 검증 세트 손실: 0.498745 최선의 손실: 0.089223 정확도: 96.01% 16 검증 세트 손실: 0.528096 최선의 손실: 0.089223 정확도: 96.21% 17 검증 세트 손실: 0.702996 최선의 손실: 0.089223 정확도: 96.21% 18 검증 세트 손실: 0.663453 최선의 손실: 0.089223 정확도: 94.49% 19 검증 세트 손실: 6.189499 최선의 손실: 0.089223 정확도: 92.34% 20 검증 세트 손실: 1.642094 최선의 손실: 0.089223 정확도: 95.39% 21 검증 세트 손실: 1.255615 최선의 손실: 0.089223 정확도: 94.96% 22 검증 세트 손실: 16.283966 최선의 손실: 0.089223 정확도: 72.95% 23 검증 세트 손실: 8.408588 최선의 손실: 0.089223 정확도: 95.62% 24 검증 세트 손실: 4.083290 최선의 손실: 0.089223 정확도: 93.12% 25 검증 세트 손실: 2.588224 최선의 손실: 0.089223 정확도: 95.43% 조기 종료! [CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 15.7s [CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70> 0 검증 세트 손실: 0.544359 최선의 손실: 0.544359 정확도: 92.77% 1 검증 세트 손실: 0.240777 최선의 손실: 0.240777 정확도: 95.00% 2 검증 세트 손실: 0.114484 최선의 손실: 0.114484 정확도: 96.72% 3 검증 세트 손실: 0.447151 최선의 손실: 0.114484 정확도: 94.33% 4 검증 세트 손실: 0.236839 최선의 손실: 0.114484 정확도: 95.35% 5 검증 세트 손실: 0.189913 최선의 손실: 0.114484 정확도: 96.05% 6 검증 세트 손실: 0.208989 최선의 손실: 0.114484 정확도: 95.86% 7 검증 세트 손실: 0.149104 최선의 손실: 0.114484 정확도: 96.79% 8 검증 세트 손실: 0.145285 최선의 손실: 0.114484 정확도: 96.91% 9 검증 세트 손실: 0.153864 최선의 손실: 0.114484 정확도: 96.76% 10 검증 세트 손실: 0.109073 최선의 손실: 0.109073 정확도: 97.30% 11 검증 세트 손실: 0.102086 최선의 손실: 0.102086 정확도: 97.58% 12 검증 세트 손실: 0.109818 최선의 손실: 0.102086 정확도: 97.46% 13 검증 세트 손실: 0.378404 최선의 손실: 0.102086 정확도: 95.97% 14 검증 세트 손실: 9.965311 최선의 손실: 0.102086 정확도: 70.25% 15 검증 세트 손실: 1.685004 최선의 손실: 0.102086 정확도: 91.59% 16 검증 세트 손실: 0.726433 최선의 손실: 0.102086 정확도: 93.63% 17 검증 세트 손실: 0.599153 최선의 손실: 0.102086 정확도: 95.11% 18 검증 세트 손실: 0.394290 최선의 손실: 0.102086 정확도: 94.64% 19 검증 세트 손실: 0.466736 최선의 손실: 0.102086 정확도: 94.64% 20 검증 세트 손실: 0.323488 최선의 손실: 0.102086 정확도: 95.04% 21 검증 세트 손실: 3.552731 최선의 손실: 0.102086 정확도: 85.93% 22 검증 세트 손실: 1.626297 최선의 손실: 0.102086 정확도: 92.61% 23 검증 세트 손실: 1.303828 최선의 손실: 0.102086 정확도: 93.98% 24 검증 세트 손실: 1.082676 최선의 손실: 0.102086 정확도: 95.00% 25 검증 세트 손실: 1.232389 최선의 손실: 0.102086 정확도: 93.94% 26 검증 세트 손실: 0.771039 최선의 손실: 0.102086 정확도: 96.17% 27 검증 세트 손실: 0.614752 최선의 손실: 0.102086 정확도: 96.52% 28 검증 세트 손실: 0.606131 최선의 손실: 0.102086 정확도: 96.95% 29 검증 세트 손실: 0.669925 최선의 손실: 0.102086 정확도: 96.76% 30 검증 세트 손실: 4.056579 최선의 손실: 0.102086 정확도: 88.12% 31 검증 세트 손실: 0.831007 최선의 손실: 0.102086 정확도: 95.58% 32 검증 세트 손실: 137.144440 최선의 손실: 0.102086 정확도: 45.70% 조기 종료! [CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, total= 20.5s [CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 1.927258 최선의 손실: 1.927258 정확도: 22.01% 1 검증 세트 손실: 1.736843 최선의 손실: 1.736843 정확도: 22.01% 2 검증 세트 손실: 1.637629 최선의 손실: 1.637629 정확도: 20.91% 3 검증 세트 손실: 1.773799 최선의 손실: 1.637629 정확도: 19.08% 4 검증 세트 손실: 1.790938 최선의 손실: 1.637629 정확도: 19.27% 5 검증 세트 손실: 1.674727 최선의 손실: 1.637629 정확도: 19.08% 6 검증 세트 손실: 2.215890 최선의 손실: 1.637629 정확도: 19.27% 7 검증 세트 손실: 2.016311 최선의 손실: 1.637629 정확도: 19.08% 8 검증 세트 손실: 2.090932 최선의 손실: 1.637629 정확도: 19.08% 9 검증 세트 손실: 1.947279 최선의 손실: 1.637629 정확도: 22.01% 10 검증 세트 손실: 1.792379 최선의 손실: 1.637629 정확도: 19.08% 11 검증 세트 손실: 1.672830 최선의 손실: 1.637629 정확도: 19.08% 12 검증 세트 손실: 1.912346 최선의 손실: 1.637629 정확도: 18.73% 13 검증 세트 손실: 2.118674 최선의 손실: 1.637629 정확도: 19.08% 14 검증 세트 손실: 2.516825 최선의 손실: 1.637629 정확도: 20.91% 15 검증 세트 손실: 1.914142 최선의 손실: 1.637629 정확도: 22.01% 16 검증 세트 손실: 2.225627 최선의 손실: 1.637629 정확도: 18.73% 17 검증 세트 손실: 1.658230 최선의 손실: 1.637629 정확도: 20.91% 18 검증 세트 손실: 2.221774 최선의 손실: 1.637629 정확도: 19.08% 19 검증 세트 손실: 2.665048 최선의 손실: 1.637629 정확도: 22.01% 20 검증 세트 손실: 2.008371 최선의 손실: 1.637629 정확도: 22.01% 21 검증 세트 손실: 2.444499 최선의 손실: 1.637629 정확도: 20.91% 22 검증 세트 손실: 2.119730 최선의 손실: 1.637629 정확도: 22.01% 23 검증 세트 손실: 2.245320 최선의 손실: 1.637629 정확도: 19.27% 조기 종료! [CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation=<function elu at 0x123d02048>, total= 32.8s [CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 1.835492 최선의 손실: 1.835492 정확도: 19.27% 1 검증 세트 손실: 1.862173 최선의 손실: 1.835492 정확도: 22.01% 2 검증 세트 손실: 2.011213 최선의 손실: 1.835492 정확도: 18.73% 3 검증 세트 손실: 2.015962 최선의 손실: 1.835492 정확도: 22.01% 4 검증 세트 손실: 1.970913 최선의 손실: 1.835492 정확도: 19.08% 5 검증 세트 손실: 1.647393 최선의 손실: 1.647393 정확도: 20.91% 6 검증 세트 손실: 1.701503 최선의 손실: 1.647393 정확도: 19.27% 7 검증 세트 손실: 2.395792 최선의 손실: 1.647393 정확도: 19.08% 8 검증 세트 손실: 1.941442 최선의 손실: 1.647393 정확도: 18.73% 9 검증 세트 손실: 1.963345 최선의 손실: 1.647393 정확도: 20.91% 10 검증 세트 손실: 1.835825 최선의 손실: 1.647393 정확도: 19.08% 11 검증 세트 손실: 1.930026 최선의 손실: 1.647393 정확도: 22.01% 12 검증 세트 손실: 1.885898 최선의 손실: 1.647393 정확도: 20.91% 13 검증 세트 손실: 2.390903 최선의 손실: 1.647393 정확도: 19.08% 14 검증 세트 손실: 1.961102 최선의 손실: 1.647393 정확도: 19.27% 15 검증 세트 손실: 1.962755 최선의 손실: 1.647393 정확도: 20.91% 16 검증 세트 손실: 1.886139 최선의 손실: 1.647393 정확도: 18.73% 17 검증 세트 손실: 1.892861 최선의 손실: 1.647393 정확도: 19.08% 18 검증 세트 손실: 1.981896 최선의 손실: 1.647393 정확도: 19.08% 19 검증 세트 손실: 1.750126 최선의 손실: 1.647393 정확도: 22.01% 20 검증 세트 손실: 2.134342 최선의 손실: 1.647393 정확도: 19.27% 21 검증 세트 손실: 1.879302 최선의 손실: 1.647393 정확도: 22.01% 22 검증 세트 손실: 2.148499 최선의 손실: 1.647393 정확도: 19.08% 23 검증 세트 손실: 2.088909 최선의 손실: 1.647393 정확도: 22.01% 24 검증 세트 손실: 1.838560 최선의 손실: 1.647393 정확도: 20.91% 25 검증 세트 손실: 1.905606 최선의 손실: 1.647393 정확도: 19.08% 26 검증 세트 손실: 2.406297 최선의 손실: 1.647393 정확도: 19.08% 조기 종료! [CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation=<function elu at 0x123d02048>, total= 37.0s [CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 1.804193 최선의 손실: 1.804193 정확도: 22.01% 1 검증 세트 손실: 1.974690 최선의 손실: 1.804193 정확도: 19.27% 2 검증 세트 손실: 1.935954 최선의 손실: 1.804193 정확도: 19.08% 3 검증 세트 손실: 1.851766 최선의 손실: 1.804193 정확도: 19.27% 4 검증 세트 손실: 2.687491 최선의 손실: 1.804193 정확도: 19.08% 5 검증 세트 손실: 1.852270 최선의 손실: 1.804193 정확도: 20.91% 6 검증 세트 손실: 1.812497 최선의 손실: 1.804193 정확도: 22.01% 7 검증 세트 손실: 1.757772 최선의 손실: 1.757772 정확도: 19.08% 8 검증 세트 손실: 1.902279 최선의 손실: 1.757772 정확도: 19.27% 9 검증 세트 손실: 2.087055 최선의 손실: 1.757772 정확도: 19.27% 10 검증 세트 손실: 1.779784 최선의 손실: 1.757772 정확도: 18.73% 11 검증 세트 손실: 2.227393 최선의 손실: 1.757772 정확도: 19.27% 12 검증 세트 손실: 1.950018 최선의 손실: 1.757772 정확도: 20.91% 13 검증 세트 손실: 3.099452 최선의 손실: 1.757772 정확도: 19.08% 14 검증 세트 손실: 1.830344 최선의 손실: 1.757772 정확도: 22.01% 15 검증 세트 손실: 1.733784 최선의 손실: 1.733784 정확도: 20.91% 16 검증 세트 손실: 2.189532 최선의 손실: 1.733784 정확도: 18.73% 17 검증 세트 손실: 1.943922 최선의 손실: 1.733784 정확도: 18.73% 18 검증 세트 손실: 1.848899 최선의 손실: 1.733784 정확도: 19.08% 19 검증 세트 손실: 1.984283 최선의 손실: 1.733784 정확도: 18.73% 20 검증 세트 손실: 1.919438 최선의 손실: 1.733784 정확도: 19.27% 21 검증 세트 손실: 2.156082 최선의 손실: 1.733784 정확도: 22.01% 22 검증 세트 손실: 1.834820 최선의 손실: 1.733784 정확도: 19.27% 23 검증 세트 손실: 2.444076 최선의 손실: 1.733784 정확도: 19.08% 24 검증 세트 손실: 1.866028 최선의 손실: 1.733784 정확도: 19.27% 25 검증 세트 손실: 1.884747 최선의 손실: 1.733784 정확도: 22.01% 26 검증 세트 손실: 1.738111 최선의 손실: 1.733784 정확도: 18.73% 27 검증 세트 손실: 1.679296 최선의 손실: 1.679296 정확도: 20.91% 28 검증 세트 손실: 2.567141 최선의 손실: 1.679296 정확도: 19.08% 29 검증 세트 손실: 2.661166 최선의 손실: 1.679296 정확도: 20.91% 30 검증 세트 손실: 2.013063 최선의 손실: 1.679296 정확도: 19.27% 31 검증 세트 손실: 1.886540 최선의 손실: 1.679296 정확도: 22.01% 32 검증 세트 손실: 1.891881 최선의 손실: 1.679296 정확도: 19.08% 33 검증 세트 손실: 2.216810 최선의 손실: 1.679296 정확도: 22.01% 34 검증 세트 손실: 2.191182 최선의 손실: 1.679296 정확도: 19.27% 35 검증 세트 손실: 1.704168 최선의 손실: 1.679296 정확도: 19.08% 36 검증 세트 손실: 1.731654 최선의 손실: 1.679296 정확도: 19.27% 37 검증 세트 손실: 1.813348 최선의 손실: 1.679296 정확도: 22.01% 38 검증 세트 손실: 3.032766 최선의 손실: 1.679296 정확도: 18.73% 39 검증 세트 손실: 2.401287 최선의 손실: 1.679296 정확도: 19.27% 40 검증 세트 손실: 1.645941 최선의 손실: 1.645941 정확도: 19.08% 41 검증 세트 손실: 2.166194 최선의 손실: 1.645941 정확도: 22.01% 42 검증 세트 손실: 2.384700 최선의 손실: 1.645941 정확도: 22.01% 43 검증 세트 손실: 2.204785 최선의 손실: 1.645941 정확도: 20.91% 44 검증 세트 손실: 1.765178 최선의 손실: 1.645941 정확도: 18.73% 45 검증 세트 손실: 1.696824 최선의 손실: 1.645941 정확도: 18.73% 46 검증 세트 손실: 2.521089 최선의 손실: 1.645941 정확도: 20.91% 47 검증 세트 손실: 2.133253 최선의 손실: 1.645941 정확도: 19.08% 48 검증 세트 손실: 1.695983 최선의 손실: 1.645941 정확도: 22.01% 49 검증 세트 손실: 1.936505 최선의 손실: 1.645941 정확도: 19.08% 50 검증 세트 손실: 2.176912 최선의 손실: 1.645941 정확도: 18.73% 51 검증 세트 손실: 2.179087 최선의 손실: 1.645941 정확도: 19.27% 52 검증 세트 손실: 2.013384 최선의 손실: 1.645941 정확도: 20.91% 53 검증 세트 손실: 2.239869 최선의 손실: 1.645941 정확도: 19.27% 54 검증 세트 손실: 1.942734 최선의 손실: 1.645941 정확도: 20.91% 55 검증 세트 손실: 1.686155 최선의 손실: 1.645941 정확도: 20.91% 56 검증 세트 손실: 2.281741 최선의 손실: 1.645941 정확도: 19.08% 57 검증 세트 손실: 2.154370 최선의 손실: 1.645941 정확도: 22.01% 58 검증 세트 손실: 1.815147 최선의 손실: 1.645941 정확도: 19.27% 59 검증 세트 손실: 1.998514 최선의 손실: 1.645941 정확도: 19.27% 60 검증 세트 손실: 1.969457 최선의 손실: 1.645941 정확도: 19.08% 61 검증 세트 손실: 2.026057 최선의 손실: 1.645941 정확도: 19.27% 조기 종료! [CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation=<function elu at 0x123d02048>, total= 1.4min [CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.102346 최선의 손실: 0.102346 정확도: 96.91% 1 검증 세트 손실: 0.062035 최선의 손실: 0.062035 정확도: 98.08% 2 검증 세트 손실: 0.063369 최선의 손실: 0.062035 정확도: 97.97% 3 검증 세트 손실: 0.060676 최선의 손실: 0.060676 정확도: 98.08% 4 검증 세트 손실: 0.057493 최선의 손실: 0.057493 정확도: 98.51% 5 검증 세트 손실: 0.060426 최선의 손실: 0.057493 정확도: 98.44% 6 검증 세트 손실: 0.044000 최선의 손실: 0.044000 정확도: 98.63% 7 검증 세트 손실: 0.044906 최선의 손실: 0.044000 정확도: 98.67% 8 검증 세트 손실: 0.088729 최선의 손실: 0.044000 정확도: 97.97% 9 검증 세트 손실: 0.057593 최선의 손실: 0.044000 정확도: 98.24% 10 검증 세트 손실: 0.042635 최선의 손실: 0.042635 정확도: 99.14% 11 검증 세트 손실: 0.045952 최선의 손실: 0.042635 정확도: 98.75% 12 검증 세트 손실: 0.041117 최선의 손실: 0.041117 정확도: 98.87% 13 검증 세트 손실: 0.054940 최선의 손실: 0.041117 정확도: 98.67% 14 검증 세트 손실: 0.065538 최선의 손실: 0.041117 정확도: 98.55% 15 검증 세트 손실: 0.041959 최선의 손실: 0.041117 정확도: 98.94% 16 검증 세트 손실: 0.052320 최선의 손실: 0.041117 정확도: 98.71% 17 검증 세트 손실: 0.090388 최선의 손실: 0.041117 정확도: 98.51% 18 검증 세트 손실: 0.055740 최선의 손실: 0.041117 정확도: 98.83% 19 검증 세트 손실: 0.060311 최선의 손실: 0.041117 정확도: 98.83% 20 검증 세트 손실: 0.058585 최선의 손실: 0.041117 정확도: 98.83% 21 검증 세트 손실: 0.051633 최선의 손실: 0.041117 정확도: 98.55% 22 검증 세트 손실: 0.052143 최선의 손실: 0.041117 정확도: 98.91% 23 검증 세트 손실: 0.061861 최선의 손실: 0.041117 정확도: 99.02% 24 검증 세트 손실: 0.065109 최선의 손실: 0.041117 정확도: 98.55% 25 검증 세트 손실: 0.064264 최선의 손실: 0.041117 정확도: 98.67% 26 검증 세트 손실: 0.061301 최선의 손실: 0.041117 정확도: 98.75% 27 검증 세트 손실: 0.058571 최선의 손실: 0.041117 정확도: 98.75% 28 검증 세트 손실: 0.056617 최선의 손실: 0.041117 정확도: 98.71% 29 검증 세트 손실: 0.071833 최선의 손실: 0.041117 정확도: 98.59% 30 검증 세트 손실: 0.058480 최선의 손실: 0.041117 정확도: 98.91% 31 검증 세트 손실: 0.063860 최선의 손실: 0.041117 정확도: 98.87% 32 검증 세트 손실: 0.076657 최선의 손실: 0.041117 정확도: 98.75% 33 검증 세트 손실: 0.072578 최선의 손실: 0.041117 정확도: 98.94% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation=<function relu at 0x123c8f598>, total= 4.5s [CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.102200 최선의 손실: 0.102200 정확도: 96.60% 1 검증 세트 손실: 0.073656 최선의 손실: 0.073656 정확도: 97.85% 2 검증 세트 손실: 0.055486 최선의 손실: 0.055486 정확도: 98.08% 3 검증 세트 손실: 0.061788 최선의 손실: 0.055486 정확도: 98.24% 4 검증 세트 손실: 0.067512 최선의 손실: 0.055486 정확도: 98.32% 5 검증 세트 손실: 0.050193 최선의 손실: 0.050193 정확도: 98.28% 6 검증 세트 손실: 0.052479 최선의 손실: 0.050193 정확도: 98.55% 7 검증 세트 손실: 0.053578 최선의 손실: 0.050193 정확도: 98.55% 8 검증 세트 손실: 0.061782 최선의 손실: 0.050193 정확도: 98.32% 9 검증 세트 손실: 0.058064 최선의 손실: 0.050193 정확도: 98.51% 10 검증 세트 손실: 0.054059 최선의 손실: 0.050193 정확도: 98.36% 11 검증 세트 손실: 0.046581 최선의 손실: 0.046581 정확도: 98.63% 12 검증 세트 손실: 0.078034 최선의 손실: 0.046581 정확도: 98.59% 13 검증 세트 손실: 0.057006 최선의 손실: 0.046581 정확도: 98.63% 14 검증 세트 손실: 0.063797 최선의 손실: 0.046581 정확도: 98.44% 15 검증 세트 손실: 0.063711 최선의 손실: 0.046581 정확도: 98.36% 16 검증 세트 손실: 0.057403 최선의 손실: 0.046581 정확도: 98.55% 17 검증 세트 손실: 0.059202 최선의 손실: 0.046581 정확도: 98.63% 18 검증 세트 손실: 0.057341 최선의 손실: 0.046581 정확도: 98.91% 19 검증 세트 손실: 0.057384 최선의 손실: 0.046581 정확도: 98.75% 20 검증 세트 손실: 0.057615 최선의 손실: 0.046581 정확도: 98.71% 21 검증 세트 손실: 0.060954 최선의 손실: 0.046581 정확도: 98.71% 22 검증 세트 손실: 0.060256 최선의 손실: 0.046581 정확도: 98.83% 23 검증 세트 손실: 0.057628 최선의 손실: 0.046581 정확도: 98.79% 24 검증 세트 손실: 0.062271 최선의 손실: 0.046581 정확도: 98.94% 25 검증 세트 손실: 0.049751 최선의 손실: 0.046581 정확도: 98.79% 26 검증 세트 손실: 0.055815 최선의 손실: 0.046581 정확도: 98.79% 27 검증 세트 손실: 0.054935 최선의 손실: 0.046581 정확도: 98.79% 28 검증 세트 손실: 0.044202 최선의 손실: 0.044202 정확도: 98.87% 29 검증 세트 손실: 0.064252 최선의 손실: 0.044202 정확도: 98.71% 30 검증 세트 손실: 0.061310 최선의 손실: 0.044202 정확도: 98.94% 31 검증 세트 손실: 0.079245 최선의 손실: 0.044202 정확도: 98.59% 32 검증 세트 손실: 0.088311 최선의 손실: 0.044202 정확도: 98.71% 33 검증 세트 손실: 0.069206 최선의 손실: 0.044202 정확도: 98.87% 34 검증 세트 손실: 0.102815 최선의 손실: 0.044202 정확도: 98.16% 35 검증 세트 손실: 0.087242 최선의 손실: 0.044202 정확도: 98.44% 36 검증 세트 손실: 0.065415 최선의 손실: 0.044202 정확도: 98.79% 37 검증 세트 손실: 0.070522 최선의 손실: 0.044202 정확도: 98.75% 38 검증 세트 손실: 0.074627 최선의 손실: 0.044202 정확도: 98.79% 39 검증 세트 손실: 0.087092 최선의 손실: 0.044202 정확도: 98.71% 40 검증 세트 손실: 0.060599 최선의 손실: 0.044202 정확도: 98.67% 41 검증 세트 손실: 0.074922 최선의 손실: 0.044202 정확도: 98.94% 42 검증 세트 손실: 0.080989 최선의 손실: 0.044202 정확도: 98.87% 43 검증 세트 손실: 0.091159 최선의 손실: 0.044202 정확도: 98.79% 44 검증 세트 손실: 0.144406 최선의 손실: 0.044202 정확도: 97.77% 45 검증 세트 손실: 0.055888 최선의 손실: 0.044202 정확도: 98.91% 46 검증 세트 손실: 0.074388 최선의 손실: 0.044202 정확도: 98.71% 47 검증 세트 손실: 0.070984 최선의 손실: 0.044202 정확도: 98.55% 48 검증 세트 손실: 0.083879 최선의 손실: 0.044202 정확도: 98.75% 49 검증 세트 손실: 0.066670 최선의 손실: 0.044202 정확도: 98.71% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation=<function relu at 0x123c8f598>, total= 6.8s [CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 0.088652 최선의 손실: 0.088652 정확도: 97.46% 1 검증 세트 손실: 0.063386 최선의 손실: 0.063386 정확도: 97.97% 2 검증 세트 손실: 0.070248 최선의 손실: 0.063386 정확도: 97.69% 3 검증 세트 손실: 0.049080 최선의 손실: 0.049080 정확도: 98.28% 4 검증 세트 손실: 0.040359 최선의 손실: 0.040359 정확도: 98.51% 5 검증 세트 손실: 0.047063 최선의 손실: 0.040359 정확도: 98.44% 6 검증 세트 손실: 0.044299 최선의 손실: 0.040359 정확도: 98.67% 7 검증 세트 손실: 0.055566 최선의 손실: 0.040359 정확도: 98.48% 8 검증 세트 손실: 0.050959 최선의 손실: 0.040359 정확도: 98.40% 9 검증 세트 손실: 0.057184 최선의 손실: 0.040359 정확도: 98.59% 10 검증 세트 손실: 0.041364 최선의 손실: 0.040359 정확도: 98.87% 11 검증 세트 손실: 0.069492 최선의 손실: 0.040359 정확도: 98.51% 12 검증 세트 손실: 0.071155 최선의 손실: 0.040359 정확도: 98.48% 13 검증 세트 손실: 0.072509 최선의 손실: 0.040359 정확도: 98.32% 14 검증 세트 손실: 0.052413 최선의 손실: 0.040359 정확도: 98.91% 15 검증 세트 손실: 0.064910 최선의 손실: 0.040359 정확도: 98.71% 16 검증 세트 손실: 0.065995 최선의 손실: 0.040359 정확도: 98.67% 17 검증 세트 손실: 0.068794 최선의 손실: 0.040359 정확도: 98.36% 18 검증 세트 손실: 0.069127 최선의 손실: 0.040359 정확도: 98.59% 19 검증 세트 손실: 0.062558 최선의 손실: 0.040359 정확도: 98.63% 20 검증 세트 손실: 0.054186 최선의 손실: 0.040359 정확도: 98.71% 21 검증 세트 손실: 0.072632 최선의 손실: 0.040359 정확도: 98.55% 22 검증 세트 손실: 0.079190 최선의 손실: 0.040359 정확도: 98.51% 23 검증 세트 손실: 0.052768 최선의 손실: 0.040359 정확도: 98.75% 24 검증 세트 손실: 0.062091 최선의 손실: 0.040359 정확도: 98.75% 25 검증 세트 손실: 0.062220 최선의 손실: 0.040359 정확도: 98.75% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation=<function relu at 0x123c8f598>, total= 3.9s [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 1.482974 최선의 손실: 1.482974 정확도: 35.50% 1 검증 세트 손실: 1.677147 최선의 손실: 1.482974 정확도: 19.27% 2 검증 세트 손실: 1.907107 최선의 손실: 1.482974 정확도: 19.27% 3 검증 세트 손실: 1.861068 최선의 손실: 1.482974 정확도: 19.27% 4 검증 세트 손실: 1.673816 최선의 손실: 1.482974 정확도: 22.01% 5 검증 세트 손실: 1.642586 최선의 손실: 1.482974 정확도: 22.01% 6 검증 세트 손실: 1.900761 최선의 손실: 1.482974 정확도: 18.73% 7 검증 세트 손실: 1.797670 최선의 손실: 1.482974 정확도: 20.91% 8 검증 세트 손실: 1.672745 최선의 손실: 1.482974 정확도: 19.27% 9 검증 세트 손실: 1.917279 최선의 손실: 1.482974 정확도: 19.27% 10 검증 세트 손실: 1.848289 최선의 손실: 1.482974 정확도: 19.08% 11 검증 세트 손실: 2.030939 최선의 손실: 1.482974 정확도: 18.73% 12 검증 세트 손실: 1.860791 최선의 손실: 1.482974 정확도: 20.91% 13 검증 세트 손실: 1.687733 최선의 손실: 1.482974 정확도: 22.01% 14 검증 세트 손실: 1.840265 최선의 손실: 1.482974 정확도: 22.01% 15 검증 세트 손실: 1.892747 최선의 손실: 1.482974 정확도: 18.73% 16 검증 세트 손실: 1.733285 최선의 손실: 1.482974 정확도: 18.73% 17 검증 세트 손실: 2.282193 최선의 손실: 1.482974 정확도: 19.08% 18 검증 세트 손실: 1.826821 최선의 손실: 1.482974 정확도: 19.08% 19 검증 세트 손실: 1.697410 최선의 손실: 1.482974 정확도: 19.08% 20 검증 세트 손실: 1.683379 최선의 손실: 1.482974 정확도: 19.08% 21 검증 세트 손실: 2.549625 최선의 손실: 1.482974 정확도: 20.91% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function elu at 0x123d02048>, total= 9.4s [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 1.722565 최선의 손실: 1.722565 정확도: 20.91% 1 검증 세트 손실: 1.785392 최선의 손실: 1.722565 정확도: 19.08% 2 검증 세트 손실: 1.628201 최선의 손실: 1.628201 정확도: 19.27% 3 검증 세트 손실: 1.652404 최선의 손실: 1.628201 정확도: 22.01% 4 검증 세트 손실: 1.716403 최선의 손실: 1.628201 정확도: 19.27% 5 검증 세트 손실: 1.797952 최선의 손실: 1.628201 정확도: 20.91% 6 검증 세트 손실: 1.728574 최선의 손실: 1.628201 정확도: 22.01% 7 검증 세트 손실: 1.805420 최선의 손실: 1.628201 정확도: 20.91% 8 검증 세트 손실: 1.633313 최선의 손실: 1.628201 정확도: 18.73% 9 검증 세트 손실: 1.801804 최선의 손실: 1.628201 정확도: 20.91% 10 검증 세트 손실: 1.732872 최선의 손실: 1.628201 정확도: 22.01% 11 검증 세트 손실: 1.786180 최선의 손실: 1.628201 정확도: 22.01% 12 검증 세트 손실: 1.713210 최선의 손실: 1.628201 정확도: 19.27% 13 검증 세트 손실: 1.888283 최선의 손실: 1.628201 정확도: 18.73% 14 검증 세트 손실: 1.738438 최선의 손실: 1.628201 정확도: 18.73% 15 검증 세트 손실: 1.752351 최선의 손실: 1.628201 정확도: 18.73% 16 검증 세트 손실: 1.753282 최선의 손실: 1.628201 정확도: 22.01% 17 검증 세트 손실: 2.490773 최선의 손실: 1.628201 정확도: 19.27% 18 검증 세트 손실: 1.812165 최선의 손실: 1.628201 정확도: 22.01% 19 검증 세트 손실: 1.778575 최선의 손실: 1.628201 정확도: 19.27% 20 검증 세트 손실: 1.767412 최선의 손실: 1.628201 정확도: 20.91% 21 검증 세트 손실: 1.825839 최선의 손실: 1.628201 정확도: 22.01% 22 검증 세트 손실: 2.200057 최선의 손실: 1.628201 정확도: 19.27% 23 검증 세트 손실: 1.774644 최선의 손실: 1.628201 정확도: 19.27% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function elu at 0x123d02048>, total= 12.5s [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.533481 최선의 손실: 0.533481 정확도: 79.32% 1 검증 세트 손실: 1.671047 최선의 손실: 0.533481 정확도: 19.27% 2 검증 세트 손실: 1.754645 최선의 손실: 0.533481 정확도: 20.91% 3 검증 세트 손실: 1.646737 최선의 손실: 0.533481 정확도: 22.01% 4 검증 세트 손실: 1.675043 최선의 손실: 0.533481 정확도: 20.91% 5 검증 세트 손실: 1.853496 최선의 손실: 0.533481 정확도: 20.91% 6 검증 세트 손실: 1.728579 최선의 손실: 0.533481 정확도: 22.01% 7 검증 세트 손실: 1.780579 최선의 손실: 0.533481 정확도: 18.73% 8 검증 세트 손실: 1.726188 최선의 손실: 0.533481 정확도: 18.73% 9 검증 세트 손실: 1.913443 최선의 손실: 0.533481 정확도: 22.01% 10 검증 세트 손실: 1.621639 최선의 손실: 0.533481 정확도: 20.91% 11 검증 세트 손실: 1.959747 최선의 손실: 0.533481 정확도: 20.91% 12 검증 세트 손실: 2.007257 최선의 손실: 0.533481 정확도: 19.08% 13 검증 세트 손실: 2.115804 최선의 손실: 0.533481 정확도: 19.08% 14 검증 세트 손실: 1.758653 최선의 손실: 0.533481 정확도: 18.73% 15 검증 세트 손실: 1.640211 최선의 손실: 0.533481 정확도: 22.01% 16 검증 세트 손실: 1.798294 최선의 손실: 0.533481 정확도: 19.08% 17 검증 세트 손실: 2.599350 최선의 손실: 0.533481 정확도: 20.91% 18 검증 세트 손실: 1.683657 최선의 손실: 0.533481 정확도: 18.73% 19 검증 세트 손실: 1.696176 최선의 손실: 0.533481 정확도: 20.91% 20 검증 세트 손실: 1.941304 최선의 손실: 0.533481 정확도: 20.91% 21 검증 세트 손실: 1.941273 최선의 손실: 0.533481 정확도: 22.01% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function elu at 0x123d02048>, total= 9.8s [CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.135471 최선의 손실: 0.135471 정확도: 96.72% 1 검증 세트 손실: 0.284346 최선의 손실: 0.135471 정확도: 92.69% 2 검증 세트 손실: 1.808122 최선의 손실: 0.135471 정확도: 19.27% 3 검증 세트 손실: 1.703249 최선의 손실: 0.135471 정확도: 19.27% 4 검증 세트 손실: 1.703394 최선의 손실: 0.135471 정확도: 18.73% 5 검증 세트 손실: 1.684183 최선의 손실: 0.135471 정확도: 22.01% 6 검증 세트 손실: 1.632068 최선의 손실: 0.135471 정확도: 19.27% 7 검증 세트 손실: 1.699119 최선의 손실: 0.135471 정확도: 19.08% 8 검증 세트 손실: 1.747337 최선의 손실: 0.135471 정확도: 19.27% 9 검증 세트 손실: 1.882094 최선의 손실: 0.135471 정확도: 19.27% 10 검증 세트 손실: 1.728188 최선의 손실: 0.135471 정확도: 22.01% 11 검증 세트 손실: 1.780561 최선의 손실: 0.135471 정확도: 19.08% 12 검증 세트 손실: 1.707085 최선의 손실: 0.135471 정확도: 19.08% 13 검증 세트 손실: 1.755015 최선의 손실: 0.135471 정확도: 20.91% 14 검증 세트 손실: 1.679701 최선의 손실: 0.135471 정확도: 22.01% 15 검증 세트 손실: 1.664311 최선의 손실: 0.135471 정확도: 19.08% 16 검증 세트 손실: 1.817070 최선의 손실: 0.135471 정확도: 18.73% 17 검증 세트 손실: 1.642203 최선의 손실: 0.135471 정확도: 19.27% 18 검증 세트 손실: 1.687474 최선의 손실: 0.135471 정확도: 19.27% 19 검증 세트 손실: 1.631580 최선의 손실: 0.135471 정확도: 22.01% 20 검증 세트 손실: 1.659839 최선의 손실: 0.135471 정확도: 19.27% 21 검증 세트 손실: 1.727358 최선의 손실: 0.135471 정확도: 19.27% 조기 종료! [CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation=<function elu at 0x123d02048>, total= 13.1s [CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.188476 최선의 손실: 0.188476 정확도: 94.37% 1 검증 세트 손실: 1.769431 최선의 손실: 0.188476 정확도: 19.08% 2 검증 세트 손실: 1.624739 최선의 손실: 0.188476 정확도: 19.27% 3 검증 세트 손실: 1.653741 최선의 손실: 0.188476 정확도: 22.01% 4 검증 세트 손실: 1.625327 최선의 손실: 0.188476 정확도: 22.01% 5 검증 세트 손실: 1.637071 최선의 손실: 0.188476 정확도: 22.01% 6 검증 세트 손실: 1.675327 최선의 손실: 0.188476 정확도: 19.27% 7 검증 세트 손실: 1.757707 최선의 손실: 0.188476 정확도: 18.73% 8 검증 세트 손실: 1.830014 최선의 손실: 0.188476 정확도: 22.01% 9 검증 세트 손실: 1.797945 최선의 손실: 0.188476 정확도: 20.91% 10 검증 세트 손실: 1.742900 최선의 손실: 0.188476 정확도: 19.08% 11 검증 세트 손실: 1.673929 최선의 손실: 0.188476 정확도: 22.01% 12 검증 세트 손실: 1.770752 최선의 손실: 0.188476 정확도: 20.91% 13 검증 세트 손실: 1.652915 최선의 손실: 0.188476 정확도: 19.08% 14 검증 세트 손실: 1.672997 최선의 손실: 0.188476 정확도: 19.08% 15 검증 세트 손실: 1.703627 최선의 손실: 0.188476 정확도: 19.08% 16 검증 세트 손실: 1.654410 최선의 손실: 0.188476 정확도: 18.73% 17 검증 세트 손실: 1.669790 최선의 손실: 0.188476 정확도: 19.27% 18 검증 세트 손실: 1.632565 최선의 손실: 0.188476 정확도: 20.91% 19 검증 세트 손실: 1.641878 최선의 손실: 0.188476 정확도: 22.01% 20 검증 세트 손실: 1.696209 최선의 손실: 0.188476 정확도: 18.73% 21 검증 세트 손실: 1.768616 최선의 손실: 0.188476 정확도: 22.01% 조기 종료! [CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation=<function elu at 0x123d02048>, total= 13.2s [CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation=<function elu at 0x123d02048> 0 검증 세트 손실: 0.337403 최선의 손실: 0.337403 정확도: 96.60% 1 검증 세트 손실: 0.827070 최선의 손실: 0.337403 정확도: 58.29% 2 검증 세트 손실: 0.819792 최선의 손실: 0.337403 정확도: 61.30% 3 검증 세트 손실: 1.749512 최선의 손실: 0.337403 정확도: 22.01% 4 검증 세트 손실: 1.789497 최선의 손실: 0.337403 정확도: 22.01% 5 검증 세트 손실: 1.768836 최선의 손실: 0.337403 정확도: 20.91% 6 검증 세트 손실: 1.656510 최선의 손실: 0.337403 정확도: 19.27% 7 검증 세트 손실: 1.726297 최선의 손실: 0.337403 정확도: 18.73% 8 검증 세트 손실: 1.710314 최선의 손실: 0.337403 정확도: 22.01% 9 검증 세트 손실: 1.912224 최선의 손실: 0.337403 정확도: 20.91% 10 검증 세트 손실: 1.645493 최선의 손실: 0.337403 정확도: 18.73% 11 검증 세트 손실: 1.897754 최선의 손실: 0.337403 정확도: 18.73% 12 검증 세트 손실: 1.808427 최선의 손실: 0.337403 정확도: 19.08% 13 검증 세트 손실: 1.625273 최선의 손실: 0.337403 정확도: 22.01% 14 검증 세트 손실: 1.684349 최선의 손실: 0.337403 정확도: 19.08% 15 검증 세트 손실: 1.634759 최선의 손실: 0.337403 정확도: 22.01% 16 검증 세트 손실: 1.627064 최선의 손실: 0.337403 정확도: 22.01% 17 검증 세트 손실: 1.657911 최선의 손실: 0.337403 정확도: 18.73% 18 검증 세트 손실: 1.639505 최선의 손실: 0.337403 정확도: 19.08% 19 검증 세트 손실: 1.739637 최선의 손실: 0.337403 정확도: 18.73% 20 검증 세트 손실: 1.720654 최선의 손실: 0.337403 정확도: 18.73% 21 검증 세트 손실: 1.828079 최선의 손실: 0.337403 정확도: 22.01% 조기 종료! [CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation=<function elu at 0x123d02048>, total= 16.4s [CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 1.041596 최선의 손실: 1.041596 정확도: 53.99% 1 검증 세트 손실: 0.878841 최선의 손실: 0.878841 정확도: 60.36% 2 검증 세트 손실: 1.612590 최선의 손실: 0.878841 정확도: 22.01% 3 검증 세트 손실: 1.608200 최선의 손실: 0.878841 정확도: 22.01% 4 검증 세트 손실: 1.618394 최선의 손실: 0.878841 정확도: 22.01% 5 검증 세트 손실: 1.615573 최선의 손실: 0.878841 정확도: 22.01% 6 검증 세트 손실: 1.616693 최선의 손실: 0.878841 정확도: 22.01% 7 검증 세트 손실: 1.617627 최선의 손실: 0.878841 정확도: 22.01% 8 검증 세트 손실: 1.617036 최선의 손실: 0.878841 정확도: 19.27% 9 검증 세트 손실: 1.608656 최선의 손실: 0.878841 정확도: 22.01% 10 검증 세트 손실: 1.609213 최선의 손실: 0.878841 정확도: 22.01% 11 검증 세트 손실: 1.608799 최선의 손실: 0.878841 정확도: 22.01% 12 검증 세트 손실: 1.616541 최선의 손실: 0.878841 정확도: 22.01% 13 검증 세트 손실: 1.625419 최선의 손실: 0.878841 정확도: 18.73% 14 검증 세트 손실: 1.614398 최선의 손실: 0.878841 정확도: 18.73% 15 검증 세트 손실: 1.612102 최선의 손실: 0.878841 정확도: 22.01% 16 검증 세트 손실: 1.608087 최선의 손실: 0.878841 정확도: 22.01% 17 검증 세트 손실: 1.615087 최선의 손실: 0.878841 정확도: 19.27% 18 검증 세트 손실: 1.616775 최선의 손실: 0.878841 정확도: 18.73% 19 검증 세트 손실: 1.612285 최선의 손실: 0.878841 정확도: 22.01% 20 검증 세트 손실: 1.615545 최선의 손실: 0.878841 정확도: 19.08% 21 검증 세트 손실: 1.619599 최선의 손실: 0.878841 정확도: 19.27% 22 검증 세트 손실: 1.616394 최선의 손실: 0.878841 정확도: 18.73% 조기 종료! [CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation=<function relu at 0x123c8f598>, total= 18.5s [CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 1.611191 최선의 손실: 1.611191 정확도: 22.01% 1 검증 세트 손실: 1.617642 최선의 손실: 1.611191 정확도: 19.27% 2 검증 세트 손실: 1.609665 최선의 손실: 1.609665 정확도: 22.01% 3 검증 세트 손실: 1.620000 최선의 손실: 1.609665 정확도: 18.73% 4 검증 세트 손실: 1.611109 최선의 손실: 1.609665 정확도: 22.01% 5 검증 세트 손실: 1.612157 최선의 손실: 1.609665 정확도: 22.01% 6 검증 세트 손실: 1.631807 최선의 손실: 1.609665 정확도: 19.08% 7 검증 세트 손실: 1.622845 최선의 손실: 1.609665 정확도: 18.73% 8 검증 세트 손실: 1.613078 최선의 손실: 1.609665 정확도: 22.01% 9 검증 세트 손실: 1.611236 최선의 손실: 1.609665 정확도: 22.01% 10 검증 세트 손실: 1.610274 최선의 손실: 1.609665 정확도: 22.01% 11 검증 세트 손실: 1.611953 최선의 손실: 1.609665 정확도: 22.01% 12 검증 세트 손실: 1.615652 최선의 손실: 1.609665 정확도: 19.27% 13 검증 세트 손실: 1.617298 최선의 손실: 1.609665 정확도: 19.08% 14 검증 세트 손실: 1.610558 최선의 손실: 1.609665 정확도: 22.01% 15 검증 세트 손실: 1.612051 최선의 손실: 1.609665 정확도: 22.01% 16 검증 세트 손실: 1.619841 최선의 손실: 1.609665 정확도: 22.01% 17 검증 세트 손실: 1.614758 최선의 손실: 1.609665 정확도: 19.08% 18 검증 세트 손실: 1.611529 최선의 손실: 1.609665 정확도: 22.01% 19 검증 세트 손실: 1.609966 최선의 손실: 1.609665 정확도: 22.01% 20 검증 세트 손실: 1.608914 최선의 손실: 1.608914 정확도: 22.01% 21 검증 세트 손실: 1.629897 최선의 손실: 1.608914 정확도: 22.01% 22 검증 세트 손실: 1.620677 최선의 손실: 1.608914 정확도: 22.01% 23 검증 세트 손실: 1.622633 최선의 손실: 1.608914 정확도: 22.01% 24 검증 세트 손실: 1.607975 최선의 손실: 1.607975 정확도: 22.01% 25 검증 세트 손실: 1.610930 최선의 손실: 1.607975 정확도: 20.91% 26 검증 세트 손실: 1.611143 최선의 손실: 1.607975 정확도: 22.01% 27 검증 세트 손실: 1.621742 최선의 손실: 1.607975 정확도: 22.01% 28 검증 세트 손실: 1.630303 최선의 손실: 1.607975 정확도: 19.08% 29 검증 세트 손실: 1.609741 최선의 손실: 1.607975 정확도: 22.01% 30 검증 세트 손실: 1.609462 최선의 손실: 1.607975 정확도: 20.91% 31 검증 세트 손실: 1.614958 최선의 손실: 1.607975 정확도: 19.27% 32 검증 세트 손실: 1.615025 최선의 손실: 1.607975 정확도: 19.08% 33 검증 세트 손실: 1.610046 최선의 손실: 1.607975 정확도: 22.01% 34 검증 세트 손실: 1.610019 최선의 손실: 1.607975 정확도: 22.01% 35 검증 세트 손실: 1.612437 최선의 손실: 1.607975 정확도: 22.01% 36 검증 세트 손실: 1.609451 최선의 손실: 1.607975 정확도: 20.91% 37 검증 세트 손실: 1.615656 최선의 손실: 1.607975 정확도: 22.01% 38 검증 세트 손실: 1.611837 최선의 손실: 1.607975 정확도: 22.01% 39 검증 세트 손실: 1.617716 최선의 손실: 1.607975 정확도: 19.27% 40 검증 세트 손실: 1.609951 최선의 손실: 1.607975 정확도: 22.01% 41 검증 세트 손실: 1.613534 최선의 손실: 1.607975 정확도: 19.08% 42 검증 세트 손실: 1.615566 최선의 손실: 1.607975 정확도: 19.27% 43 검증 세트 손실: 1.619919 최선의 손실: 1.607975 정확도: 22.01% 44 검증 세트 손실: 1.622904 최선의 손실: 1.607975 정확도: 18.73% 45 검증 세트 손실: 1.612809 최선의 손실: 1.607975 정확도: 22.01% 조기 종료! [CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation=<function relu at 0x123c8f598>, total= 36.4s [CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation=<function relu at 0x123c8f598> 0 검증 세트 손실: 1.611907 최선의 손실: 1.611907 정확도: 22.01% 1 검증 세트 손실: 1.620832 최선의 손실: 1.611907 정확도: 19.27% 2 검증 세트 손실: 1.613535 최선의 손실: 1.611907 정확도: 22.01% 3 검증 세트 손실: 1.629832 최선의 손실: 1.611907 정확도: 18.73% 4 검증 세트 손실: 1.608650 최선의 손실: 1.608650 정확도: 22.01% 5 검증 세트 손실: 1.615835 최선의 손실: 1.608650 정확도: 22.01% 6 검증 세트 손실: 1.615288 최선의 손실: 1.608650 정확도: 22.01% 7 검증 세트 손실: 1.615526 최선의 손실: 1.608650 정확도: 18.73% 8 검증 세트 손실: 1.612325 최선의 손실: 1.608650 정확도: 22.01% 9 검증 세트 손실: 1.610823 최선의 손실: 1.608650 정확도: 22.01% 10 검증 세트 손실: 1.611892 최선의 손실: 1.608650 정확도: 22.01% 11 검증 세트 손실: 1.612864 최선의 손실: 1.608650 정확도: 22.01% 12 검증 세트 손실: 1.610800 최선의 손실: 1.608650 정확도: 20.91% 13 검증 세트 손실: 1.620052 최선의 손실: 1.608650 정확도: 19.27% 14 검증 세트 손실: 1.612822 최선의 손실: 1.608650 정확도: 22.01% 15 검증 세트 손실: 1.615500 최선의 손실: 1.608650 정확도: 22.01% 16 검증 세트 손실: 1.628746 최선의 손실: 1.608650 정확도: 18.73% 17 검증 세트 손실: 1.625349 최선의 손실: 1.608650 정확도: 19.08% 18 검증 세트 손실: 1.609349 최선의 손실: 1.608650 정확도: 20.91% 19 검증 세트 손실: 1.613123 최선의 손실: 1.608650 정확도: 19.08% 20 검증 세트 손실: 1.613291 최선의 손실: 1.608650 정확도: 19.27% 21 검증 세트 손실: 1.623134 최선의 손실: 1.608650 정확도: 22.01% 22 검증 세트 손실: 1.617782 최선의 손실: 1.608650 정확도: 22.01% 23 검증 세트 손실: 1.617094 최선의 손실: 1.608650 정확도: 22.01% 24 검증 세트 손실: 1.608748 최선의 손실: 1.608650 정확도: 20.91% 25 검증 세트 손실: 1.615597 최선의 손실: 1.608650 정확도: 18.73% 조기 종료! [CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation=<function relu at 0x123c8f598>, total= 20.8s [CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 2275.080566 최선의 손실: 2275.080566 정확도: 19.27% 1 검증 세트 손실: 67.066704 최선의 손실: 67.066704 정확도: 83.03% 2 검증 세트 손실: 3.114331 최선의 손실: 3.114331 정확도: 94.92% 3 검증 세트 손실: 1.879311 최선의 손실: 1.879311 정확도: 92.73% 4 검증 세트 손실: 1.229523 최선의 손실: 1.229523 정확도: 94.68% 5 검증 세트 손실: 0.945900 최선의 손실: 0.945900 정확도: 94.80% 6 검증 세트 손실: 0.911195 최선의 손실: 0.911195 정확도: 94.96% 7 검증 세트 손실: 1.839842 최선의 손실: 0.911195 정확도: 94.37% 8 검증 세트 손실: 0.787747 최선의 손실: 0.787747 정확도: 96.36% 9 검증 세트 손실: 0.556099 최선의 손실: 0.556099 정확도: 96.64% 10 검증 세트 손실: 0.645788 최선의 손실: 0.556099 정확도: 96.44% 11 검증 세트 손실: 0.469456 최선의 손실: 0.469456 정확도: 96.44% 12 검증 세트 손실: 0.400719 최선의 손실: 0.400719 정확도: 96.25% 13 검증 세트 손실: 0.429366 최선의 손실: 0.400719 정확도: 96.72% 14 검증 세트 손실: 0.444715 최선의 손실: 0.400719 정확도: 95.97% 15 검증 세트 손실: 0.534553 최선의 손실: 0.400719 정확도: 95.39% 16 검증 세트 손실: 0.447878 최선의 손실: 0.400719 정확도: 96.48% 17 검증 세트 손실: 0.442055 최선의 손실: 0.400719 정확도: 96.25% 18 검증 세트 손실: 0.437566 최선의 손실: 0.400719 정확도: 93.55% 19 검증 세트 손실: 0.300288 최선의 손실: 0.300288 정확도: 96.87% 20 검증 세트 손실: 0.328122 최선의 손실: 0.300288 정확도: 96.99% 21 검증 세트 손실: 0.319003 최선의 손실: 0.300288 정확도: 96.36% 22 검증 세트 손실: 0.354545 최선의 손실: 0.300288 정확도: 96.68% 23 검증 세트 손실: 0.242237 최선의 손실: 0.242237 정확도: 96.83% 24 검증 세트 손실: 0.902640 최선의 손실: 0.242237 정확도: 94.18% 25 검증 세트 손실: 0.434701 최선의 손실: 0.242237 정확도: 95.86% 26 검증 세트 손실: 0.331311 최선의 손실: 0.242237 정확도: 96.29% 27 검증 세트 손실: 0.273995 최선의 손실: 0.242237 정확도: 97.15% 28 검증 세트 손실: 0.244305 최선의 손실: 0.242237 정확도: 96.91% 29 검증 세트 손실: 0.256608 최선의 손실: 0.242237 정확도: 96.99% 30 검증 세트 손실: 0.260089 최선의 손실: 0.242237 정확도: 96.52% 31 검증 세트 손실: 0.262696 최선의 손실: 0.242237 정확도: 96.05% 32 검증 세트 손실: 0.231466 최선의 손실: 0.231466 정확도: 97.19% 33 검증 세트 손실: 0.201733 최선의 손실: 0.201733 정확도: 97.22% 34 검증 세트 손실: 0.200729 최선의 손실: 0.200729 정확도: 97.22% 35 검증 세트 손실: 0.216576 최선의 손실: 0.200729 정확도: 97.11% 36 검증 세트 손실: 0.297569 최선의 손실: 0.200729 정확도: 96.64% 37 검증 세트 손실: 0.304838 최선의 손실: 0.200729 정확도: 96.09% 38 검증 세트 손실: 0.252601 최선의 손실: 0.200729 정확도: 97.07% 39 검증 세트 손실: 0.237865 최선의 손실: 0.200729 정확도: 97.38% 40 검증 세트 손실: 22.361853 최선의 손실: 0.200729 정확도: 90.77% 41 검증 세트 손실: 1.063015 최선의 손실: 0.200729 정확도: 95.66% 42 검증 세트 손실: 0.703688 최선의 손실: 0.200729 정확도: 96.25% 43 검증 세트 손실: 0.568315 최선의 손실: 0.200729 정확도: 95.15% 44 검증 세트 손실: 0.452783 최선의 손실: 0.200729 정확도: 96.29% 45 검증 세트 손실: 0.432719 최선의 손실: 0.200729 정확도: 95.90% 46 검증 세트 손실: 0.322902 최선의 손실: 0.200729 정확도: 96.72% 47 검증 세트 손실: 0.597429 최선의 손실: 0.200729 정확도: 93.86% 48 검증 세트 손실: 0.268875 최선의 손실: 0.200729 정확도: 96.79% 49 검증 세트 손실: 0.304453 최선의 손실: 0.200729 정확도: 95.50% 50 검증 세트 손실: 0.224989 최선의 손실: 0.200729 정확도: 96.91% 51 검증 세트 손실: 0.245255 최선의 손실: 0.200729 정확도: 96.95% 52 검증 세트 손실: 0.226927 최선의 손실: 0.200729 정확도: 97.19% 53 검증 세트 손실: 0.202003 최선의 손실: 0.200729 정확도: 97.22% 54 검증 세트 손실: 0.291974 최선의 손실: 0.200729 정확도: 96.64% 55 검증 세트 손실: 0.201787 최선의 손실: 0.200729 정확도: 97.19% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 15.1s [CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 388.683228 최선의 손실: 388.683228 정확도: 18.53% 1 검증 세트 손실: 6.757631 최선의 손실: 6.757631 정확도: 87.53% 2 검증 세트 손실: 10.502560 최선의 손실: 6.757631 정확도: 72.99% 3 검증 세트 손실: 2.252991 최선의 손실: 2.252991 정확도: 92.73% 4 검증 세트 손실: 1.216929 최선의 손실: 1.216929 정확도: 94.18% 5 검증 세트 손실: 0.537426 최선의 손실: 0.537426 정확도: 95.82% 6 검증 세트 손실: 0.662283 최선의 손실: 0.537426 정확도: 93.90% 7 검증 세트 손실: 0.416525 최선의 손실: 0.416525 정확도: 95.74% 8 검증 세트 손실: 0.384255 최선의 손실: 0.384255 정확도: 96.21% 9 검증 세트 손실: 1.988363 최선의 손실: 0.384255 정확도: 92.85% 10 검증 세트 손실: 0.856406 최선의 손실: 0.384255 정확도: 95.35% 11 검증 세트 손실: 0.558824 최선의 손실: 0.384255 정확도: 96.64% 12 검증 세트 손실: 0.601808 최선의 손실: 0.384255 정확도: 95.74% 13 검증 세트 손실: 0.583799 최선의 손실: 0.384255 정확도: 95.82% 14 검증 세트 손실: 0.547169 최선의 손실: 0.384255 정확도: 96.33% 15 검증 세트 손실: 0.501700 최선의 손실: 0.384255 정확도: 96.21% 16 검증 세트 손실: 0.412369 최선의 손실: 0.384255 정확도: 96.52% 17 검증 세트 손실: 0.419943 최선의 손실: 0.384255 정확도: 96.13% 18 검증 세트 손실: 0.546412 최선의 손실: 0.384255 정확도: 95.11% 19 검증 세트 손실: 0.564446 최선의 손실: 0.384255 정확도: 96.05% 20 검증 세트 손실: 0.630750 최선의 손실: 0.384255 정확도: 94.61% 21 검증 세트 손실: 0.550487 최선의 손실: 0.384255 정확도: 96.29% 22 검증 세트 손실: 0.544258 최선의 손실: 0.384255 정확도: 96.68% 23 검증 세트 손실: 0.519110 최선의 손실: 0.384255 정확도: 96.76% 24 검증 세트 손실: 0.521191 최선의 손실: 0.384255 정확도: 97.22% 25 검증 세트 손실: 0.547593 최선의 손실: 0.384255 정확도: 96.56% 26 검증 세트 손실: 0.636030 최선의 손실: 0.384255 정확도: 93.98% 27 검증 세트 손실: 0.921584 최선의 손실: 0.384255 정확도: 93.59% 28 검증 세트 손실: 0.595690 최선의 손실: 0.384255 정확도: 96.60% 29 검증 세트 손실: 0.673857 최선의 손실: 0.384255 정확도: 97.07% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 8.9s [CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840> 0 검증 세트 손실: 787.123657 최선의 손실: 787.123657 정확도: 19.16% 1 검증 세트 손실: 441.523163 최선의 손실: 441.523163 정확도: 74.00% 2 검증 세트 손실: 31.565487 최선의 손실: 31.565487 정확도: 90.97% 3 검증 세트 손실: 6.550366 최선의 손실: 6.550366 정확도: 94.57% 4 검증 세트 손실: 5.053459 최선의 손실: 5.053459 정확도: 92.26% 5 검증 세트 손실: 3.470993 최선의 손실: 3.470993 정확도: 94.37% 6 검증 세트 손실: 2.679081 최선의 손실: 2.679081 정확도: 95.23% 7 검증 세트 손실: 3.220132 최선의 손실: 2.679081 정확도: 93.98% 8 검증 세트 손실: 36.187553 최선의 손실: 2.679081 정확도: 75.45% 9 검증 세트 손실: 5.725320 최선의 손실: 2.679081 정확도: 95.50% 10 검증 세트 손실: 2.260707 최선의 손실: 2.260707 정확도: 96.40% 11 검증 세트 손실: 2.403341 최선의 손실: 2.260707 정확도: 96.21% 12 검증 세트 손실: 3.684607 최선의 손실: 2.260707 정확도: 94.18% 13 검증 세트 손실: 2.051698 최선의 손실: 2.051698 정확도: 95.58% 14 검증 세트 손실: 1.683820 최선의 손실: 1.683820 정확도: 95.90% 15 검증 세트 손실: 2.051600 최선의 손실: 1.683820 정확도: 94.06% 16 검증 세트 손실: 1.408188 최선의 손실: 1.408188 정확도: 96.60% 17 검증 세트 손실: 0.929456 최선의 손실: 0.929456 정확도: 97.07% 18 검증 세트 손실: 0.904620 최선의 손실: 0.904620 정확도: 97.03% 19 검증 세트 손실: 9.152907 최선의 손실: 0.904620 정확도: 93.00% 20 검증 세트 손실: 10.831101 최선의 손실: 0.904620 정확도: 95.11% 21 검증 세트 손실: 9.504235 최선의 손실: 0.904620 정확도: 96.60% 22 검증 세트 손실: 1.168152 최선의 손실: 0.904620 정확도: 96.91% 23 검증 세트 손실: 1.197733 최선의 손실: 0.904620 정확도: 97.03% 24 검증 세트 손실: 0.951795 최선의 손실: 0.904620 정확도: 97.22% 25 검증 세트 손실: 0.566731 최선의 손실: 0.566731 정확도: 96.99% 26 검증 세트 손실: 0.648919 최선의 손실: 0.566731 정확도: 96.21% 27 검증 세트 손실: 0.613675 최선의 손실: 0.566731 정확도: 97.30% 28 검증 세트 손실: 0.491607 최선의 손실: 0.491607 정확도: 97.69% 29 검증 세트 손실: 0.465201 최선의 손실: 0.465201 정확도: 97.62% 30 검증 세트 손실: 0.442263 최선의 손실: 0.442263 정확도: 97.15% 31 검증 세트 손실: 0.848955 최선의 손실: 0.442263 정확도: 96.48% 32 검증 세트 손실: 0.836628 최선의 손실: 0.442263 정확도: 96.01% 33 검증 세트 손실: 0.647083 최선의 손실: 0.442263 정확도: 97.46% 34 검증 세트 손실: 0.764112 최선의 손실: 0.442263 정확도: 97.42% 35 검증 세트 손실: 0.523746 최선의 손실: 0.442263 정확도: 96.56% 36 검증 세트 손실: 0.426878 최선의 손실: 0.426878 정확도: 97.26% 37 검증 세트 손실: 0.572878 최선의 손실: 0.426878 정확도: 95.47% 38 검증 세트 손실: 0.391347 최선의 손실: 0.391347 정확도: 97.62% 39 검증 세트 손실: 0.480810 최선의 손실: 0.391347 정확도: 96.64% 40 검증 세트 손실: 0.455018 최선의 손실: 0.391347 정확도: 96.83% 41 검증 세트 손실: 0.561108 최선의 손실: 0.391347 정확도: 97.89% 42 검증 세트 손실: 0.642898 최선의 손실: 0.391347 정확도: 97.89% 43 검증 세트 손실: 0.552890 최선의 손실: 0.391347 정확도: 97.34% 44 검증 세트 손실: 0.734948 최선의 손실: 0.391347 정확도: 97.65% 45 검증 세트 손실: 0.796018 최선의 손실: 0.391347 정확도: 96.87% 46 검증 세트 손실: 2.019287 최선의 손실: 0.391347 정확도: 94.06% 47 검증 세트 손실: 0.914829 최선의 손실: 0.391347 정확도: 96.83% 48 검증 세트 손실: 0.509918 최선의 손실: 0.391347 정확도: 97.42% 49 검증 세트 손실: 0.504123 최선의 손실: 0.391347 정확도: 97.93% 50 검증 세트 손실: 0.430663 최선의 손실: 0.391347 정확도: 96.76% 51 검증 세트 손실: 0.360097 최선의 손실: 0.360097 정확도: 97.42% 52 검증 세트 손실: 0.310129 최선의 손실: 0.310129 정확도: 97.54% 53 검증 세트 손실: 0.488697 최선의 손실: 0.310129 정확도: 96.87% 54 검증 세트 손실: 0.686665 최선의 손실: 0.310129 정확도: 95.50% 55 검증 세트 손실: 0.604893 최선의 손실: 0.310129 정확도: 97.62% 56 검증 세트 손실: 0.457196 최선의 손실: 0.310129 정확도: 98.01% 57 검증 세트 손실: 0.502045 최선의 손실: 0.310129 정확도: 97.73% 58 검증 세트 손실: 0.498006 최선의 손실: 0.310129 정확도: 97.65% 59 검증 세트 손실: 0.558019 최선의 손실: 0.310129 정확도: 97.65% 60 검증 세트 손실: 0.658648 최선의 손실: 0.310129 정확도: 97.30% 61 검증 세트 손실: 0.685828 최선의 손실: 0.310129 정확도: 97.77% 62 검증 세트 손실: 0.538611 최선의 손실: 0.310129 정확도: 97.69% 63 검증 세트 손실: 0.575119 최선의 손실: 0.310129 정확도: 97.85% 64 검증 세트 손실: 0.646592 최선의 손실: 0.310129 정확도: 97.77% 65 검증 세트 손실: 6187374.500000 최선의 손실: 0.310129 정확도: 29.59% 66 검증 세트 손실: 3097332.000000 최선의 손실: 0.310129 정확도: 70.60% 67 검증 세트 손실: 192219.781250 최선의 손실: 0.310129 정확도: 87.33% 68 검증 세트 손실: 135543.406250 최선의 손실: 0.310129 정확도: 86.00% 69 검증 세트 손실: 94655.000000 최선의 손실: 0.310129 정확도: 89.21% 70 검증 세트 손실: 67540.007812 최선의 손실: 0.310129 정확도: 91.56% 71 검증 세트 손실: 58226.546875 최선의 손실: 0.310129 정확도: 92.22% 72 검증 세트 손실: 71101.476562 최선의 손실: 0.310129 정확도: 89.64% 73 검증 세트 손실: 54847.761719 최선의 손실: 0.310129 정확도: 89.87% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>, total= 19.7s
[Parallel(n_jobs=1)]: Done 150 out of 150 | elapsed: 44.7min finished
0 검증 세트 손실: 0.069587 최선의 손실: 0.069587 정확도: 98.12% 1 검증 세트 손실: 0.045461 최선의 손실: 0.045461 정확도: 98.51% 2 검증 세트 손실: 0.040988 최선의 손실: 0.040988 정확도: 98.40% 3 검증 세트 손실: 0.045697 최선의 손실: 0.040988 정확도: 98.32% 4 검증 세트 손실: 0.045955 최선의 손실: 0.040988 정확도: 98.40% 5 검증 세트 손실: 0.046591 최선의 손실: 0.040988 정확도: 98.71% 6 검증 세트 손실: 0.039561 최선의 손실: 0.039561 정확도: 98.79% 7 검증 세트 손실: 0.053414 최선의 손실: 0.039561 정확도: 98.59% 8 검증 세트 손실: 0.055005 최선의 손실: 0.039561 정확도: 98.63% 9 검증 세트 손실: 0.039617 최선의 손실: 0.039561 정확도: 99.10% 10 검증 세트 손실: 0.047880 최선의 손실: 0.039561 정확도: 98.75% 11 검증 세트 손실: 0.052929 최선의 손실: 0.039561 정확도: 99.10% 12 검증 세트 손실: 0.064144 최선의 손실: 0.039561 정확도: 98.75% 13 검증 세트 손실: 0.048669 최선의 손실: 0.039561 정확도: 98.91% 14 검증 세트 손실: 0.032056 최선의 손실: 0.032056 정확도: 99.22% 15 검증 세트 손실: 0.038112 최선의 손실: 0.032056 정확도: 99.10% 16 검증 세트 손실: 0.042357 최선의 손실: 0.032056 정확도: 99.18% 17 검증 세트 손실: 0.074032 최선의 손실: 0.032056 정확도: 98.94% 18 검증 세트 손실: 0.036158 최선의 손실: 0.032056 정확도: 98.98% 19 검증 세트 손실: 0.059001 최선의 손실: 0.032056 정확도: 98.87% 20 검증 세트 손실: 0.038203 최선의 손실: 0.032056 정확도: 99.14% 21 검증 세트 손실: 0.041076 최선의 손실: 0.032056 정확도: 99.10% 22 검증 세트 손실: 0.049808 최선의 손실: 0.032056 정확도: 99.02% 23 검증 세트 손실: 0.047996 최선의 손실: 0.032056 정확도: 99.02% 24 검증 세트 손실: 0.037753 최선의 손실: 0.032056 정확도: 98.94% 25 검증 세트 손실: 0.081945 최선의 손실: 0.032056 정확도: 98.55% 26 검증 세트 손실: 0.047247 최선의 손실: 0.032056 정확도: 99.14% 27 검증 세트 손실: 0.112115 최선의 손실: 0.032056 정확도: 98.59% 28 검증 세트 손실: 0.120192 최선의 손실: 0.032056 정확도: 96.95% 29 검증 세트 손실: 0.092853 최선의 손실: 0.032056 정확도: 98.20% 30 검증 세트 손실: 0.100200 최선의 손실: 0.032056 정확도: 98.32% 31 검증 세트 손실: 0.094760 최선의 손실: 0.032056 정확도: 98.59% 32 검증 세트 손실: 0.128119 최선의 손실: 0.032056 정확도: 98.44% 33 검증 세트 손실: 0.070478 최선의 손실: 0.032056 정확도: 98.75% 34 검증 세트 손실: 0.158504 최선의 손실: 0.032056 정확도: 98.71% 35 검증 세트 손실: 0.055303 최선의 손실: 0.032056 정확도: 98.87% 조기 종료!
Out[63]:
RandomizedSearchCV(cv=3, error_score='raise-deprecating',
estimator=DNNclassifier(activation=<function elu at 0x123d02048>,
batch_norm_momentum=None, batch_size=20, dropout_rate=None,
initializer=<tensorflow.python.ops.init_ops.VarianceScaling object at 0x13522ac18>,
learning_rate=0.01, n_hidden_layers=5, n_neurons=100,
optimizer_class=<class 'tensorflow.python.training.adam.AdamOptimizer'>,
random_state=42),
fit_params=None, iid='warn', n_iter=50, n_jobs=None,
param_distributions={'n_neurons': [10, 30, 50, 70, 90, 100, 120, 140, 160], 'batch_size': [10, 50, 100, 500], 'learning_rate': [0.01, 0.02, 0.05, 0.1], 'activation': [<function relu at 0x123c8f598>, <function elu at 0x123d02048>, <function leaky_relu.<locals>.parametrized_leaky_relu at 0x1462e2b70>, <function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f34840>]},
pre_dispatch='2*n_jobs', random_state=42, refit=True,
return_train_score='warn', scoring=None, verbose=2)In [66]:
rnd_search.best_params_
Out[66]:
{'n_neurons': 90,
'learning_rate': 0.01,
'batch_size': 500,
'activation': <function __main__.leaky_relu.<locals>.parametrized_leaky_relu(z, name=None)>}In [67]:
y_pred = rnd_search.predict(X_test1)
accuracy_score(y_test1,y_pred)
Out[67]:
0.9896867094765519
In [68]:
rnd_search.best_estimator_.save("./my_best_mnist_model_0_to_4")
In [69]:
dnn_clf = DNNClassifier(activation=leaky_relu(alpha=0.1), batch_size=500, learning_rate=0.01,
n_neurons=120, random_state=42)
dnn_clf.fit(X_train1, y_train1, n_epochs=1000, X_valid=X_valid1, y_valid=y_valid1)
0 검증 세트 손실: 0.072222 최선의 손실: 0.072222 정확도: 97.77% 1 검증 세트 손실: 0.057460 최선의 손실: 0.057460 정확도: 98.40% 2 검증 세트 손실: 0.037175 최선의 손실: 0.037175 정확도: 98.98% 3 검증 세트 손실: 0.071968 최선의 손실: 0.037175 정확도: 97.89% 4 검증 세트 손실: 0.060489 최선의 손실: 0.037175 정확도: 98.16% 5 검증 세트 손실: 0.038599 최선의 손실: 0.037175 정확도: 98.63% 6 검증 세트 손실: 0.041492 최선의 손실: 0.037175 정확도: 98.83% 7 검증 세트 손실: 0.046173 최선의 손실: 0.037175 정확도: 98.67% 8 검증 세트 손실: 0.053544 최선의 손실: 0.037175 정확도: 98.79% 9 검증 세트 손실: 0.048563 최선의 손실: 0.037175 정확도: 98.63% 10 검증 세트 손실: 0.041216 최선의 손실: 0.037175 정확도: 99.02% 11 검증 세트 손실: 0.080648 최선의 손실: 0.037175 정확도: 98.55% 12 검증 세트 손실: 0.054230 최선의 손실: 0.037175 정확도: 98.75% 13 검증 세트 손실: 0.055510 최선의 손실: 0.037175 정확도: 98.79% 14 검증 세트 손실: 0.041197 최선의 손실: 0.037175 정확도: 98.87% 15 검증 세트 손실: 0.057049 최선의 손실: 0.037175 정확도: 98.79% 16 검증 세트 손실: 0.049067 최선의 손실: 0.037175 정확도: 98.98% 17 검증 세트 손실: 0.059362 최선의 손실: 0.037175 정확도: 98.98% 18 검증 세트 손실: 0.052235 최선의 손실: 0.037175 정확도: 98.83% 19 검증 세트 손실: 0.050798 최선의 손실: 0.037175 정확도: 98.83% 20 검증 세트 손실: 0.050690 최선의 손실: 0.037175 정확도: 99.02% 21 검증 세트 손실: 0.069206 최선의 손실: 0.037175 정확도: 98.91% 22 검증 세트 손실: 0.050209 최선의 손실: 0.037175 정확도: 98.98% 23 검증 세트 손실: 0.052883 최선의 손실: 0.037175 정확도: 99.14% 조기 종료!
Out[69]:
DNNClassifier(activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x146f346a8>,
batch_norm_momentum=None, batch_size=500, dropout_rate=None,
initializer=<tensorflow.python.ops.init_ops.VarianceScaling object at 0x13522ac18>,
learning_rate=0.01, n_hidden_layers=5, n_neurons=120,
optimizer_class=<class 'tensorflow.python.training.adam.AdamOptimizer'>,
random_state=42)In [70]:
y_pred = dnn_clf.predict(X_test1)
accuracy_score(y_test1, y_pred)
Out[70]:
0.9898812998637867
In [71]:
dnn_clf_bn = DNNClassifier(activation=leaky_relu(alpha=0.1), batch_size=500, learning_rate=0.01,
n_neurons=120, random_state=42,
batch_norm_momentum=0.95)
dnn_clf_bn.fit(X_train1, y_train1, n_epochs=1000, X_valid=X_valid1, y_valid=y_valid1)
WARNING:tensorflow:From <ipython-input-56-e5858d18dace>:31: batch_normalization (from tensorflow.python.layers.normalization) is deprecated and will be removed in a future version. Instructions for updating: Use keras.layers.batch_normalization instead. WARNING:tensorflow:From /Users/charming/anaconda3/lib/python3.7/site-packages/tensorflow/python/ops/math_ops.py:3066: to_int32 (from tensorflow.python.ops.math_ops) is deprecated and will be removed in a future version. Instructions for updating: Use tf.cast instead. 0 검증 세트 손실: 0.048325 최선의 손실: 0.048325 정확도: 98.55% 1 검증 세트 손실: 0.052813 최선의 손실: 0.048325 정확도: 98.28% 2 검증 세트 손실: 0.048002 최선의 손실: 0.048002 정확도: 98.48% 3 검증 세트 손실: 0.046393 최선의 손실: 0.046393 정확도: 98.59% 4 검증 세트 손실: 0.042247 최선의 손실: 0.042247 정확도: 98.87% 5 검증 세트 손실: 0.035825 최선의 손실: 0.035825 정확도: 99.06% 6 검증 세트 손실: 0.036654 최선의 손실: 0.035825 정확도: 99.02% 7 검증 세트 손실: 0.032866 최선의 손실: 0.032866 정확도: 99.06% 8 검증 세트 손실: 0.042724 최선의 손실: 0.032866 정확도: 98.83% 9 검증 세트 손실: 0.034751 최선의 손실: 0.032866 정확도: 99.22% 10 검증 세트 손실: 0.035116 최선의 손실: 0.032866 정확도: 99.06% 11 검증 세트 손실: 0.043472 최선의 손실: 0.032866 정확도: 98.94% 12 검증 세트 손실: 0.047397 최선의 손실: 0.032866 정확도: 98.71% 13 검증 세트 손실: 0.042817 최선의 손실: 0.032866 정확도: 99.02% 14 검증 세트 손실: 0.045021 최선의 손실: 0.032866 정확도: 98.94% 15 검증 세트 손실: 0.030093 최선의 손실: 0.030093 정확도: 99.14% 16 검증 세트 손실: 0.037667 최선의 손실: 0.030093 정확도: 99.18% 17 검증 세트 손실: 0.042026 최선의 손실: 0.030093 정확도: 98.91% 18 검증 세트 손실: 0.047411 최선의 손실: 0.030093 정확도: 98.83% 19 검증 세트 손실: 0.027200 최선의 손실: 0.027200 정확도: 99.34% 20 검증 세트 손실: 0.028047 최선의 손실: 0.027200 정확도: 99.30% 21 검증 세트 손실: 0.032842 최선의 손실: 0.027200 정확도: 99.18% 22 검증 세트 손실: 0.032968 최선의 손실: 0.027200 정확도: 99.10% 23 검증 세트 손실: 0.022610 최선의 손실: 0.022610 정확도: 99.41% 24 검증 세트 손실: 0.049787 최선의 손실: 0.022610 정확도: 98.83% 25 검증 세트 손실: 0.040406 최선의 손실: 0.022610 정확도: 99.06% 26 검증 세트 손실: 0.036676 최선의 손실: 0.022610 정확도: 99.30% 27 검증 세트 손실: 0.048046 최선의 손실: 0.022610 정확도: 98.94% 28 검증 세트 손실: 0.027883 최선의 손실: 0.022610 정확도: 99.26% 29 검증 세트 손실: 0.030420 최선의 손실: 0.022610 정확도: 99.26% 30 검증 세트 손실: 0.026558 최선의 손실: 0.022610 정확도: 99.34% 31 검증 세트 손실: 0.029554 최선의 손실: 0.022610 정확도: 99.34% 32 검증 세트 손실: 0.039843 최선의 손실: 0.022610 정확도: 99.06% 33 검증 세트 손실: 0.024604 최선의 손실: 0.022610 정확도: 99.37% 34 검증 세트 손실: 0.025912 최선의 손실: 0.022610 정확도: 99.49% 35 검증 세트 손실: 0.029594 최선의 손실: 0.022610 정확도: 99.45% 36 검증 세트 손실: 0.026183 최선의 손실: 0.022610 정확도: 99.26% 37 검증 세트 손실: 0.043810 최선의 손실: 0.022610 정확도: 99.14% 38 검증 세트 손실: 0.039098 최선의 손실: 0.022610 정확도: 99.18% 39 검증 세트 손실: 0.062796 최선의 손실: 0.022610 정확도: 98.87% 40 검증 세트 손실: 0.050258 최선의 손실: 0.022610 정확도: 99.14% 41 검증 세트 손실: 0.029169 최선의 손실: 0.022610 정확도: 99.37% 42 검증 세트 손실: 0.024536 최선의 손실: 0.022610 정확도: 99.45% 43 검증 세트 손실: 0.023635 최선의 손실: 0.022610 정확도: 99.41% 44 검증 세트 손실: 0.035296 최선의 손실: 0.022610 정확도: 99.49% 조기 종료!
Out[71]:
DNNClassifier(activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x13a2c3d08>,
batch_norm_momentum=0.95, batch_size=500, dropout_rate=None,
initializer=<tensorflow.python.ops.init_ops.VarianceScaling object at 0x13522ac18>,
learning_rate=0.01, n_hidden_layers=5, n_neurons=120,
optimizer_class=<class 'tensorflow.python.training.adam.AdamOptimizer'>,
random_state=42)In [72]:
y_pred = dnn_clf_bn.predict(X_test1)
accuracy_score(y_test1, y_pred)
Out[72]:
0.9945514691574237
In [73]:
y_pred = dnn_clf.predict(X_train1)
accuracy_score(y_train1, y_pred)
Out[73]:
0.993473143590841
In [74]:
dnn_clf_dropout = DNNClassifier(activation=leaky_relu(alpha=0.1), batch_size=500, learning_rate=0.01,
n_neurons=90, random_state=42,
dropout_rate=0.5)
dnn_clf_dropout.fit(X_train1, y_train1, n_epochs=1000, X_valid=X_valid1, y_valid=y_valid1)
WARNING:tensorflow:From <ipython-input-56-e5858d18dace>:25: dropout (from tensorflow.python.layers.core) is deprecated and will be removed in a future version. Instructions for updating: Use keras.layers.dropout instead. WARNING:tensorflow:From /Users/charming/anaconda3/lib/python3.7/site-packages/tensorflow/python/keras/layers/core.py:143: calling dropout (from tensorflow.python.ops.nn_ops) with keep_prob is deprecated and will be removed in a future version. Instructions for updating: Please use `rate` instead of `keep_prob`. Rate should be set to `rate = 1 - keep_prob`. 0 검증 세트 손실: 0.129122 최선의 손실: 0.129122 정확도: 96.83% 1 검증 세트 손실: 0.094062 최선의 손실: 0.094062 정확도: 97.15% 2 검증 세트 손실: 0.091307 최선의 손실: 0.091307 정확도: 97.69% 3 검증 세트 손실: 0.095584 최선의 손실: 0.091307 정확도: 97.46% 4 검증 세트 손실: 0.083717 최선의 손실: 0.083717 정확도: 97.69% 5 검증 세트 손실: 0.082128 최선의 손실: 0.082128 정확도: 98.16% 6 검증 세트 손실: 0.078494 최선의 손실: 0.078494 정확도: 97.89% 7 검증 세트 손실: 0.086802 최선의 손실: 0.078494 정확도: 98.20% 8 검증 세트 손실: 0.079660 최선의 손실: 0.078494 정확도: 97.97% 9 검증 세트 손실: 0.072200 최선의 손실: 0.072200 정확도: 98.01% 10 검증 세트 손실: 0.083357 최선의 손실: 0.072200 정확도: 97.73% 11 검증 세트 손실: 0.075399 최선의 손실: 0.072200 정확도: 97.89% 12 검증 세트 손실: 0.064546 최선의 손실: 0.064546 정확도: 98.36% 13 검증 세트 손실: 0.069225 최선의 손실: 0.064546 정확도: 98.40% 14 검증 세트 손실: 0.078339 최선의 손실: 0.064546 정확도: 98.05% 15 검증 세트 손실: 0.075174 최선의 손실: 0.064546 정확도: 98.20% 16 검증 세트 손실: 0.084204 최선의 손실: 0.064546 정확도: 97.77% 17 검증 세트 손실: 0.080734 최선의 손실: 0.064546 정확도: 98.12% 18 검증 세트 손실: 0.071875 최선의 손실: 0.064546 정확도: 98.24% 19 검증 세트 손실: 0.068114 최선의 손실: 0.064546 정확도: 98.36% 20 검증 세트 손실: 0.078438 최선의 손실: 0.064546 정확도: 98.08% 21 검증 세트 손실: 0.073068 최선의 손실: 0.064546 정확도: 98.40% 22 검증 세트 손실: 0.064904 최선의 손실: 0.064546 정확도: 98.36% 23 검증 세트 손실: 0.065646 최선의 손실: 0.064546 정확도: 98.48% 24 검증 세트 손실: 0.069739 최선의 손실: 0.064546 정확도: 98.28% 25 검증 세트 손실: 0.067851 최선의 손실: 0.064546 정확도: 98.24% 26 검증 세트 손실: 0.139604 최선의 손실: 0.064546 정확도: 97.89% 27 검증 세트 손실: 0.172047 최선의 손실: 0.064546 정확도: 94.18% 28 검증 세트 손실: 0.177230 최선의 손실: 0.064546 정확도: 95.31% 29 검증 세트 손실: 0.145151 최선의 손실: 0.064546 정확도: 94.68% 30 검증 세트 손실: 0.113417 최선의 손실: 0.064546 정확도: 97.38% 31 검증 세트 손실: 0.115257 최선의 손실: 0.064546 정확도: 97.15% 32 검증 세트 손실: 0.109530 최선의 손실: 0.064546 정확도: 97.46% 33 검증 세트 손실: 0.215533 최선의 손실: 0.064546 정확도: 96.05% 조기 종료!
Out[74]:
DNNClassifier(activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x13a8af048>,
batch_norm_momentum=None, batch_size=500, dropout_rate=0.5,
initializer=<tensorflow.python.ops.init_ops.VarianceScaling object at 0x13522ac18>,
learning_rate=0.01, n_hidden_layers=5, n_neurons=90,
optimizer_class=<class 'tensorflow.python.training.adam.AdamOptimizer'>,
random_state=42)In [75]:
y_pred = dnn_clf_dropout.predict(X_test1)
accuracy_score(y_test1, y_pred)
#드롭아웃도 그닥 도움 안됨
# 하이퍼파라미터 튜닝 생략 / 너무 오래걸림
# 하이퍼파라미터 튜닝해도 성능은 비슷함
Out[75]:
0.985016540182915
In [ ]:
In [ ]:
In [77]:
tf.reset_default_graph()
restore_saver = tf.train.import_meta_graph("./my_best_mnist_model_0_to_4.meta")
X = tf.get_default_graph().get_tensor_by_name("X:0")
y = tf.get_default_graph().get_tensor_by_name("y:0")
loss = tf.get_default_graph().get_tensor_by_name("loss:0")
Y_proba = tf.get_default_graph().get_tensor_by_name("Y_proba:0")
logits = Y_proba.op.inputs[0]
accuracy = tf.get_default_graph().get_tensor_by_name("accuracy:0")
In [78]:
learning_rate = 0.01
output_layer_vars = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES, scope="logits")
optimizer = tf.train.AdamOptimizer(learning_rate, name="Adam2")
training_op = optimizer.minimize(loss, var_list=output_layer_vars)
In [79]:
correct = tf.nn.in_top_k(logits, y, 1)
accuracy = tf.reduce_mean(tf.cast(correct, tf.float32), name="accuracy")
init = tf.global_variables_initializer()
five_frozen_saver = tf.train.Saver()
In [80]:
X_train2_full = X_train[y_train >= 5]
y_train2_full = y_train[y_train >= 5] - 5
X_valid2_full = X_valid[y_valid >= 5]
y_valid2_full = y_valid[y_valid >= 5] - 5
X_test2 = X_test[y_test >= 5]
y_test2 = y_test[y_test >= 5] - 5
In [81]:
def sample_n_instances_per_class(X, y, n=100):
Xs, ys = [], []
for label in np.unique(y):
idx = (y == label)
Xc = X[idx][:n]
yc = y[idx][:n]
Xs.append(Xc)
ys.append(yc)
return np.concatenate(Xs), np.concatenate(ys)
In [84]:
X_train2, y_train2 = sample_n_instances_per_class(X_train2_full, y_train2_full, n=100)
X_valid2, y_valid2 = sample_n_instances_per_class(X_valid2_full, y_valid2_full, n=30)
In [85]:
import time
n_epochs = 1000
batch_size = 20
max_checks_without_progress = 20
checks_without_progress = 0
best_loss = np.infty
with tf.Session() as sess:
init.run()
restore_saver.restore(sess, "./my_best_mnist_model_0_to_4")
t0 = time.time()
for epoch in range(n_epochs):
rnd_idx = np.random.permutation(len(X_train2))
for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):
X_batch, y_batch = X_train2[rnd_indices], y_train2[rnd_indices]
sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
loss_val, acc_val = sess.run([loss, accuracy], feed_dict={X: X_valid2, y: y_valid2})
if loss_val < best_loss:
save_path = five_frozen_saver.save(sess, "./my_mnist_model_5_to_9_five_frozen")
best_loss = loss_val
checks_without_progress = 0
else:
checks_without_progress += 1
if checks_without_progress > max_checks_without_progress:
print("조기 종료!")
break
print("{}\t검증 세트 손실: {:.6f}\t최선의 손실: {:.6f}\t정확도: {:.2f}%".format(
epoch, loss_val, best_loss, acc_val * 100))
t1 = time.time()
print("전체 훈련 시간: {:.1f}s".format(t1 - t0))
with tf.Session() as sess:
five_frozen_saver.restore(sess, "./my_mnist_model_5_to_9_five_frozen")
acc_test = accuracy.eval(feed_dict={X: X_test2, y: y_test2})
print("최종 테스트 정확도: {:.2f}%".format(acc_test * 100))
INFO:tensorflow:Restoring parameters from ./my_best_mnist_model_0_to_4 0 검증 세트 손실: 1.233868 최선의 손실: 1.233868 정확도: 60.00% 1 검증 세트 손실: 1.229287 최선의 손실: 1.229287 정확도: 55.33% 2 검증 세트 손실: 1.078833 최선의 손실: 1.078833 정확도: 58.00% 3 검증 세트 손실: 1.092301 최선의 손실: 1.078833 정확도: 59.33% 4 검증 세트 손실: 1.016584 최선의 손실: 1.016584 정확도: 64.00% 5 검증 세트 손실: 1.053962 최선의 손실: 1.016584 정확도: 61.33% 6 검증 세트 손실: 1.038877 최선의 손실: 1.016584 정확도: 61.33% 7 검증 세트 손실: 1.019217 최선의 손실: 1.016584 정확도: 62.67% 8 검증 세트 손실: 1.019908 최선의 손실: 1.016584 정확도: 68.00% 9 검증 세트 손실: 1.041248 최선의 손실: 1.016584 정확도: 58.00% 10 검증 세트 손실: 1.007454 최선의 손실: 1.007454 정확도: 64.00% 11 검증 세트 손실: 1.132915 최선의 손실: 1.007454 정확도: 59.33% 12 검증 세트 손실: 1.074239 최선의 손실: 1.007454 정확도: 57.33% 13 검증 세트 손실: 1.058346 최선의 손실: 1.007454 정확도: 61.33% 14 검증 세트 손실: 1.016790 최선의 손실: 1.007454 정확도: 64.00% 15 검증 세트 손실: 1.001596 최선의 손실: 1.001596 정확도: 68.00% 16 검증 세트 손실: 1.038436 최선의 손실: 1.001596 정확도: 66.67% 17 검증 세트 손실: 1.035859 최선의 손실: 1.001596 정확도: 63.33% 18 검증 세트 손실: 1.159041 최선의 손실: 1.001596 정확도: 58.00% 19 검증 세트 손실: 1.081790 최선의 손실: 1.001596 정확도: 62.00% 20 검증 세트 손실: 1.112548 최선의 손실: 1.001596 정확도: 62.00% 21 검증 세트 손실: 1.006269 최선의 손실: 1.001596 정확도: 64.00% 22 검증 세트 손실: 0.980410 최선의 손실: 0.980410 정확도: 66.67% 23 검증 세트 손실: 1.068186 최선의 손실: 0.980410 정확도: 58.67% 24 검증 세트 손실: 1.073948 최선의 손실: 0.980410 정확도: 62.67% 25 검증 세트 손실: 1.052906 최선의 손실: 0.980410 정확도: 62.67% 26 검증 세트 손실: 1.071347 최선의 손실: 0.980410 정확도: 57.33% 27 검증 세트 손실: 1.030311 최선의 손실: 0.980410 정확도: 62.00% 28 검증 세트 손실: 1.102171 최선의 손실: 0.980410 정확도: 59.33% 29 검증 세트 손실: 1.020127 최선의 손실: 0.980410 정확도: 65.33% 30 검증 세트 손실: 1.029421 최선의 손실: 0.980410 정확도: 64.00% 31 검증 세트 손실: 0.986718 최선의 손실: 0.980410 정확도: 66.67% 32 검증 세트 손실: 1.012203 최선의 손실: 0.980410 정확도: 62.67% 33 검증 세트 손실: 1.038543 최선의 손실: 0.980410 정확도: 66.00% 34 검증 세트 손실: 1.041169 최선의 손실: 0.980410 정확도: 63.33% 35 검증 세트 손실: 1.079390 최선의 손실: 0.980410 정확도: 63.33% 36 검증 세트 손실: 1.103062 최선의 손실: 0.980410 정확도: 59.33% 37 검증 세트 손실: 1.078918 최선의 손실: 0.980410 정확도: 62.67% 38 검증 세트 손실: 1.101920 최선의 손실: 0.980410 정확도: 62.00% 39 검증 세트 손실: 1.069766 최선의 손실: 0.980410 정확도: 62.67% 40 검증 세트 손실: 1.062993 최선의 손실: 0.980410 정확도: 63.33% 41 검증 세트 손실: 1.126351 최선의 손실: 0.980410 정확도: 60.67% 42 검증 세트 손실: 1.123098 최선의 손실: 0.980410 정확도: 64.67% 조기 종료! 전체 훈련 시간: 1.0s INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_five_frozen 최종 테스트 정확도: 60.81%
In [86]:
hidden5_out = tf.get_default_graph().get_tensor_by_name("hidden5_out:0")
In [87]:
import time
n_epochs = 1000
batch_size = 20
max_checks_without_progress = 20
checks_without_progress = 0
best_loss = np.infty
with tf.Session() as sess:
init.run()
restore_saver.restore(sess, "./my_best_mnist_model_0_to_4")
t0 = time.time()
hidden5_train = hidden5_out.eval(feed_dict={X: X_train2, y: y_train2})
hidden5_valid = hidden5_out.eval(feed_dict={X: X_valid2, y: y_valid2})
for epoch in range(n_epochs):
rnd_idx = np.random.permutation(len(X_train2))
for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):
h5_batch, y_batch = hidden5_train[rnd_indices], y_train2[rnd_indices]
sess.run(training_op, feed_dict={hidden5_out: h5_batch, y: y_batch})
loss_val, acc_val = sess.run([loss, accuracy], feed_dict={hidden5_out: hidden5_valid, y: y_valid2})
if loss_val < best_loss:
save_path = five_frozen_saver.save(sess, "./my_mnist_model_5_to_9_five_frozen")
best_loss = loss_val
checks_without_progress = 0
else:
checks_without_progress += 1
if checks_without_progress > max_checks_without_progress:
print("조기 종료!")
break
print("{}\t검증 세트 손실: {:.6f}\t최선의 손실: {:.6f}\t정확도: {:.2f}%".format(
epoch, loss_val, best_loss, acc_val * 100))
t1 = time.time()
print("전체 훈련 시간: {:.1f}s".format(t1 - t0))
with tf.Session() as sess:
five_frozen_saver.restore(sess, "./my_mnist_model_5_to_9_five_frozen")
acc_test = accuracy.eval(feed_dict={X: X_test2, y: y_test2})
print("최종 테스트 정확도: {:.2f}%".format(acc_test * 100))
INFO:tensorflow:Restoring parameters from ./my_best_mnist_model_0_to_4 0 검증 세트 손실: 1.292045 최선의 손실: 1.292045 정확도: 51.33% 1 검증 세트 손실: 1.073121 최선의 손실: 1.073121 정확도: 59.33% 2 검증 세트 손실: 1.140355 최선의 손실: 1.073121 정확도: 56.67% 3 검증 세트 손실: 1.066937 최선의 손실: 1.066937 정확도: 61.33% 4 검증 세트 손실: 1.044910 최선의 손실: 1.044910 정확도: 60.00% 5 검증 세트 손실: 1.001754 최선의 손실: 1.001754 정확도: 64.67% 6 검증 세트 손실: 1.038805 최선의 손실: 1.001754 정확도: 63.33% 7 검증 세트 손실: 1.069411 최선의 손실: 1.001754 정확도: 56.67% 8 검증 세트 손실: 1.113318 최선의 손실: 1.001754 정확도: 58.00% 9 검증 세트 손실: 1.043435 최선의 손실: 1.001754 정확도: 65.33% 10 검증 세트 손실: 1.044285 최선의 손실: 1.001754 정확도: 66.00% 11 검증 세트 손실: 1.032699 최선의 손실: 1.001754 정확도: 59.33% 12 검증 세트 손실: 1.079374 최선의 손실: 1.001754 정확도: 66.00% 13 검증 세트 손실: 1.040107 최선의 손실: 1.001754 정확도: 60.67% 14 검증 세트 손실: 1.057523 최선의 손실: 1.001754 정확도: 65.33% 15 검증 세트 손실: 1.040748 최선의 손실: 1.001754 정확도: 60.67% 16 검증 세트 손실: 1.043548 최선의 손실: 1.001754 정확도: 61.33% 17 검증 세트 손실: 1.072259 최선의 손실: 1.001754 정확도: 64.00% 18 검증 세트 손실: 1.002041 최선의 손실: 1.001754 정확도: 60.67% 19 검증 세트 손실: 1.080295 최선의 손실: 1.001754 정확도: 63.33% 20 검증 세트 손실: 1.073969 최선의 손실: 1.001754 정확도: 62.00% 21 검증 세트 손실: 1.016536 최선의 손실: 1.001754 정확도: 62.00% 22 검증 세트 손실: 1.089667 최선의 손실: 1.001754 정확도: 60.67% 23 검증 세트 손실: 1.101812 최선의 손실: 1.001754 정확도: 62.67% 24 검증 세트 손실: 1.075906 최선의 손실: 1.001754 정확도: 62.67% 25 검증 세트 손실: 1.063849 최선의 손실: 1.001754 정확도: 62.00% 조기 종료! 전체 훈련 시간: 0.5s INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_five_frozen 최종 테스트 정확도: 56.84%
In [88]:
tf.reset_default_graph()
n_outputs = 5
restore_saver = tf.train.import_meta_graph("./my_best_mnist_model_0_to_4.meta")
X = tf.get_default_graph().get_tensor_by_name("X:0")
y = tf.get_default_graph().get_tensor_by_name("y:0")
hidden4_out = tf.get_default_graph().get_tensor_by_name("hidden4_out:0")
logits = tf.layers.dense(hidden4_out, n_outputs, kernel_initializer=he_init, name="new_logits")
Y_proba = tf.nn.softmax(logits)
xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y, logits=logits)
loss = tf.reduce_mean(xentropy)
correct = tf.nn.in_top_k(logits, y, 1)
accuracy = tf.reduce_mean(tf.cast(correct, tf.float32), name="accuracy")
In [89]:
learning_rate = 0.01
output_layer_vars = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES, scope="new_logits")
optimizer = tf.train.AdamOptimizer(learning_rate, name="Adam2")
training_op = optimizer.minimize(loss, var_list=output_layer_vars)
init = tf.global_variables_initializer()
four_frozen_saver = tf.train.Saver()
In [90]:
n_epochs = 1000
batch_size = 20
max_checks_without_progress = 20
checks_without_progress = 0
best_loss = np.infty
with tf.Session() as sess:
init.run()
restore_saver.restore(sess, "./my_best_mnist_model_0_to_4")
for epoch in range(n_epochs):
rnd_idx = np.random.permutation(len(X_train2))
for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):
X_batch, y_batch = X_train2[rnd_indices], y_train2[rnd_indices]
sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
loss_val, acc_val = sess.run([loss, accuracy], feed_dict={X: X_valid2, y: y_valid2})
if loss_val < best_loss:
save_path = four_frozen_saver.save(sess, "./my_mnist_model_5_to_9_four_frozen")
best_loss = loss_val
checks_without_progress = 0
else:
checks_without_progress += 1
if checks_without_progress > max_checks_without_progress:
print("조기 종료!")
break
print("{}\t검증 세트 손실: {:.6f}\t최선의 손실: {:.6f}\t정확도: {:.2f}%".format(
epoch, loss_val, best_loss, acc_val * 100))
with tf.Session() as sess:
four_frozen_saver.restore(sess, "./my_mnist_model_5_to_9_four_frozen")
acc_test = accuracy.eval(feed_dict={X: X_test2, y: y_test2})
print("최종 테스트 정확도: {:.2f}%".format(acc_test * 100))
INFO:tensorflow:Restoring parameters from ./my_best_mnist_model_0_to_4 0 검증 세트 손실: 1.101998 최선의 손실: 1.101998 정확도: 62.00% 1 검증 세트 손실: 1.019101 최선의 손실: 1.019101 정확도: 65.33% 2 검증 세트 손실: 0.990021 최선의 손실: 0.990021 정확도: 61.33% 3 검증 세트 손실: 0.951383 최선의 손실: 0.951383 정확도: 64.00% 4 검증 세트 손실: 1.007118 최선의 손실: 0.951383 정확도: 66.67% 5 검증 세트 손실: 1.005628 최선의 손실: 0.951383 정확도: 65.33% 6 검증 세트 손실: 0.977476 최선의 손실: 0.951383 정확도: 64.67% 7 검증 세트 손실: 0.942871 최선의 손실: 0.942871 정확도: 66.67% 8 검증 세트 손실: 0.958435 최선의 손실: 0.942871 정확도: 63.33% 9 검증 세트 손실: 0.953212 최선의 손실: 0.942871 정확도: 64.67% 10 검증 세트 손실: 0.970002 최선의 손실: 0.942871 정확도: 65.33% 11 검증 세트 손실: 0.986267 최선의 손실: 0.942871 정확도: 68.00% 12 검증 세트 손실: 0.900561 최선의 손실: 0.900561 정확도: 68.67% 13 검증 세트 손실: 1.034443 최선의 손실: 0.900561 정확도: 64.00% 14 검증 세트 손실: 0.968339 최선의 손실: 0.900561 정확도: 65.33% 15 검증 세트 손실: 1.042193 최선의 손실: 0.900561 정확도: 66.00% 16 검증 세트 손실: 0.922328 최선의 손실: 0.900561 정확도: 67.33% 17 검증 세트 손실: 0.936372 최선의 손실: 0.900561 정확도: 67.33% 18 검증 세트 손실: 0.912882 최선의 손실: 0.900561 정확도: 66.67% 19 검증 세트 손실: 1.041965 최선의 손실: 0.900561 정확도: 67.33% 20 검증 세트 손실: 0.959647 최선의 손실: 0.900561 정확도: 66.67% 21 검증 세트 손실: 0.948461 최선의 손실: 0.900561 정확도: 66.00% 22 검증 세트 손실: 0.977473 최선의 손실: 0.900561 정확도: 64.67% 23 검증 세트 손실: 0.986047 최선의 손실: 0.900561 정확도: 64.67% 24 검증 세트 손실: 0.932441 최선의 손실: 0.900561 정확도: 66.67% 25 검증 세트 손실: 1.030152 최선의 손실: 0.900561 정확도: 68.00% 26 검증 세트 손실: 0.937945 최선의 손실: 0.900561 정확도: 70.67% 27 검증 세트 손실: 0.980253 최선의 손실: 0.900561 정확도: 63.33% 28 검증 세트 손실: 1.027815 최선의 손실: 0.900561 정확도: 66.67% 29 검증 세트 손실: 1.069685 최선의 손실: 0.900561 정확도: 63.33% 30 검증 세트 손실: 0.950635 최선의 손실: 0.900561 정확도: 67.33% 31 검증 세트 손실: 0.934056 최선의 손실: 0.900561 정확도: 68.00% 32 검증 세트 손실: 0.984444 최선의 손실: 0.900561 정확도: 67.33% 조기 종료! INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_four_frozen 최종 테스트 정확도: 62.70%
In [ ]:
In [91]:
learning_rate = 0.01
unfrozen_vars = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES, scope="hidden[34]|new_logits")
optimizer = tf.train.AdamOptimizer(learning_rate, name="Adam3")
training_op = optimizer.minimize(loss, var_list=unfrozen_vars)
init = tf.global_variables_initializer()
two_frozen_saver = tf.train.Saver()
In [92]:
n_epochs = 1000
batch_size = 20
max_checks_without_progress = 20
checks_without_progress = 0
best_loss = np.infty
with tf.Session() as sess:
init.run()
four_frozen_saver.restore(sess, "./my_mnist_model_5_to_9_four_frozen")
for epoch in range(n_epochs):
rnd_idx = np.random.permutation(len(X_train2))
for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):
X_batch, y_batch = X_train2[rnd_indices], y_train2[rnd_indices]
sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
loss_val, acc_val = sess.run([loss, accuracy], feed_dict={X: X_valid2, y: y_valid2})
if loss_val < best_loss:
save_path = two_frozen_saver.save(sess, "./my_mnist_model_5_to_9_two_frozen")
best_loss = loss_val
checks_without_progress = 0
else:
checks_without_progress += 1
if checks_without_progress > max_checks_without_progress:
print("조기 종료!")
break
print("{}\t검증 세트 손실: {:.6f}\t최선의 손실: {:.6f}\t정확도: {:.2f}%".format(
epoch, loss_val, best_loss, acc_val * 100))
with tf.Session() as sess:
two_frozen_saver.restore(sess, "./my_mnist_model_5_to_9_two_frozen")
acc_test = accuracy.eval(feed_dict={X: X_test2, y: y_test2})
print("최종 테스트 정확도: {:.2f}%".format(acc_test * 100))
INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_four_frozen 0 검증 세트 손실: 0.877036 최선의 손실: 0.877036 정확도: 68.67% 1 검증 세트 손실: 0.831400 최선의 손실: 0.831400 정확도: 70.67% 2 검증 세트 손실: 0.872276 최선의 손실: 0.831400 정확도: 76.67% 3 검증 세트 손실: 0.944923 최선의 손실: 0.831400 정확도: 75.33% 4 검증 세트 손실: 0.963533 최선의 손실: 0.831400 정확도: 76.00% 5 검증 세트 손실: 0.877956 최선의 손실: 0.831400 정확도: 80.67% 6 검증 세트 손실: 1.178363 최선의 손실: 0.831400 정확도: 78.67% 7 검증 세트 손실: 1.098476 최선의 손실: 0.831400 정확도: 78.00% 8 검증 세트 손실: 0.937469 최선의 손실: 0.831400 정확도: 77.33% 9 검증 세트 손실: 1.022564 최선의 손실: 0.831400 정확도: 76.00% 10 검증 세트 손실: 0.850545 최선의 손실: 0.831400 정확도: 80.00% 11 검증 세트 손실: 0.995006 최선의 손실: 0.831400 정확도: 79.33% 12 검증 세트 손실: 1.178334 최선의 손실: 0.831400 정확도: 82.00% 13 검증 세트 손실: 1.074533 최선의 손실: 0.831400 정확도: 79.33% 14 검증 세트 손실: 1.326162 최선의 손실: 0.831400 정확도: 77.33% 15 검증 세트 손실: 1.069085 최선의 손실: 0.831400 정확도: 81.33% 16 검증 세트 손실: 1.368405 최선의 손실: 0.831400 정확도: 78.00% 17 검증 세트 손실: 1.453117 최선의 손실: 0.831400 정확도: 78.00% 18 검증 세트 손실: 1.196104 최선의 손실: 0.831400 정확도: 83.33% 19 검증 세트 손실: 1.298673 최선의 손실: 0.831400 정확도: 78.67% 20 검증 세트 손실: 1.347122 최선의 손실: 0.831400 정확도: 78.00% 21 검증 세트 손실: 1.678235 최선의 손실: 0.831400 정확도: 76.00% 조기 종료! INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_two_frozen 최종 테스트 정확도: 70.97%
In [93]:
learning_rate = 0.01
optimizer = tf.train.AdamOptimizer(learning_rate, name="Adam4")
training_op = optimizer.minimize(loss)
init = tf.global_variables_initializer()
no_frozen_saver = tf.train.Saver()
In [94]:
n_epochs = 1000
batch_size = 20
max_checks_without_progress = 20
checks_without_progress = 0
best_loss = np.infty
with tf.Session() as sess:
init.run()
two_frozen_saver.restore(sess, "./my_mnist_model_5_to_9_two_frozen")
for epoch in range(n_epochs):
rnd_idx = np.random.permutation(len(X_train2))
for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):
X_batch, y_batch = X_train2[rnd_indices], y_train2[rnd_indices]
sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
loss_val, acc_val = sess.run([loss, accuracy], feed_dict={X: X_valid2, y: y_valid2})
if loss_val < best_loss:
save_path = no_frozen_saver.save(sess, "./my_mnist_model_5_to_9_no_frozen")
best_loss = loss_val
checks_without_progress = 0
else:
checks_without_progress += 1
if checks_without_progress > max_checks_without_progress:
print("조기 종료!")
break
print("{}\t검증 세트 손실: {:.6f}\t최선의 손실: {:.6f}\t정확도: {:.2f}%".format(
epoch, loss_val, best_loss, acc_val * 100))
with tf.Session() as sess:
no_frozen_saver.restore(sess, "./my_mnist_model_5_to_9_no_frozen")
acc_test = accuracy.eval(feed_dict={X: X_test2, y: y_test2})
print("최종 테스트 정확도: {:.2f}%".format(acc_test * 100))
INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_two_frozen 0 검증 세트 손실: 0.400457 최선의 손실: 0.400457 정확도: 86.67% 1 검증 세트 손실: 0.633594 최선의 손실: 0.400457 정확도: 89.33% 2 검증 세트 손실: 0.663150 최선의 손실: 0.400457 정확도: 88.67% 3 검증 세트 손실: 1.236382 최선의 손실: 0.400457 정확도: 88.00% 4 검증 세트 손실: 0.745006 최선의 손실: 0.400457 정확도: 86.67% 5 검증 세트 손실: 0.716008 최선의 손실: 0.400457 정확도: 83.33% 6 검증 세트 손실: 0.577504 최선의 손실: 0.400457 정확도: 92.67% 7 검증 세트 손실: 0.532274 최선의 손실: 0.400457 정확도: 92.67% 8 검증 세트 손실: 0.567115 최선의 손실: 0.400457 정확도: 92.67% 9 검증 세트 손실: 0.661109 최선의 손실: 0.400457 정확도: 92.00% 10 검증 세트 손실: 0.655900 최선의 손실: 0.400457 정확도: 92.67% 11 검증 세트 손실: 0.676989 최선의 손실: 0.400457 정확도: 94.00% 12 검증 세트 손실: 0.693915 최선의 손실: 0.400457 정확도: 92.67% 13 검증 세트 손실: 0.702946 최선의 손실: 0.400457 정확도: 92.67% 14 검증 세트 손실: 0.712594 최선의 손실: 0.400457 정확도: 92.67% 15 검증 세트 손실: 0.719264 최선의 손실: 0.400457 정확도: 92.67% 16 검증 세트 손실: 0.726057 최선의 손실: 0.400457 정확도: 92.67% 17 검증 세트 손실: 0.732073 최선의 손실: 0.400457 정확도: 92.67% 18 검증 세트 손실: 0.738352 최선의 손실: 0.400457 정확도: 92.67% 19 검증 세트 손실: 0.746089 최선의 손실: 0.400457 정확도: 92.67% 20 검증 세트 손실: 0.750414 최선의 손실: 0.400457 정확도: 92.67% 조기 종료! INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_no_frozen 최종 테스트 정확도: 85.85%
In [95]:
dnn_clf_5_to_9 = DNNClassifier(n_hidden_layers=4, random_state=42)
dnn_clf_5_to_9.fit(X_train2, y_train2, n_epochs=1000, X_valid=X_valid2, y_valid=y_valid2)
0 검증 세트 손실: 0.674617 최선의 손실: 0.674617 정확도: 80.67% 1 검증 세트 손실: 0.584853 최선의 손실: 0.584853 정확도: 88.67% 2 검증 세트 손실: 0.647365 최선의 손실: 0.584853 정확도: 84.00% 3 검증 세트 손실: 0.530268 최선의 손실: 0.530268 정확도: 87.33% 4 검증 세트 손실: 0.683140 최선의 손실: 0.530268 정확도: 90.67% 5 검증 세트 손실: 0.537292 최선의 손실: 0.530268 정확도: 89.33% 6 검증 세트 손실: 0.691414 최선의 손실: 0.530268 정확도: 90.67% 7 검증 세트 손실: 0.906027 최선의 손실: 0.530268 정확도: 84.00% 8 검증 세트 손실: 0.745345 최선의 손실: 0.530268 정확도: 91.33% 9 검증 세트 손실: 2.038033 최선의 손실: 0.530268 정확도: 87.33% 10 검증 세트 손실: 1.220035 최선의 손실: 0.530268 정확도: 90.00% 11 검증 세트 손실: 1.668341 최선의 손실: 0.530268 정확도: 90.00% 12 검증 세트 손실: 0.538568 최선의 손실: 0.530268 정확도: 88.67% 13 검증 세트 손실: 1.679701 최선의 손실: 0.530268 정확도: 83.33% 14 검증 세트 손실: 0.925890 최선의 손실: 0.530268 정확도: 90.00% 15 검증 세트 손실: 1.596692 최선의 손실: 0.530268 정확도: 88.00% 16 검증 세트 손실: 1.350706 최선의 손실: 0.530268 정확도: 91.33% 17 검증 세트 손실: 0.834646 최선의 손실: 0.530268 정확도: 90.67% 18 검증 세트 손실: 1.153306 최선의 손실: 0.530268 정확도: 91.33% 19 검증 세트 손실: 1.262936 최선의 손실: 0.530268 정확도: 88.00% 20 검증 세트 손실: 1.536322 최선의 손실: 0.530268 정확도: 90.00% 21 검증 세트 손실: 1.611117 최선의 손실: 0.530268 정확도: 92.67% 22 검증 세트 손실: 1.231147 최선의 손실: 0.530268 정확도: 88.67% 23 검증 세트 손실: 1.496142 최선의 손실: 0.530268 정확도: 90.67% 24 검증 세트 손실: 0.892991 최선의 손실: 0.530268 정확도: 93.33% 조기 종료!
Out[95]:
DNNClassifier(activation=<function elu at 0x123d02048>,
batch_norm_momentum=None, batch_size=20, dropout_rate=None,
initializer=<tensorflow.python.ops.init_ops.VarianceScaling object at 0x13522ac18>,
learning_rate=0.01, n_hidden_layers=4, n_neurons=100,
optimizer_class=<class 'tensorflow.python.training.adam.AdamOptimizer'>,
random_state=42)In [96]:
y_pred = dnn_clf_5_to_9.predict(X_test2)
accuracy_score(y_test2, y_pred)
# Transfer Learning이 더 도움이 안되었다.
Out[96]:
0.8481793869574161
10. 보조 작업으로 사전훈련
이 예제에서는 두 개의 MNIST 숫자 이미지를 비교해서 두 이미지가 같은 숫자인지 아닌지 예측하는 DNN을 만들 것입니다. 그런 다음 이 네트워크의 하위층을 재사용하여 아주 적은 훈련 데이터로 MNIST 분류기를 훈련시킬 것입니다.
10.1. 문제:
두 개의 DNN을 만드세요(이들을 DNN A, B라고 부르겠습니다). 이들은 출력층이 없는 것만 빼고는 앞서만든 것과 비슷합니다. 각 DNN은 다섯 개의 층을 가졌고 각 층은 He 초기화와 ELU 활성화 함수를 사용한 100개의 뉴런으로 되어 있습니다. 그다음에는 두 DNN 위에 하나의 출력층을 추가합니다. 텐서플로의 concat() 함수를 axis=1로 지정해서 수평축을 따라 두 DNN의 출력을 연결합니다. 그리고 그 결과를 출력층에 주입합니다. 출력층에는 로지스틱 활성화 함수를 사용하는 하나의 뉴런만 있어야 합니다.
두 개의 입력 플레이스홀더 X1과 X2를 준비할 수 있습니다. 하나는 첫 번째 DNN에 이미지를 주입하기 위해서이고 다른 하나는 두 번째 DNN에 이미지를 주입하기 위해서입니다. 이렇게 해도 되지만 다른 방법은 두 이미지를 위해 하나의 입력 플레이스홀더를 만드는 것입니다(각 행은 이미지의 쌍을 담고 있습니다). 그리고 tf.unstack() 함수를 사용하여 다음과 같이 이 텐서를 두 개의 텐서로 나눕니다:
In [97]:
n_inputs = 28 * 28 # MNIST
tf.reset_default_graph()
X = tf.placeholder(tf.float32, shape=(None, 2, n_inputs), name="X")
X1, X2 = tf.unstack(X, axis=1)
In [98]:
y = tf.placeholder(tf.int32, shape=[None, 1])
In [99]:
dnn1 = dnn(X1, name="DNN_A")
dnn2 = dnn(X2, name="DNN_B")
In [100]:
dnn_outputs = tf.concat([dnn1, dnn2], axis=1)
In [101]:
dnn1.shape
Out[101]:
TensorShape([Dimension(None), Dimension(100)])
In [102]:
dnn_outputs.shape
Out[102]:
TensorShape([Dimension(None), Dimension(200)])
In [103]:
hidden = tf.layers.dense(dnn_outputs, units=10, activation=tf.nn.elu, kernel_initializer=he_init)
logits = tf.layers.dense(hidden, units=1, kernel_initializer=he_init)
y_proba = tf.nn.sigmoid(logits)
In [104]:
y_pred = tf.cast(tf.greater_equal(logits, 0), tf.int32)
In [105]:
y_as_float = tf.cast(y, tf.float32)
xentropy = tf.nn.sigmoid_cross_entropy_with_logits(labels=y_as_float, logits=logits)
loss = tf.reduce_mean(xentropy)
In [106]:
learning_rate = 0.01
momentum = 0.95
optimizer = tf.train.MomentumOptimizer(learning_rate, momentum, use_nesterov=True)
training_op = optimizer.minimize(loss)
In [107]:
y_pred_correct = tf.equal(y_pred, y)
accuracy = tf.reduce_mean(tf.cast(y_pred_correct, tf.float32))
In [108]:
init = tf.global_variables_initializer()
saver = tf.train.Saver()
10.2. 문제:
MNIST 데이터셋을 두 개로 나눕니다. 분할 #1은 55,000개의 이미지, 분할 #2는 5,000개의 이미지를 담고 있어야 합니다. 분할 #1로부터 선택한 MNIST 이미지 한 쌍을 샘플로 가지는 훈련 배치를 생성하는 함수를 만드세요. 훈련 세트의 절반은 같은 클래스에 속하는 이미지 쌍이어야 합니다. 나머지 절반은 다른 클래스로부터 추출한 이미지여야 합니다. 각 쌍에 대해 훈련 레이블은 이미지가 같은 클래스면 0, 다른 클래스면 1이어야 합니다.
텐서플로의 input_data() 함수에서 반환되는 MNIST 데이터셋은 이미 3개의 부분으로 나뉘어져 있습니다: 훈련 세트(55,000개 샘플), 검증 세트(5,000개 샘플), 테스트 세트(10,000개 샘플). 첫 번째 세트를 사용해 이미지 쌍을 구성하는 훈련 세트를 만들고 두 번째 세트로 연습문제의 2단계(일반 MNIST 분류기를 훈련시키는 것)를 수행하겠습니다. 세 번째 세트로 이 두 단계를 평가하도록 하겠습니다.
In [109]:
X_train1 = X_train
y_train1 = y_train
X_train2 = X_valid
y_train2 = y_valid
X_test = X_test
y_test = y_test
In [110]:
def generate_batch(images, labels, batch_size):
size1 = batch_size // 2
size2 = batch_size - size1
if size1 != size2 and np.random.rand() > 0.5:
size1, size2 = size2, size1
X = []
y = []
while len(X) < size1:
rnd_idx1, rnd_idx2 = np.random.randint(0, len(images), 2)
if rnd_idx1 != rnd_idx2 and labels[rnd_idx1] == labels[rnd_idx2]:
X.append(np.array([images[rnd_idx1], images[rnd_idx2]]))
y.append([1])
while len(X) < batch_size:
rnd_idx1, rnd_idx2 = np.random.randint(0, len(images), 2)
if labels[rnd_idx1] != labels[rnd_idx2]:
X.append(np.array([images[rnd_idx1], images[rnd_idx2]]))
y.append([0])
rnd_indices = np.random.permutation(batch_size)
return np.array(X)[rnd_indices], np.array(y)[rnd_indices]
In [111]:
batch_size = 5
X_batch, y_batch = generate_batch(X_train1, y_train1, batch_size)
In [112]:
X_batch.shape, X_batch.dtype
Out[112]:
((5, 2, 784), dtype('float32'))In [113]:
plt.figure(figsize=(3, 3 * batch_size))
plt.subplot(121)
plt.imshow(X_batch[:,0].reshape(28 * batch_size, 28), cmap="binary", interpolation="nearest")
plt.axis('off')
plt.subplot(122)
plt.imshow(X_batch[:,1].reshape(28 * batch_size, 28), cmap="binary", interpolation="nearest")
plt.axis('off')
plt.show()
In [114]:
y_batch
# 0은 다른것 1은 같은 것
Out[114]:
array([[0],
[0],
[1],
[1],
[1]])In [115]:
X_test1, y_test1 = generate_batch(X_test, y_test, batch_size=len(X_test))
In [116]:
n_epochs = 100
batch_size = 500
with tf.Session() as sess:
init.run()
for epoch in range(n_epochs):
for iteration in range(len(X_train1) // batch_size):
X_batch, y_batch = generate_batch(X_train1, y_train1, batch_size)
loss_val, _ = sess.run([loss, training_op], feed_dict={X: X_batch, y: y_batch})
print(epoch, "훈련 손실:", loss_val)
if epoch % 5 == 0:
acc_test = accuracy.eval(feed_dict={X: X_test1, y: y_test1})
print(epoch, "테스트 정확도:", acc_test)
save_path = saver.save(sess, "./my_digit_comparison_model.ckpt")
0 훈련 손실: 0.69119775 0 테스트 정확도: 0.521 1 훈련 손실: 0.65739024 2 훈련 손실: 0.5678312 3 훈련 손실: 0.47656202 4 훈련 손실: 0.3986537 5 훈련 손실: 0.37670586 5 테스트 정확도: 0.8156 6 훈련 손실: 0.34420353 7 훈련 손실: 0.35619804 8 훈련 손실: 0.32250935 9 훈련 손실: 0.31527182 10 훈련 손실: 0.21333592 10 테스트 정확도: 0.8861 11 훈련 손실: 0.26593104 12 훈련 손실: 0.19917624 13 훈련 손실: 0.23503338 14 훈련 손실: 0.19022825 15 훈련 손실: 0.2358729 15 테스트 정확도: 0.9215 16 훈련 손실: 0.22887164 17 훈련 손실: 0.26042694 18 훈련 손실: 0.20614932 19 훈련 손실: 0.1533266 20 훈련 손실: 0.15341085 20 테스트 정확도: 0.9361 21 훈련 손실: 0.15545642 22 훈련 손실: 0.14314017 23 훈련 손실: 0.1260098 24 훈련 손실: 0.16727243 25 훈련 손실: 0.16652313 25 테스트 정확도: 0.9423 26 훈련 손실: 0.131946 27 훈련 손실: 0.15423548 28 훈련 손실: 0.12424598 29 훈련 손실: 0.12225354 30 훈련 손실: 0.07982105 30 테스트 정확도: 0.9506 31 훈련 손실: 0.10997814 32 훈련 손실: 0.13601229 33 훈련 손실: 0.10764615 34 훈련 손실: 0.09438198 35 훈련 손실: 0.10844025 35 테스트 정확도: 0.9571 36 훈련 손실: 0.10436752 37 훈련 손실: 0.096674725 38 훈련 손실: 0.10507255 39 훈련 손실: 0.07272076 40 훈련 손실: 0.09429324 40 테스트 정확도: 0.9577 41 훈련 손실: 0.06967759 42 훈련 손실: 0.073849306 43 훈련 손실: 0.088021226 44 훈련 손실: 0.065870896 45 훈련 손실: 0.07671567 45 테스트 정확도: 0.964 46 훈련 손실: 0.058691654 47 훈련 손실: 0.06215108 48 훈련 손실: 0.056905452 49 훈련 손실: 0.062064584 50 훈련 손실: 0.06562289 50 테스트 정확도: 0.9656 51 훈련 손실: 0.032021213 52 훈련 손실: 0.05588369 53 훈련 손실: 0.067962706 54 훈련 손실: 0.062227372 55 훈련 손실: 0.048924975 55 테스트 정확도: 0.9677 56 훈련 손실: 0.05921835 57 훈련 손실: 0.049165756 58 훈련 손실: 0.07042168 59 훈련 손실: 0.044662334 60 훈련 손실: 0.06497979 60 테스트 정확도: 0.9709 61 훈련 손실: 0.04658164 62 훈련 손실: 0.035041455 63 훈련 손실: 0.033648778 64 훈련 손실: 0.04265001 65 훈련 손실: 0.041410852 65 테스트 정확도: 0.9712 66 훈련 손실: 0.0590031 67 훈련 손실: 0.0378587 68 훈련 손실: 0.033245016 69 훈련 손실: 0.060008135 70 훈련 손실: 0.02739671 70 테스트 정확도: 0.9725 71 훈련 손실: 0.0427576 72 훈련 손실: 0.032968022 73 훈련 손실: 0.044966098 74 훈련 손실: 0.062299285 75 훈련 손실: 0.028144434 75 테스트 정확도: 0.9744 76 훈련 손실: 0.036306705 77 훈련 손실: 0.04332956 78 훈련 손실: 0.031112043 79 훈련 손실: 0.03328329 80 훈련 손실: 0.025924884 80 테스트 정확도: 0.9712 81 훈련 손실: 0.04478321 82 훈련 손실: 0.03340138 83 훈련 손실: 0.026128514 84 훈련 손실: 0.03631798 85 훈련 손실: 0.03155944 85 테스트 정확도: 0.9737 86 훈련 손실: 0.02978651 87 훈련 손실: 0.032596406 88 훈련 손실: 0.029838834 89 훈련 손실: 0.048179273 90 훈련 손실: 0.033121828 90 테스트 정확도: 0.9756 91 훈련 손실: 0.032672517 92 훈련 손실: 0.024913954 93 훈련 손실: 0.017279696 94 훈련 손실: 0.019281777 95 훈련 손실: 0.02351882 95 테스트 정확도: 0.9743 96 훈련 손실: 0.018922213 97 훈련 손실: 0.020593591 98 훈련 손실: 0.026458474 99 훈련 손실: 0.014857186
In [117]:
tf.reset_default_graph()
n_inputs = 28 * 28 # MNIST
n_outputs = 10
X = tf.placeholder(tf.float32, shape=(None, n_inputs), name="X")
y = tf.placeholder(tf.int32, shape=(None), name="y")
dnn_outputs = dnn(X, name="DNN_A")
frozen_outputs = tf.stop_gradient(dnn_outputs)
logits = tf.layers.dense(dnn_outputs, n_outputs, kernel_initializer=he_init)
Y_proba = tf.nn.softmax(logits)
xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y, logits=logits)
loss = tf.reduce_mean(xentropy, name="loss")
optimizer = tf.train.MomentumOptimizer(learning_rate, momentum, use_nesterov=True)
training_op = optimizer.minimize(loss)
correct = tf.nn.in_top_k(logits, y, 1)
accuracy = tf.reduce_mean(tf.cast(correct, tf.float32))
init = tf.global_variables_initializer()
dnn_A_vars = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES, scope="DNN_A")
restore_saver = tf.train.Saver(var_list={var.op.name: var for var in dnn_A_vars})
saver = tf.train.Saver()
In [118]:
n_epochs = 100
batch_size = 50
with tf.Session() as sess:
init.run()
restore_saver.restore(sess, "./my_digit_comparison_model.ckpt")
for epoch in range(n_epochs):
rnd_idx = np.random.permutation(len(X_train2))
for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):
X_batch, y_batch = X_train2[rnd_indices], y_train2[rnd_indices]
sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
if epoch % 10 == 0:
acc_test = accuracy.eval(feed_dict={X: X_test, y: y_test})
print(epoch, "테스트 정확도:", acc_test)
save_path = saver.save(sess, "./my_mnist_model_final.ckpt")
INFO:tensorflow:Restoring parameters from ./my_digit_comparison_model.ckpt 0 테스트 정확도: 0.9327 10 테스트 정확도: 0.9506 20 테스트 정확도: 0.9647 30 테스트 정확도: 0.9648 40 테스트 정확도: 0.9646 50 테스트 정확도: 0.9647 60 테스트 정확도: 0.9648 70 테스트 정확도: 0.965 80 테스트 정확도: 0.965 90 테스트 정확도: 0.9651
In [119]:
tf.reset_default_graph()
n_inputs = 28 * 28 # MNIST
n_outputs = 10
X = tf.placeholder(tf.float32, shape=(None, n_inputs), name="X")
y = tf.placeholder(tf.int32, shape=(None), name="y")
dnn_outputs = dnn(X, name="DNN_A")
logits = tf.layers.dense(dnn_outputs, n_outputs, kernel_initializer=he_init)
Y_proba = tf.nn.softmax(logits)
xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y, logits=logits)
loss = tf.reduce_mean(xentropy, name="loss")
optimizer = tf.train.MomentumOptimizer(learning_rate, momentum, use_nesterov=True)
training_op = optimizer.minimize(loss)
correct = tf.nn.in_top_k(logits, y, 1)
accuracy = tf.reduce_mean(tf.cast(correct, tf.float32))
init = tf.global_variables_initializer()
dnn_A_vars = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES, scope="DNN_A")
restore_saver = tf.train.Saver(var_list={var.op.name: var for var in dnn_A_vars})
saver = tf.train.Saver()
In [120]:
n_epochs = 150
batch_size = 50
with tf.Session() as sess:
init.run()
for epoch in range(n_epochs):
rnd_idx = np.random.permutation(len(X_train2))
for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):
X_batch, y_batch = X_train2[rnd_indices], y_train2[rnd_indices]
sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
if epoch % 10 == 0:
acc_test = accuracy.eval(feed_dict={X: X_test, y: y_test})
print(epoch, "테스트 정확도:", acc_test)
save_path = saver.save(sess, "./my_mnist_model_final.ckpt")
# 전이 학습이 항상 좋은 결과를 내지는 않는다. 하지만 시도해볼 필요는 있다!
0 테스트 정확도: 0.8735 10 테스트 정확도: 0.9245 20 테스트 정확도: 0.9335 30 테스트 정확도: 0.9436 40 테스트 정확도: 0.9437 50 테스트 정확도: 0.9437 60 테스트 정확도: 0.9437 70 테스트 정확도: 0.9437 80 테스트 정확도: 0.9439 90 테스트 정확도: 0.9441 100 테스트 정확도: 0.9441 110 테스트 정확도: 0.9443 120 테스트 정확도: 0.9443 130 테스트 정확도: 0.9442 140 테스트 정확도: 0.9443
728x90
반응형